通信人家园

标题: 突发：OpenAI又一老将辞职 [查看完整版帖子] [打印本页]

时间: 2024-10-24 14:59

作者: ttxx 标题: 突发：OpenAI又一老将辞职

刚刚，OpenAI又一位保守派老将迈尔斯·布伦戴奇（Miles Brundage）宣布辞职。他所负责的通用人工智能（AGI）准备工作组也同时被解散，并入其他团队。

布伦戴奇在OpenAI工作了六年多，是OpenAI长期政策研究员、AGI准备工作高级顾问，也是OpenAI所剩无几坚持遏制人工智能风险的老员工之一。

世界还远未准备好迎接AGI

在OpenAI章程中，AGI被定义为“在大多数经济价值较高的工作中，能够胜过人类的高度自主系统”。确保AGI造福全人类是OpenAI的使命。而布伦戴奇负责的AGI准备工作组的任务大致是为安全、可靠、有益地开发、部署和管理能力日益增强的人工智能系统做好准备。

然而，布伦戴奇在北京时间今日凌晨发布的离职声明中直言不讳，无论是OpenAI还是其他任何前沿实验室，都没有为实现AGI做好准备，这个世界还远未准备好迎接强大的AGI。

在布伦戴奇看来，现有的差距仍然巨大，以至于他计划在职业生涯的剩余时间里，都致力于人工智能政策方面的工作。

布伦戴奇计划加入一个非营利组织，以便更自由地发表文章，更独立地从事人工智能政策研究。他提到，虽然OpenAI愿意以各种方式支持这项工作，但他在公司内部感受到的限制越来越多。特别是发布文章审查方面的限制变得太多了。

此前，OpenAI首席执行官山姆·奥尔特曼（Sam Altman）曾试图将海伦·托纳（Helen Toner，现任美国乔治城大学安全与新兴技术中心战略主任）从OpenAI非营利组织董事会解雇，原因仅仅是她与人合著的一篇学术论文对OpenAI的安全承诺提出了过多批评。

一个时代的终结

布伦戴奇的辞职，意味着OpenAI内部关注人工智能安全和治理的声音正在消亡，OpenAI已不再是过去我们熟知的那个OpenAI。

剑桥大学潜在风险研究中心研究员海顿·贝尔菲尔德（Haydn Belfield）称布伦戴奇的辞职为“一个时代的终结”。

事实上，2019年OpenAI首次成立盈利部门时，布伦戴奇等老员工就对非营利属性的改变表示过担忧，但他们最终接受了这一转变。然而，随着时间的推移，情况发生了显著变化。特别是在2023年11月，奥尔特曼被短暂解雇的事件之后，员工们对OpenAI的文化和领导层产生了质疑。

尽管奥尔特曼被复职，但这一事件只是OpenAI内部动荡的开始。自那以后，OpenAI员工人数大幅增加，但同时也失去了大量坚持遏制AI风险的员工。据美国《财富》杂志报道，在过去几个月中，有一半以上关注AGI安全的员工离开了OpenAI。

值得注意的是，OpenAI前超级对齐团队的负责人伊利亚·苏茨克沃尔（Ilya Sutskever）和扬·莱克（Jan Leike）在离职时也公开批评了OpenAI的安全文化。莱克甚至表示，在过去几年里，OpenAI的安全文化已让位于光鲜亮丽的产品。

此外，布伦戴奇表达了对整个行业在AGI安全问题上的担忧。他指出，尽管近年来科技进步很快，但在安全问题上偷工减料、缺乏监管可能会导致严重的后果。他呼吁国会大力资助美国人工智能安全研究所。

布伦戴奇还认为，应该把安全地实现AGI视为全球性的挑战，而非国家安全问题。他提倡通过国际合作，来解决未来AGI非常棘手的安全问题。

来源：36kr

时间: 2024-10-24 16:42

作者: 愤怒的拳头

通信人家园 (https://www.txrjy.com/)