通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  一级军士长

注册:2010-4-284
跳转到指定楼层
1#
发表于 2024-10-24 14:59:52 |只看该作者 |正序浏览

刚刚,OpenAI又一位保守派老将迈尔斯·布伦戴奇(Miles Brundage)宣布辞职。他所负责的通用人工智能(AGI)准备工作组也同时被解散,并入其他团队。

布伦戴奇在OpenAI工作了六年多,是OpenAI长期政策研究员、AGI准备工作高级顾问,也是OpenAI所剩无几坚持遏制人工智能风险的老员工之一。

世界还远未准备好迎接AGI

在OpenAI章程中,AGI被定义为“在大多数经济价值较高的工作中,能够胜过人类的高度自主系统”。确保AGI造福全人类是OpenAI的使命。而布伦戴奇负责的AGI准备工作组的任务大致是为安全、可靠、有益地开发、部署和管理能力日益增强的人工智能系统做好准备。

然而,布伦戴奇在北京时间今日凌晨发布的离职声明中直言不讳,无论是OpenAI还是其他任何前沿实验室,都没有为实现AGI做好准备,这个世界还远未准备好迎接强大的AGI。

在布伦戴奇看来,现有的差距仍然巨大,以至于他计划在职业生涯的剩余时间里,都致力于人工智能政策方面的工作。

布伦戴奇计划加入一个非营利组织,以便更自由地发表文章,更独立地从事人工智能政策研究。他提到,虽然OpenAI愿意以各种方式支持这项工作,但他在公司内部感受到的限制越来越多。特别是发布文章审查方面的限制变得太多了。

此前,OpenAI首席执行官山姆·奥尔特曼(Sam Altman)曾试图将海伦·托纳(Helen Toner,现任美国乔治城大学安全与新兴技术中心战略主任)从OpenAI非营利组织董事会解雇,原因仅仅是她与人合著的一篇学术论文对OpenAI的安全承诺提出了过多批评。

一个时代的终结

布伦戴奇的辞职,意味着OpenAI内部关注人工智能安全和治理的声音正在消亡,OpenAI已不再是过去我们熟知的那个OpenAI。

剑桥大学潜在风险研究中心研究员海顿·贝尔菲尔德(Haydn Belfield)称布伦戴奇的辞职为“一个时代的终结”。

事实上,2019年OpenAI首次成立盈利部门时,布伦戴奇等老员工就对非营利属性的改变表示过担忧,但他们最终接受了这一转变。然而,随着时间的推移,情况发生了显著变化。特别是在2023年11月,奥尔特曼被短暂解雇的事件之后,员工们对OpenAI的文化和领导层产生了质疑。

尽管奥尔特曼被复职,但这一事件只是OpenAI内部动荡的开始。自那以后,OpenAI员工人数大幅增加,但同时也失去了大量坚持遏制AI风险的员工。据美国《财富》杂志报道,在过去几个月中,有一半以上关注AGI安全的员工离开了OpenAI。

值得注意的是,OpenAI前超级对齐团队的负责人伊利亚·苏茨克沃尔(Ilya Sutskever)和扬·莱克(Jan Leike)在离职时也公开批评了OpenAI的安全文化。莱克甚至表示,在过去几年里,OpenAI的安全文化已让位于光鲜亮丽的产品。

此外,布伦戴奇表达了对整个行业在AGI安全问题上的担忧。他指出,尽管近年来科技进步很快,但在安全问题上偷工减料、缺乏监管可能会导致严重的后果。他呼吁国会大力资助美国人工智能安全研究所。

布伦戴奇还认为,应该把安全地实现AGI视为全球性的挑战,而非国家安全问题。他提倡通过国际合作,来解决未来AGI非常棘手的安全问题。


来源:36kr

举报本楼

本帖有 1 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-11-22 17:41 , Processed in 0.112864 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部