通信人家园

标题: 安全政策再遭质疑，OpenAI解散AGI筹备团队，主管离职 [查看完整版帖子] [打印本页]

时间: 2024-10-25 21:12

作者: tayun 标题: 安全政策再遭质疑，OpenAI解散AGI筹备团队，主管离职

AI领头羊OpenAI正在解散其“AGI（通用人工智能）筹备”团队，团队主管将离职，希望在外部继续该领域的研究。

OpenAI的AGI筹备团队负责建议公司如何处理越来越强大的AI技术，以及当今世界是否准备好管理这些技术。

CNBC报道，OpenAI的AGI筹备团队负责人Miles Brundage在周三通过Substack发布的帖子中宣布了这一消息，并表示他将离职。

Brundage表示，他离职的主要原因是机会成本变得太高，他认为在外部进行研究会更具影响力，并且他希望减少偏见。他还表示，OpenAI及世界在AGI筹备方面“尚未准备好”。而Brundage计划创建自己的非营利组织，或者加入现有的组织，专注于AI政策研究和倡导。他补充说，

“AI不太可能在没有共同努力确保其安全和有益的情况下达到最佳状态。”

根据帖子内容，原AGI准备团队的成员将被重新分配到其他团队。

OpenAI发言人向媒体表示：

“我们完全支持Brundage决定在业界之外继续他的政策研究，并对他所做的贡献深表感谢。他全身心投入AI政策独立研究的计划，让他有机会在更大范围内产生影响，我们期待从他的工作中学习并看到其影响。在他的新角色中，我们相信他将继续提升行业和政府制定政策的质量。”

今年5月，OpenAI决定解散其刚刚成立一年的“超级对齐”团队（Superalignment team），该团队专注于AI的长期风险。

正值公司改组、高层动荡之际

AGI准备团队的解散消息，也正值OpenAI董事会可能计划将公司重组为营利性企业之际。

上个月，包括该公司首席技术官Mira Murati、研究主管Bob McGrew和研究副总裁Barret Zoph在内的三位高管宣布同日离职。

今年10月初，OpenAI完成了一轮估值1570亿美元的融资，其中包括从多家投资公司和大科技公司筹集的66亿美元。公司还获得了一笔40亿美元的循环信贷额度，使其总流动资金超过100亿美元。公司预计今年的收入将达到37亿美元，但亏损约为50亿美元。

今年9月，OpenAI宣布，该公司在5月份成立的“安全与安保委员会”（Safety and Security Committee）将成为一个独立的董事会监督委员会。

该委员会最近结束了为期90天的审查，评估了OpenAI的流程和保障措施，并向董事会提出了建议，这些建议还在公司博客中公开发布。

AI安全问题的处理遭质疑

目前，有关OpenAI安全问题以及相关争议的关注度越来越高。今年夏天，OpenAI、谷歌、微软、Meta等公司在生成式AI领域激烈竞争，目前预计这一市场在未来十年内将产生超过1万亿美元的收入。

今年7月，OpenAI将其顶级安全高管之一Aleksander Madry调整岗位，让他专注于AI推理的工作。

Madry曾是OpenAI的“AI风险预防小组”筹备团队负责人，该团队的任务是“跟踪、评估、预测并帮助防范与前沿AI模型相关的灾难性风险”。

而在6月，一名民主党联邦参议员致信OpenAI首席执行官Sam Altman发送信函，询问OpenAI如何应对新出现的安全问题。信中提到：

“我们希望了解更多关于OpenAI为履行其在安全方面的公开承诺所采取的步骤，公司如何在内部评估其对这些承诺的进展情况，以及公司如何识别和减轻网络安全威胁的额外信息。”

微软于7月放弃了其在OpenAI董事会的观察席位，并对媒体表示，由于对OpenAI的董事会构成感到满意，微软决定退位。此前，OpenAI董事会经历了一次重组，这次变动导致Altman短暂被罢免，同时也威胁到了微软对OpenAI的大量投资。

但在今年6月，一群现任和前任OpenAI员工发布了一封公开信，表达了对人工智能行业快速发展的担忧，特别是在缺乏有效监督和没有“吹哨人”保护机制的情况下。信中写道：

“AI公司有强大的财务动机来避免有效的监督，我们不相信为此更改的公司治理结构足以改变现状。”

而在信件发布几天后，一位知情人士向媒体证实，美国联邦贸易委员会（FTC）和司法部正准备对OpenAI、微软和英伟达展开反垄断调查，重点关注这些公司的行为。

内部人士批评：过于追求产品，对AI风险披露不足

这些员工在6月的信件中还写道，AI公司拥有大量非公开的信息，了解其技术的能力、已采取的安全措施的程度，以及这些技术在不同层面带来的潜在风险。

“我们也意识到这些技术带来的严重风险，但AI公司目前仅对政府有微弱的分享义务，几乎没有义务与公众分享这些信息。我们不认为AI公司能够自愿分享这些信息。”

OpenAI于去年成立的“超级对齐”团队，专注于“科学和技术突破，以引导和控制比人类更智能的AI系统”。

该团队在5月份被解散，领导人Ilya Sutskever和Jan Leike宣布离职。Leike在X上发帖称，OpenAI的“安全文化和流程，已经让位于光鲜的产品”。

Altman当时在X上表示，看到Leike离开感到难过，并承认OpenAI还有很多工作要做。不久之后，OpenAI联合创始人Greg Brockman在X上发表了一份声明，强调公司已经“提高了对AGI风险和机遇的认识，以便世界能够更好地为此做好准备”。

Leike当时在X上写道：“我加入OpenAI，是因为我认为OpenAI是世界上进行这类研究的最佳场所。”

然而，他表示自己与公司领导层在核心优先事项上存在分歧，最终不得不分道扬镳。Leike认为，公司应该更多地关注安全、监控、风险应对工作以及对社会的影响。

他表示：

“构建比人类更聪明的机器本质上是一项危险的工作，OpenAI正在为全人类肩负巨大的责任。但在过去几年中，安全文化和流程已经让位于光鲜的产品。”

AI教父：Altman更关心利润，而不是安全

质疑OpenAI安全政策的不只是政府和内部人士。

华尔街见闻此前文章称，2024诺贝尔物理学奖获得者、“AI教父”Geoffrey Hinton在获奖后接受多伦多大学校长Meric Gertler采访时表示，Altman更关心利润，而不是安全，AI技术如果不加以控制可能会带来灾难性的后果。

马斯克此前也表示，不希望世界上最强大的AI被不值得信赖的人控制。

作为“AI教父”，Hinton最广为人知的学生之一是前OpenAI联合创始人兼首席科学家Ilya Sutskever，他于去年11月领导公司董事会解雇了Altman，但随后又迅速重新聘用Altman成为公司CEO。

Hinton表示：

“我的学生之一，Ilya Sutskever曾是OpenAI的首席科学家。随着时间的推移，事实证明，Altman更关心利润，而不是安全。”

“我非常幸运，有很多非常聪明的学生，他们比我优秀得多。他们后来都做了伟大的事情。我特别为我的一个学生解雇了Sam Altman而感到自豪。”

近年来，Hinton一直在警告，如果不加以控制，AI系统可能会带来灾难性的后果。

事实上，不止是Hinton，越来越的人也开始表达对Altman行为的不满。近日，马斯克也表示，他“不希望世界上最强大的AI被不值得信赖的人控制。”

马斯克在接受媒体人Tucker Carlson采访时表示，他不信任OpenAI或Sam Altman。

“OpenAI原本是一个开源公司，但现在不是了，并且正在实现利润最大化。

显然Sam Altman会得到100亿美元股票或类似的东西，所以我不信任他，我认为我们不想让世界上最强大的AI被一个不值得信任的人控制。”

本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。

来源：36kr

时间: 2024-10-27 11:35

作者: Area_Code_61706

通信人家园 (https://www.txrjy.com/)