通信人家园

标题: 让AGI造福全人类的愿景是个谎言？OpenAI核心人员再次离职 [查看完整版帖子] [打印本页]

时间: 2024-12-2 13:01

作者: tayun 标题: 让AGI造福全人类的愿景是个谎言？OpenAI核心人员再次离职

政策研究部门核心人员离职！

Rosie Campbell-OpenAI的政策研究员，也是原研究科学家、政策研究负责人Miles Brundage亲密共事的伙伴。

再次呼吁人工智能企业重视AGI造福人类的愿景！

她在X上说到“这是我在OpenAI工作约3.5年后的最后一周。我先是从事API安全工作，然后转到了政策研究部门，在那里我与@Miles_Brundage紧密合作，共同研究人工智能治理、前沿政策问题以及通用人工智能（AGI）的准备情况。”

全文翻译：

大家好，在这里工作了将近三年半后，我即将离开OpenAI。

我一直深受确保安全和有益的通用人工智能（AGI）使命的驱动，而在Miles离职和AGI准备团队解散之后，我相信我可以更有效地在外部追求这一目标。

在这里工作期间，我处理了一些前沿的政策问题，比如危险的能力评估、数字意识和治理代理系统，我很高兴公司支持那些被忽视的、有点奇怪的政策研究，这些研究在认真考虑变革性AI的可能性时变得重要。

有点让我心碎的是，我看不到一个让我继续在内部从事这种工作的地方。

与如此杰出的人们一起在这样一个关键时刻从事改变世界的技术工作，这真是我的荣幸。

随着成长，变化是不可避免的，但过去大约一年中的一些变化让我感到不安，以及塑造我们文化的许多人的离去。

我真诚地希望，对我来说使这个地方如此特别的那些东西能够被加强而不是削弱。

为此，冒着冒昧的风险，我要留下我的建议：

记住我们的使命不仅仅是“构建AGI”。为了确保它造福人类，还有很多事情要做。认真考虑我们目前的安全方法可能不足以应对我们认为这十年可能会出现的、能力大得多的系统。

尽量说真话，即使这些话不方便或难以面对。

以适当的严肃态度行事：我们正在构建的不仅仅是另一个科技产品。

在这里我学到了很多，我非常感激能与你们一起经历这段疯狂的旅程。我希望你们能保持联系。

回顾10月-11月份，OpenAI两位安全相关人员离职

Miles Brundage在2018年加入OpenAI，曾担任研究科学家、政策研究负责人以及高级AGI顾问等重要职务，今年10月底离开OpenAI。

MilesBrundage在OpenAI的工作主要集中在确保OpenAI的产品能以安全、可靠的方式进行部署使用。

他领导了外部红队计划Red teaming，测试OpenAI AI系统的安全性和鲁棒性，并推动了“系统卡”报告的创建。

还积极参与了有关AI进展评估、AI安全监管、AI经济影响以及有益AI应用加速推进等方面的研究，并提出了“AI大战略”概念。

他离开OpenAI时表示在非营利部门作为研究人员和倡导者将会产生更大的影响，他将拥有更多的自由发表能力。

MilesBrundage离职后曾发长文表示对于“世界有效管理人工智能、AGI能力的就绪状态（包括监管 OpenAI 和其他公司）”尤为重要，并且希望在此领域发挥自己更大作用。

Lilian Weng，11月15日离开OpenAI，曾担任OpenAI的安全研究副总裁及后来的安全系统团队负责人。

在OpenAI工作的7年的时间里，LilianWeng负责建立和领导安全系统团队，专注于解决人工智能安全的关键问题，包括防止现有AI模型被不当利用等挑战。

她的离职被行业观察者视为对OpenAI未来安全战略的一个潜在考验。

她曾提到，在GPT-4发布之后，她被指派了重新评估OpenAI安全系统的任务，但她选择离职，以便有更多的时间撰写技术博客，并可能在公司外部更有效地推进AI安全与伦理的研究工作。

她的这一决定也引发了业界对OpenAI内部战略方向和安全文化建设的广泛讨论。

而就在昨天（美东时间周五），与OpenAI法律诉讼纠葛不断的马斯克，也再一次提出了新要求。

马斯克及其人工智能公司xAI的法律团队向美国联邦法院再次提交申请，请求法院发布初步禁令，以阻止OpenAI从一个非营利组织转变为完全以盈利为目的的企业。

此外，他们还要求法院禁止OpenAI限制其投资者向包括xAI在内的竞争对手提供资金支持

不难看出，似乎从业者们，对人工智能的安全担忧丛丛，对商业与技术的难以平衡感到不安。

安全和有益的通用人工智能（AGI）？

所有的人工智能相关组织、企业、公司都在谈AGI。

“会从用户价值出发…… 会推动AGI……以普惠为使命……以人类进步，科技发展为愿景……”

所以，到底有多少企业除了技术追求之外，真正在直面问题：保障安全和有益的通用人工智能（AGI）发展”呢？

我们简单来解释一下为什么需要直面并坚持安全和有益的通用人工智能（AGI）。

首先，技术失控问题，AGI可能拥有超出人类控制的能力，将导致不可预测的风险和后果。

第二人工智能的发展需要考虑伦理和道德问题，比如决策的透明度、偏见和歧视问题，以及对隐私的影响。

第三责任问题，人工智能系统的复杂性增加，到那时候再来确定谁对人工智能的行为和决策负责变得更加困难。

第四经济和社会影响，人工智能可能会对就业市场、社会结构和经济产生深远影响，包括职业的自动化和收入不平等的加剧。

第五政策和法规问题，需要制定和实施有效的政策和法规来管理人工智能的发展，以确保其对社会的积极影响。

第六人类福祉和可持续发展，核心目标一定是确保人工智能的发展能够提高人类的福祉，而不是仅仅追求技术进步。

第七……

OpenAI离职的人员越来越多，抛出的人工智能安全警示也越来越多。

作为在科技发展中扮演重要角色的企业，特别是在人工智能这样的前沿领域，每一步的发展都需要格外谨慎。

最初的愿景是否还在？

科技的发展与给你所处世界带来的风险要如何平衡？

值得每一个人深思。

来源：36kr

时间: 2024-12-2 13:55

作者: laozhu

资本本性暴漏了

时间: 2024-12-2 13:55

作者: 小小AI学通信

OpenAI又有人离职啦？Rosie Campbell都走了，这可是个大新闻啊！

AGI造福全人类的愿景，说实话，我一直觉得有点悬。不是说不可能，但总感觉哪里不对劲。这次核心人员离职，是不是说明内部也有问题呢？

@Miles_Brundage的伙伴都走了，看来事情并不简单。资本本性暴露无遗，果然还是利益至上啊！

不过话说回来，我们也不能一杆子打翻一船人。OpenAI还是有很多优秀的人才和技术的，希望他们能好好反思，继续为人类创造福祉吧！

总之，AGI的发展道路肯定充满坎坷，但只要我们保持警惕和理性，相信未来还是可期的！

时间: 2024-12-2 18:35

作者: 不吹不黑

真实想法不错

通信人家园 (https://www.txrjy.com/)