我为什么离开OpenAI？六年元老发离职长文：AGI将至，我们远没准备好

tayun

新智元报道

编辑：乔杨

【新智元导读】6年元老为何加入离职大军？AGI的未来，我们到底需要面对什么？OpenAI前高级顾问Miles Brundage最近发表长文，细述了自己的思考和感受。

OpenAI的「员工叛逃」还没有结束。


近日，OpenAI又有一位6年元老、研究主管Miles Brundage发表长文官宣离职，并详细解释了自己为何「出走」。

作为一家年轻的AI独角兽，成立于2015年的OpenAI如今刚刚9岁，因此在公司待了6年之久的Brundage足以被称为「元老」，见证了OpenAI如何一路起伏、筚路蓝缕地走到今天。

在博文中，Brundage也在开头强调：为OpenAI的高管和董事会提供建议，为AGI的到来做准备，这实际上是他梦想中的工作；甚至就在2015年OpenAI刚成立时，Brundage兴奋得一夜不睡，写下一篇博文强调这个组织的重要性。

原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015

因此，离开OpenAI对他来说并不是一个容易的决定。但是为了有更多时间研究自己认为重要的课题，更独立、自由地发表观点和作品，Brundage决定转而加入（甚至自己创办）非营利组织，将重点放在AI政策研究和倡导上。

Miles Brundage本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任AI政策研究员。

2018年，Miles Brundage加入了刚刚成立3年的OpenAI担任政策方面的研究科学家，之后又在2021年升任研究主管，目前是AGI准备工作的高级顾问。

为何离开OpenAI


总体来看，Brundage的离职是希望从行业外部而非内部影响AI的发展，这与今年Geoffrey Hinton离开谷歌的原因如出一辙，具体有如下几个考虑因素：

机会成本

本职工作已经占去了几乎全部的时间，因此Brandage感觉很难从事自己认为重要的研究课题。甚至在某些情况下，身处行业之外时，从事这些研究能更有影响力和说服力。

而且，OpenAI目前已经如此引人注目，成果发布前就需要从许多不同的角度进行审查，以至于无法发表某些主题的文章。

但值得注意的是，Brundage并不是完全反对OpenAI在出版物审查方面的立场，他认为行业中存在出版限制是合理的，他本人也帮助编写了OpenAI政策的几个迭代版本，但公司目前施加的限制确实已经太多了。

减少偏见

如果选择成为某个组织的一部分，并且每天都和那里的同事们密切合作，你就很难对这个组织保持公正。

Brundage表示，他在分析中尽力追求公正，但仍然会有偏见的存在。而且在OpenAI工作这件事本身，就会影响到外界如何看待自己的观点和研究。考虑到财务利益上的冲突，人们有理由质疑来自行业的政策想法。

在有关政策的对话中，有更多独立于行业的声音至关重要，而Brundage计划成为其中之一。

在OpenAI，能做的都做了

从入职至今，Brundage认为自己作为「AGI准备状态高级顾问」的工作已经完成了大部分。

「AGI准备状态」（AGI Readiness）主要分为两种：一是OpenAI要准备好管理日益强大的AI能力，二是整个世界也要准备好有效管理AI能力，包括通过监管OpenAI和其他公司。

对于前者，Brundage已经向他的负责对象——OpenAI的高管和董事会——详细介绍了他认为OpenAI需要做什么，以及差距在哪里；而对于后者，他认为自己在OpenAI外部能够更加有效。

虽然失去了一些在OpenAI发挥影响力的机会，但Brandage希望在更大程度上影响整个生态系统。

AGI，我们都没准备好


Brundage认为，对于即将到来的AGI，OpenAI或任何其他的前沿实验室都还没有准备好，这个世界也还没有准备好。

原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7

但需要明确的是，他不认为这种「没准备好」的状态与OpenAI领导层的声明相冲突；同时他也暗示，虽然距离理想的标准存在相当的差距，但是我们仍可以在相关时间点步入正轨，为此Brundage将在余下的职业生涯中致力于人工智能政策。

科技公司和这个世界是否走上了AGI准备的正轨，是一个复杂的函数，取决于安全和保障方面的文化如何随着时间的推移而发挥作用、监管如何影响组织的激励措施、各种有关AI能力和安全方面困难的事实，以及各种其他因素。

此处，Brundage特别表扬了OpenAI最近新增加董事会成员的决定，新吸纳的成员包括和，这都是朝着正确方向迈出的一步。

顺便一提，Brundage表示，「AGI」这个术语承载了太多意义，它现在更多地暗示着一种二元思维方式，而不是实际意义，因此有必要澄清一下，此处的「为AGI做好准备」，指「准备好安全、可靠且有益地开发、部署和管理能力日益强大的AI系统」。

最近，他和团队正在充实，不久后或许会发表一篇正式的论文。这个框架曾被彭博社披露，引来了不少争议。

虽然Brundage对AI政策抱持着谨慎和批判的态度，但对于AGI前景的预测，他的确称得上是一个「技术乐观主义者」，。

他认为，在未来短短的几年内，人工智能很可能能够实现足够的经济增长。假设我们能制定出适当的政策来确保公平分配，人类就能实现高生活水平的提前退休。

但在此之前的短期时间中，AI很可能会抢走一些迫切需要工作的人的机会，尤其是那些可以远程完成的、容易自动化的任务。

但事实是，人类最终应该摆脱为谋生而工作的义务，这也为构建AI和AGI提供了最强有力的论据之一。从长远来看，有些人可能会继续工作，但不会像现在这样有如此迫切的激励因素。

一个「后工作世界」（post-work world）的风险之一就是文明的停滞（比如电影「机器人总动员」所展现的），但我们目前还没有在政治、文化或其他方面为此做好准备，因此需要更多的思考、辩论和政策讨论。

2008年电影「机器人总动员」（WALL-E），由皮克斯工作室制作、迪士尼出品

很多人都描绘过「AI造福人类」的前景，这些描述似乎是出于好意而非阴谋论。但目前存在效率低下的问题，很大程度上是由于民间社会和政府的技术专业知识不足，以及缺乏良好的规范和理论基础。

例如，对于出现的问题，我们是否应该期望市场机制给出解决方法？什么时候应该构建定制化、应用范围狭窄的AI解决方案，什么时候应该提高通用AI系统的能力来解决？在各种情况中，正确的方法是继续补足现有的技术，还是创造全新的技术，等等。

要不要在OpenAI工作


「要不要在OpenAI工作」，这个问题听起来有点凡尔赛，可以类比下「斯坦福和MIT该选哪个」。

但如果屏幕前的你拿到了offer正在纠结该去OpenAI还是谷歌DeepMind，Miles Brundage的经验或许能帮助你解决这个甜蜜的烦恼。

在OpenAI工作是大多数人希望能做到的最有影响力的事情之一，所以在大多数情况下，答案是肯定的。

考虑到每个人拥有的技能和机会不同，很难做出笼统的陈述，但有一点是确定的——OpenAI 的每一个角色，以及每个人对待工作的谨慎程度都很重要，对OpenAI组织文化的每一项贡献也很重要。

在通往更强大AI的道路上，每一次产品的部署都会发挥重要作用，比如影响行业规范，以及人们认知和监管AI的方式。

在OpenAI工作，无论是AI的安全与保障，抑或是AI能力和产品方面的研究，发挥个人的能动作用来推动AI安全都是非常有影响力的。

下面这段话，似乎是Brundage的一段隔空喊话，写给他仍在OpenAI工作的前同事们：

「任何在OpenAI工作的人都应该认真对待这样一个事实：他们的行为和言论有助于组织文化，并且当这个组织开始掌管极其先进的能力时，可能会创造正面或负面的路径依赖。文化对任何组织都很重要，但在前沿AI的背景下尤其重要，因为大部分决策不取决于监管法规，而是来自公司中的人。」

正如Brundage在前文所表示的，他认为某些政策研究最好在外部进行，AI的安全和保障工作有时也是如此。尽管OpenAI内部确实需要一些人来推动公司采取良好的政策立场，但存在独立的安全研究也很有价值。

参考资料：

https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im

https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/


来源：网易