这一次离开的是 Miles Brundage,他是 OpenAI 一位资深研究者和管理者,于 2018 年加入 OpenAI,离职前担任 AGI Readiness 团队的高级顾问,之前还曾领导过 Policy Research 团队。更早之前,他曾在牛津大学人类未来研究所从事研究工作。
这次离开 OpenAI,他写了一篇超过 5000 词的博客,回顾了他在 OpenAI 的工作历程,并分享了自己离职的原因、对 AI 的看法以及未来计划,其中还涉及到 OpenAI 工作方式和企业文化方面的一些隐秘。
消息发布后,许多 AI 领域的人士都留言表示祝福,包括仍然还在 OpenAI 的著名研究者 Noam Brown、a16z 合伙人和 Fellow AI 创始人 Marco Mascorro、谷歌 AI Studio 产品负责人 Logan Kilpatrick 以及大量 AI 领域的研究者和创业者。
剑桥大学 AI 治理与政策研究者 Haydn Belfield 甚至认为 Miles Brundage 离开 OpenAI 就相当于一个时代的终结。
我认为 AI 能力正在迅速提升,政策制定者需要更快采取行动。这是我最希望能够独立研究的领域之一,因为当这些说法来自产业界时,它们往往会被视为炒作。通过脱离产业界,我将无法获得一些关于最新技术的信息,但我认为公共领域有大量信息可以证明这种紧迫感是合理的,而且我有一些想法,可以比迄今为止的叙事更好地展现这种紧迫性。几年前,我向有效利他主义者(他们对某些 AI 能力需要多长时间才能出现非常感兴趣)辩称,预测这些用处不大。许多应该采取的政策行动与确切的时间表完全无关。然而,我后来改变了主意,并认为大多数政策制定者除非认为情况紧急,否则不会采取行动,而且如果情况确实如此或将来可能如此,就需要令人信服地解释为什么会这样。
我认为,对 AI 能力及其推断的定量评估,结合对某些政策影响的分析,才能真实且有说服力地证明这种紧迫性。人们已经开始从安全角度衡量前沿模型、衡量 AI 随时间变化的趋势以及评估 AI 对劳动力市场的影响,但肯定还需要更多工作。
我认为我们还没有掌握我们需要的所有 AI 政策理念,而且许多常见理念要么很糟糕,要么太模糊,无法给出可信的判断。在 AI 的国际竞争中尤其如此,我发现现有的提案特别糟糕和模糊,不过其中一些想法也获得了更细致入微的讨论,并且趋势向好。前沿 AI 安全和保障的许多方面也需要创造性的解决方案。
另一方面,我认为我们确实有一些我们需要的理念,并且应该在其中一些领域迅速行动起来。这就是我不想把自己局限于研究的原因 —— 在某些情况下,缺少的就是意识或政治意愿。例如,国会应该大力资助美国 AI 安全研究所,这样政府就更有能力清晰地思考 AI 政策,也应该资助工业和安全局,这样政府中就会有人知道先进的 AI 芯片出口后会发生什么。
与此同时,我意识到我们最终可能会将 AI 评估和预测提升到非常严格的状态,但政策行动仍然会相对缓慢。因此,除了与人们合作以更好地了解 AI 的进展之外,我还希望以一种能引起共鸣的方式更好地向人们介绍进展速度。我强烈地感觉到 AGI 更容易在产业界实现,但我不知道具体原因,因为实验室的能力与公众可用的能力之间实际上并没有太大的差距。
我认为,改善前沿 AI 安全与保障是当务之急,因为许多公司(数十家)都很快(最多未来几年时间)会拥有有能力造成灾难性风险的系统。考虑到现在已经没有多少时间可以设立全新的监管机构了,因此我尤其关注在现有的法律体系内采取行动的机会,以及 EU AI Act(欧盟人工智能法案)等已获准许的法案的施行。
如上所述,也可参读论文《The Role of Cooperation in Responsible AI Development》,公司和政府不一定会默认给予 AI 安全与保障应有的关注(并不只是说 OpenAI)。此现象的原因有很多,其一是私人利益和社会利益之间的错位,监管可以帮助减少这种错位。在安全等级方面实现可信的承诺和验证也存在困难,这进一步激励了偷工减料:人们认为其他人会偷工减料以获得优势,也无法确定 ground truth 是什么,或者认为他们以后会改变主意。偷工减料在许多领域都有发生,包括防止有害偏见和幻觉输出,以及投资预防即将发生的灾难性风险。需要明确的是,商业激励措施中有些方法可以促进安全,但我认为假定这些激励措施就足够了是不负责任的想法,特别是对于模糊、新颖、分散和 / 或低概率 / 高幅度的安全风险。
我很高兴了解公司如何能可靠地证明安全性,同时保护有价值且可能被滥用的知识产权。在不泄露敏感信息的情况下证明合规性的难度是实现控制协议的主要障碍,需要创新来解决。这个问题也是有效国内监管的核心。我很高兴能与致力于解决这一问题和其他相关技术 AI 治理问题的人们合作。
AI 的经济影响
我认为,在未来几年(而不是几十年),人工智能很可能会带来足够的经济增长,从而使人们可以轻松地提前退休,过上高标准的生活(假设有适当的政策来确保公平分配这些财富)。在此之前,可能会有一段时期,可以远程完成的任务更容易实现自动化。在短期内,我非常担心人工智能会扰乱那些迫切想要工作的人的机会,但我同时认为,人类最终应该消除为生活而工作的义务,而这样做也是构建 AI 和 AGI 的最有力论据之一。从长远来看,有些人可能会继续工作,但这样做的动力可能会比以前更弱(这是否正确取决于各种文化和政策因素)。就这件事而言,我们在政治、文化或其他方面都还没有做好准备,这需要成为政策对话的一部分。简单地转向「后工作世界」有可能导致文明停滞(参见《机器人总动员》),我们需要对此进行更多的思考和讨论。
我们还需要对人工智能的税收政策影响进行创新分析。例如,有人建议征收「机器人税」,但这究竟会产生什么影响?它与计算税或 AI 增值税等相比有何不同?我们是否不应该做任何专门针对 AI 的事情,而只需要意识到 AI 会让其他类型的税收变得更加紧迫(例如,如果资本和劳动力的回报出现巨大差异)?
加速有益的 AI 应用
虽然 AI 会带来一些好处,而且这些好处正在「自动」出现(通过许多人的辛勤工作),不需要太多的政府参与或支持,但我认为这种情况还没有达到足够的程度。对于从事工业工作的人来说,我们离理想有多远是显而易见的,而受限的 AI 素养和有限的资源又在多大程度上阻碍了 AI 收益的全面普及。
我认为,即使对(几乎)只专注于降低 AI 风险的人来说,认真考虑 AI 的有益应用也是有意义的,因为它们可能会改变不同竞争方对共同利益的看法,从而影响他们是否倾向于采取捷径的可能性。而且有益的应用也可能在降低风险方面提供更大的容错空间(例如,通过使社会对更高级别的人工智能部署或滥用具有更强的适应能力)。
此外,在默认情况下,免费和付费 AI 功能之间的差距很可能会越来越大。曾经有一段短暂的时期,这两者之间是完全等同的(除了次数限制),比如有段时间 4o 是最好的付费模型,用户也可以免费使用。但那个时代已经过去,很快就会成为遥远的记忆,因为各家公司都在争相为愿意支付更多费用的用户提供 test-time 计算服务。我并不是说不应该存在这样的差异,而是我们应该深思熟虑,找到合适的平衡点,以及我们是否可能在不知不觉中走向一个知识拥有者和非拥有者的世界。
在我看来,「AI for good」的初衷是好的,但目前却效率低下,这主要是由于民间社会和政府缺乏足够的专业技术知识,以及良好的规范和理论基础。例如,如果能对以下问题进行更多分析就好了:哪些问题应该 / 不应该期望市场提供解决方案;对于特定问题,是应该构建定制的专用 AI 解决方案,还是应该提高通用 AI 系统处理这些问题的能力;何时应该补贴现有技术,何时应该创造全新的技术等。
当然,也有一些令人兴奋的新想法和新框架被提出来,但我们也希望看到围绕这些更大的问题进行更多的辩论(除了为促进特定有益应用而采取的一次性举措之外),我们也希望看到「AI for good」社区、更注重理论的群体(他们正在思考风险敏感型创新、「d/acc」和社会对人工智能影响的适应力等想法)以及致力于缩小数字鸿沟的群体之间进行更多的相互交流。