我最近一直在想,人类是否有可能阻止 AI 的发展。
我觉得答案几乎肯定是否定的。
如果 AI 无法被阻止,或许让 Google 以外的其他人率先开发出来会更好。
你觉得 YC(Y Combinator)是否应该启动一个类似曼哈顿计划的 AI 项目?
我感觉我们可以招募全球排名前 50 的 AI 顶尖人才来参与,并将技术通过某种非营利组织归全人类所有,同时保证研发者在成功后获得类似初创公司那样的报酬。当然,我们会完全遵守并大力支持所有相关法规。
——Sam
1. 任务是开发首个通用 AI(AGI),以个体赋能的形式普及,即未来看起来最安全的分布式版本。安全性是绝对优先事项。
2. 团队规模:一开始组建 7-10 人的核心团队,然后逐步扩展。YC 在山景城有一栋空置的办公楼可以使用。
3. 治理结构:建议设立 5 人的治理团队,成员包括你(马斯克)、比尔·盖茨(Bill Gates)、皮埃尔·奥米迪亚(Pierre Omidyar)、达斯汀·莫斯科维茨(Dustin Moskovitz)和我(Sam Altman)本人。技术将归基金会所有,并以“造福全世界”的方式使用。如果某些应用场景不明确, 将由我们 5 人共同决策。研究人员将获得丰厚的经济回报,但这些回报与他们具体开发的技术无关,以避免利益冲突。工资会具备竞争力,此外还提供 YC 的股权作为奖励。我们也会持续讨论哪些研究工作需要开源,哪些不需要。在某个时候,我们会找一个人来管理团队,但他/她可能不应该加入治理委员会。
4. 除了管理之外,你(马斯克)还会以其他方式参与吗?我认为这对让这项工作朝着正确的方向发展、让最优秀的人才参与其中非常有帮助。理想情况下,你会每月或隔一段时间过来和他们谈谈进展情况。我们一般把以某种有限方式参与 YC 的人称之为“兼职合伙人”。即使你不能真正花时间在上面,但可以公开支持,这可能仍然对招聘非常有帮助。
5. 等项目启动后,再发布关于监管的公开信,内容可以调整为“既然我们已经开始了这个项目,我也想了很多关于 AI 安全约束的问题”。如果你不希望署名,我可以把你的名字去掉。
—— Sam
我们需要尽一切努力来获得顶尖人才。让我们更上一层楼。如果在某个时候,我们需要重新审视现有员工的薪酬,那也没关系。
要么我们能找到世界上最优秀的人才,要么我们就会被 Deepmind 打败。
无论需要做什么,只要能培养出顶尖人才,我都愿意。
Deepmind 让我精神压力极大。如果他们赢了,那对他们一心一意统治世界的理念来说将是一个坏消息。他们显然正在取得重大进展,而且他们应该取得进展,因为那里的人才水平很高。
这次过程是Greg Brockman 和我参与过的最重要的对话之一。如果这个项目成功了,这可能会成为世界历史上最关键的对话。对我们每个人来说,这也是一次极其私人的交流。
昨天,我们在考虑最终承诺时,意识到在非竞争协议下我们犯了一个错误。我们还有一些重要的担忧没有向你们提出来。之所以没提,是因为我们害怕会损害彼此的关系、让你们对我们失望,或者失去你们作为合作伙伴的支持。
我们清楚这些问题可能无法解决,但我们不讨论的话肯定会失败。希望通过这次沟通,我们能够携手继续前行。
Elon:
我们非常希望和你合作。我们坚信,若能联合力量,我们完成使命的机会最大,潜在的回报也是最高的。这一点毋庸置疑。为了与你合作,我们甚至愿意放弃股权和个人控制权,接受随时被解雇的风险——无论需要什么,我们都愿意付出。
不过,我们发现自己在关于“控制权对世界的影响”这个问题上的考虑过于粗心。由于这种思考显得自负,我们没有认真考量成功的后果。
当前的结构为你提供了一条通往对 AGI 的绝对单方面控制的路径。你曾说过不希望控制最终的 AGI,但从这次谈判中,我们看出绝对控制对你来说非常重要。例如,你表示需要担任新公司 CEO,让所有人都知道你在掌控局面,即使你同时也说过自己讨厌当 CEO,更愿意不担任这个职务。
因此,我们担心,随着公司在 AGI 领域取得实际进展,你会选择保留对公司的绝对控制,尽管你现在意图相反。我们不同意你关于“我们可以离开公司是我们最大的权力”的观点,因为一旦公司走上 AGI 的正轨,它的意义将远超任何个人。
OpenAI 的目标是让未来变得更美好,避免 AGI 独裁。你担心德米斯可能会创造一个 AGI 独裁,我们也有同样的担忧。所以,创建一个你也可能成为独裁者的结构显然是个糟糕的主意,尤其是在可以通过其他方式避免这种可能性的情况下...
Sam:
在我们遇到困难时,你总能提出深刻且正确的答案。在这个问题上,你的思考极其深入。但在整个过程中,我们没能完全信任你的判断,因为我们不了解你的“成本函数”。
比如,我们不明白为什么 CEO 头衔对你如此重要。你的解释前后不一致,我们难以理解你真正的驱动力。AGI 真的是你的首要动力吗?它如何与目标关联?你的思维过程是如何随着时间演变的?
通信人家园 (https://www.txrjy.com/) | Powered by C114 |