通信人家园

标题: 人可以活到150岁，5年实现100年科学进步，Anthropic CEO万字长文：AI如何让世界更美好？  [查看完整版帖子] [打印本页]
时间:  2024-10-14 15:03
作者: tayun     标题: 人可以活到150岁，5年实现100年科学进步，Anthropic CEO万字长文：AI如何让世界更美好？




人工智能（AI）如何让世界变得更加美好？这是我们过去几十年、现在和未来始终都在探索的问题。

日前，美国知名 AI 公司 Anthropic CEO Dario Amodei 在一篇题为“Machines of Loving Grace——How AI Could Transform the World for the Better” 的个人博客中，从生物学和神经科学的突破，到经济发展和全球不平等的解决，以及工作与意义的挑战，深入探讨了强大 AI 可能带来的广泛影响。



他不仅描绘了一个技术高度发达的未来，同时也提出了重要的伦理和社会问题：AI 将如何塑造我们的生活？我们如何确保技术进步惠及全球，推动人类社会向更公平、更民主的方向发展？在科技变革的浪潮中，人类又该如何找到自我价值与意义？

在他看来，这不仅是一场技术革命，更是一场社会、道德和政治的考验。虽然他提出的某些愿景看似激进甚至理想化，但它提醒我们，AI 的未来不会自动朝向美好；相反，正如历史上其他重大转折一样，我们只有通过共同的努力，才能确保 AI 被用来服务全人类的福祉。

核心观点如下：


学术头条在不改变原文大意的情况下，做了简单的编译（有删减）。内容如下：

我经常思考和讨论强大 AI 的风险。我所担任 CEO 的公司 Anthropic 也在大量研究如何减少这些风险。因为这一点，人们有时得出结论认为我是个悲观主义者，或者是认为 AI 大多是有害或危险的“末日论者”。但我完全不是这么想的。事实上，我之所以专注于风险，主要原因之一是这些风险是阻碍我们走向我认为的根本上积极的未来的唯一障碍。我认为大多数人低估了 AI 的潜在好处，就像我认为大多数人也低估了其潜在风险有多么严重一样。

在这篇文章中，我尝试勾勒出这种潜在好处的模样——如果一切顺利，拥有强大 AI 的世界可能会是什么样子。当然，没有人能够准确地预测未来，强大 AI 的影响很可能比过去的技术变革更加不可预测，因此这些猜测在某种程度上是不可避免的。但我力求做出有见识且有用的猜测，试图抓住大体上可能会发生的事情的核心，即使大多数细节最终会是错误的。我之所以包含了很多细节，主要是因为我认为一个具体的愿景比一个充满保留和抽象的愿景更有助于推动讨论。

然而，首先我想简要解释一下为什么我和 Anthropic 并没有太多谈论强大 AI 的好处，以及为什么我们可能会继续更多地谈论其风险。特别是，我出于以下几方面的考虑做出了这一选择：

最大化杠杆作用。AI 技术的基本发展以及其许多（虽然不是全部）好处似乎是不可避免的（除非风险打乱了一切），并且这些发展本质上是由强大的市场力量推动的。另一方面，风险并不是预先确定的，我们的行动可以大大改变它们发生的可能性。

避免产生宣传的印象。AI 公司大谈 AI 的所有好处可能会给人一种宣传者的印象，或者好像他们试图掩盖缺点。我还认为，作为一种原则，花太多时间“为自己的书讲话”对你的灵魂是不好的。

避免自大。我常常对许多 AI 风险公共人物（更不用说 AI 公司领导人）谈论后 AGI（通用人工智能）世界的方式感到不满，好像他们是单枪匹马带领人类走向救赎的先知一样。我认为，将公司视为单方面塑造世界是危险的，将实际的技术目标以本质上宗教的方式来理解也是危险的。

避免科幻色彩。虽然我认为大多数人低估了强大 AI 的好处，但讨论激进 AI 未来的小社区往往以过于“科幻”的语调进行讨论（例如涉及上传意识、太空探索或一般的赛博朋克氛围）。我认为这使得人们不太严肃对待这些主张，并让这些主张染上了一种不现实的色彩。明确来说，问题不在于所描述的技术是否可能或可能实现，而在于这种“氛围”会含蓄地带入一系列文化负担和未明说的假设，例如什么样的未来是理想的、各种社会问题将如何发展等。结果往往读起来像是一个狭窄亚文化的幻想，同时让大多数人感到反感。

尽管上述担忧依然存在，我确实认为讨论“一个拥有强大 AI 的美好世界是什么样子”是非常重要的，同时尽量避免上述陷阱。实际上，我认为拥有一个真正鼓舞人心的未来愿景至关重要，而不仅仅是一个应对危机的计划。强大 AI 的许多影响是对抗性的或危险的，但最终，必须有一个我们为之奋斗的目标，一个所有人都受益的正和结果，一个能够激励人们超越争斗、共同面对未来挑战的目标。恐惧是一种动机，但它还不够：我们还需要希望。

强大 AI 的正向应用清单非常长（包括机器人技术、制造业、能源等领域），但我将重点放在一些我认为最有可能直接改善人类生活质量的领域上。我最感兴趣的五个类别是：


从大多数标准来看，我的预测将是非常激进的（除了科幻“奇点”愿景之外），但我真诚地提出这些观点。正如我之前提到的，我的看法很可能是错误的，但我至少试图基于各个领域的进展可能加速的程度，以及这在实际中可能意味着什么，进行了一些半分析的评估。我很幸运在生物学和神经科学方面有专业经验，并且在经济发展领域是一个有见识的业余爱好者，但我肯定会有很多地方出错。写这篇文章让我意识到，汇集一群领域专家（如生物学、经济学、国际关系等）写出一篇更好、更具知识性的版本将是有价值的。可以把我在这里的努力视为这个团队工作的起点。

基本假设和框架

为了使整篇文章更加精确和有依据，明确我们所说的强大 AI 是什么（即 5-10 年倒计时开始的阈值），以及制定一个思考这种 AI 一旦出现将产生哪些影响的框架是有帮助的。

强大 AI（我不喜欢“AGI”这个词）将是什么样子以及何时（或者是否）会到来，本身就是一个巨大的话题。我曾公开讨论过这个问题，可能以后会写一篇完全不同的文章来探讨它（我可能确实会这样做）。显然，很多人对强大 AI 即将问世持怀疑态度，有些人甚至怀疑它是否会被建造出来。我认为它最早可能在 2026 年出现，尽管也有可能需要更长时间。但为了这篇文章的目的，我想暂时搁置这些问题，假设它会在不久的将来出现，并重点讨论在此之后的 5 到 10 年内会发生什么。我也想假设一个关于这种系统的定义，它的能力是什么，它如何互动，尽管在这方面存在分歧的空间。

在我看来，强大 AI 指的是一个 AI 模型——可能类似于今天的 LLM（大语言模型），尽管它可能基于不同的架构，可能涉及多个互动的模型，并且可能通过不同的方式训练——具备以下特性：

从纯粹的智力角度来看，它在大多数相关领域（如生物学、编程、数学、工程、写作等）都比诺贝尔奖获得者更聪明。这意味着它可以证明未解决的数学定理，写出极好的小说，从头开始编写复杂的代码库等。

除了只是一个“你可以对话的聪明工具”之外，它拥有一个虚拟工作的人类所能使用的所有“接口”，包括文本、音频、视频、鼠标和键盘控制，以及互联网访问。它可以通过这个接口执行任何行动、通信或远程操作，包括在互联网上采取行动、对人类发出或接受指令、订购材料、指挥实验、观看视频、制作视频等。而且，它在这些任务上的技能再次超越了世界上最有能力的人类。

它不仅仅是被动地回答问题；相反，它可以被赋予需要花费数小时、数天或数周才能完成的任务，并自主完成这些任务，就像一个聪明的员工那样，必要时会要求澄清。

它没有实体化身（除了存在于计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以设计自己使用的机器人或设备。

用来训练这个模型的资源可以被重新分配，用来运行其数百万个实例（这一点符合到 2027 年左右的集群规模预测），并且该模型可以以大约 10-100 倍于人类的速度吸收信息和生成行动。然而，它可能会受到物理世界或其互动软件的响应时间的限制。

这些数百万个副本可以独立执行不相关的任务，或者如果需要，它们可以像人类协作一样共同工作，或许有不同的子群体特别精通某些任务。

我们可以将其总结为一个“位于数据中心中的天才之国”（country of geniuses in a datacenter）。

显然，这样的实体能够非常快速地解决非常困难的问题，但要准确确定速度并不容易。两种“极端”立场在我看来都不正确。

首先，你可能会认为世界会在几秒或几天的时间内立即转变（所谓的“奇点”），因为更高的智能不断提升自身，几乎立刻解决所有可能的科学、工程和操作问题。问题在于，现实中存在物理和实践的限制，例如硬件的构建或生物学实验的进行。即便是一个全新的天才国家也会遇到这些限制。智能可能非常强大，但它并不是魔法仙尘。

第二，相反的观点是，你可能认为技术进步受到现实世界数据或社会因素的饱和或限制，超越人类的智能不会带来太大影响。我同样认为这也不合理——我能想到成百上千的科学或社会问题，如果有一大群真正聪明的人，他们会极大地加速进展，尤其是在他们不仅限于分析而且还能在现实世界中促成事件发生的情况下（而我们假设的天才国家可以做到，包括指导或协助人类团队）。

我认为，真相可能是这两种极端情况的复杂混合，具体取决于任务和领域，其细节非常微妙。我相信我们需要新的框架，以更有成效的方式思考这些细节。

经济学家常常谈论“生产要素”：诸如劳动、土地和资本等东西。“劳动/土地/资本的边际回报”这个短语表达了在特定情况下，某一要素是否是限制性因素——例如，空军需要飞机和飞行员，如果没有飞机，雇用更多的飞行员没有多大帮助。我认为在 AI 时代，我们应该讨论“智能的边际回报”，并试图弄清楚与智能互补的其他因素是什么，当智能非常高时，这些因素会成为限制性因素。我们不习惯以这种方式思考——去问“变得更聪明对这个任务有多大帮助，以及在什么时间尺度上？”——但这似乎是概念化拥有非常强大 AI 的世界的正确方式。

我猜测限制或补充智能的一些因素包括：

外界的速度。智能体需要与外界互动才能完成任务并学习。然而，世界的运转速度是有限的。细胞和动物运行的速度是固定的，因此对它们的实验需要一定的时间，这个时间可能无法缩短。硬件、材料科学、与人沟通相关的事情，甚至现有的软件基础设施也是如此。此外，在科学领域，很多实验需要连续进行，每一个实验都是从上一个实验中学习或基于其结果。因此，一个重大项目（例如开发癌症治疗方法）的完成速度可能有一个不可进一步缩短的最低时间，即使智能继续增加。

数据的需求。有时缺乏原始数据，在没有数据的情况下，再多的智能也无济于事。今天的粒子物理学家非常有创造力，提出了广泛的理论，但由于粒子加速器数据的限制，他们无法在这些理论中做出选择。即使他们拥有超级智能，除非他们能加快建造更大的加速器的速度，否则他们的表现也不会有大幅提升。

内在复杂性。有些事情本质上是不可预测或混乱的，即使是最强大的 AI 也无法比今天的人类或计算机更好地预测或解开它们。例如，即便是极其强大的 AI，在混沌系统（如三体问题）中也只能比今天的人类和计算机稍微提前预测一点。

人类的限制。很多事情无法完成而不触犯法律、伤害人类或破坏社会秩序。一个对齐的 AI 不会想要做这些事情（如果我们遇到了不对齐的 AI，那就要回到风险问题的讨论上了）。许多社会结构效率低下，甚至有害，但在尊重法律要求、人们改变习惯的意愿或政府行为等限制条件下，它们很难被改变。一些技术上有效的进步，因受到法规或错误的恐惧的影响，其影响被大大削弱的例子包括核能、超音速飞行，甚至电梯。

物理法则。这是第一个因素的更直白的版本。有些物理法则似乎是不可打破的。无法以超过光速的速度行驶。搅拌过的布丁无法恢复原状。芯片的每平方厘米的晶体管数量有限，超过一定限度后它们将变得不可靠。计算需要一定的最小能量来消除每一比特，从而限制了世界上计算的密度。

还有一个基于时间尺度的区分。在短期内被视为硬性限制的事情，随着时间推移，可能会对智能变得更加灵活。例如，智能可能会开发出一种新的实验范式，使我们能够在体外学习以前需要通过活体动物实验获得的知识，或建造采集新数据所需的工具（例如更大的粒子加速器），或在道德限制内找到绕过人类约束的方法（如帮助改进临床试验系统，帮助创建更少官僚限制的新司法管辖区，或改进科学本身，使人类临床试验不那么必要或成本更低）。

因此，我们应该想象一个这样的图景：智能最初受到其他生产要素的严重瓶颈限制，但随着时间推移，智能本身越来越多地绕过其他要素，即使这些要素永远不会完全消失（而且某些物理法则是绝对的）。关键问题是，这一切发生得有多快，以及按什么顺序发生。

基于上述框架，我将尝试回答在文章开头提到的问题。

1. 生物学与健康

生物学可能是科学进步对人类生活质量产生最直接、最明确影响的领域。在过去的一个世纪中，一些最古老的人类疾病（如天花）终于被消灭，但还有许多疾病仍然存在，战胜它们将是一个巨大的成就。超越治愈疾病，生物科学原则上可以通过延长健康的人类寿命、增加对自身生物过程的控制和自由，以及解决我们目前认为是人类状况固有问题的日常问题，来改善人类健康的基础质量。

在前一节讨论的“限制因素”中，将智能直接应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（事实上，这三者是相互关联的）。人类限制也在临床试验涉及的后期阶段发挥作用。让我们逐一探讨这些问题。

对细胞、动物甚至化学过程的实验受制于物理世界的速度：许多生物学实验涉及细菌或其他细胞的培养，或者只是等待化学反应的发生，有时这可能需要几天甚至几周的时间，且没有明显的加速方法。动物实验可能需要几个月（或更长时间），而人类实验往往需要数年（甚至是几十年，特别是涉及长期结果的研究）。与此相关，数据往往也不足——问题不在于数量，而在于质量：清晰、明确的数据短缺，这些数据能够从正在发生的其他数千个混杂因素中隔离出一个感兴趣的生物效应，或以因果方式干预特定过程，或直接测量某些效应（而不是以间接或噪声较大的方式推断其后果）。即使是大规模的定量分子数据（如我在使用质谱技术时收集的蛋白质组学数据），也是噪声重重，遗漏很多信息（这些蛋白质在哪些细胞中？在哪个细胞部位？处于细胞周期的哪个阶段？）。

这些数据问题部分归因于内在复杂性：如果你曾经看过人类代谢生化反应的图表，你会知道要隔离这个复杂系统中任何部分的效应是非常困难的，而对系统进行精确或可预测的干预则更难。最后，除了在人类身上运行实验所需的固有时间外，实际的临床试验还涉及大量的官僚主义和监管要求，许多人（包括我在内）认为，这些要求不必要地增加了时间并延迟了进展。

鉴于上述情况，许多生物学家长期以来对 AI 和“大数据”在生物学中的价值持怀疑态度。历史上，数学家、计算机科学家和物理学家在过去 30 年中将他们的技能应用于生物学，虽然取得了相当的成功，但并没有带来最初期望的真正变革性影响。尽管像 AlphaFold 这样的重大革命性突破（其开发者刚刚获得了诺贝尔化学奖）和 AlphaProteo 减少了一些怀疑，但仍然存在一种看法，认为 AI 在有限的情况下才有用。常见的说法是：“AI 可以更好地分析数据，但它不能产生更多数据或提高数据的质量。垃圾进，垃圾出。”

但我认为这种悲观的观点是在错误的方式看待 AI。如果我们的关于 AI 进展的核心假设是正确的，那么正确的看法不应将 AI 仅仅视为一种数据分析方法，而应将其视为一个虚拟生物学家，执行生物学家所做的所有任务，包括设计和运行真实世界中的实验（通过控制实验室机器人或简单地告诉人类哪些实验要做，就像首席研究员告诉其研究生一样）、发明新的生物学方法或测量技术，等等。正是通过加速整个研究过程，AI 才能真正推动生物学进步。我想重申这一点，因为这是在谈论 AI 如何改变生物学时最常见的误解：我不是在说 AI 只是用来分析数据的工具。根据这篇文章开头对强大 AI 的定义，我说的是利用 AI 来执行、指导和改进生物学家几乎所有的工作。

生物学领域的大量进展都来自于极少数的发现，通常与广泛的测量工具或技术有关，这些工具或技术允许对生物系统进行精确但通用或可编程的干预。大约每年只有 1 项这样的重大发现，但它们总的来说推动了生物学进步的 50% 以上。这些发现之所以如此强大，正是因为它们突破了内在复杂性和数据限制，直接提高了我们对生物过程的理解和控制。几十年来的少数发现不仅推动了我们对生物学的基础科学理解，还推动了许多最强大的医学治疗方法。一些例子包括：

CRISPR：一种允许在活体生物中编辑任意基因的技术（用任何其他任意序列替换任何基因序列）。自最初的技术开发以来，人们不断改进以靶向特定细胞类型、提高精度，并减少错误编辑的基因——所有这些对于在人类中安全使用都是必要的。

显微技术：用于精确观察微观活动的各种显微镜技术，如先进的光学显微镜（包括各种荧光技术、特殊光学等）、电子显微镜、原子力显微镜等。

基因组测序和合成：过去几十年中，基因组测序和合成的成本已大幅下降。

光遗传技术：通过照射神经元使其发放信号的技术。

mRNA 疫苗：原则上，mRNA 疫苗可以让我们针对任何病原体设计疫苗，并能迅速适应新情况。

细胞疗法（如 CAR-T）：这种疗法允许将免疫细胞从体内取出并重新编程以攻击任何目标。

概念性洞察：例如病原体理论的提出或免疫系统与癌症之间联系的发现。

我列出这些技术的目的是为了提出一个关键的主张：如果有更多才华横溢、富有创造力的研究人员，我认为这些发现的速度可能会增加 10 倍或更多。换句话说，我认为对于这些发现来说，智能的回报率非常高，而生物学和医学的其他一切进展大多是从这些发现中衍生出来的。

因为我们应该习惯于在评估“智能的回报率”时提出一些问题。首先，这些发现通常是由极少数研究人员完成的，通常是同一批人反复取得突破，这表明发现更多依赖于技能而非随机搜索（后者可能表明冗长的实验是限制因素）。其次，它们通常“本可以更早被发现”：例如，CRISPR 是细菌免疫系统中的天然成分，自 80 年代以来就已为人所知，但人们花了 25 年才意识到它可以被重新用于通用的基因编辑。第三，成功的项目往往是朴素的或最初不被认为是有前途的，而不是大规模资助的努力。这表明，发现的驱动力不仅仅是资源集中，而是创新能力。

尽管其中一些发现有“串联依赖性”（需要先有 A 发现才能为 B 发现提供工具或知识），这可能会导致实验延迟，但许多甚至大多数发现是独立的，这意味着可以同时进行许多发现。这些事实以及我作为生物学家的经验强烈表明，如果科学家更聪明、能更好地将人类积累的生物学知识联系起来，我们可能还有成百上千个这样的发现等待被发现（再次考虑 CRISPR 的例子）。AlphaFold/AlphaProteo 成功解决了重要问题，这一事实证明了这个原则，尽管它只是在一个狭窄领域中使用了一个狭窄的工具，但它为未来指明了方向。

因此，我猜测强大 AI 至少可以将这些发现的速度提高 10 倍，使我们在 5 到 10 年内获得未来 50 到 100 年的生物学进展。为什么不是 100 倍？也许是可能的，但在这里，串联依赖性和实验时间变得重要：在 1 年内取得 100 年的进展需要很多事情第一次就正确，包括动物实验和显微镜设计或昂贵的实验室设施的建造。我实际上愿意接受（也许听起来荒谬的）想法，即我们可以在 5 到 10 年内获得 1000 年的进展，但我非常怀疑我们能在 1 年内获得 100 年的进展。换句话说，我认为有一个不可避免的固定延迟：实验和硬件设计有一定的“延迟”，需要在某种“不可减少”的次数上进行迭代，以学习那些无法通过逻辑推断得出的东西。但在此基础上，可能存在大规模并行化的可能性。

尽管临床试验确实涉及大量的官僚主义和拖延，但事实上，试验的缓慢主要源于需要严格评估几乎不起作用或效果模糊的药物。遗憾的是，大多数现有疗法就是如此：例如，平均癌症药物只能延长几个月的生存期，并伴有许多需要仔细测量的副作用（阿尔茨海默病药物也有类似的情况）。这导致了巨大的研究（为了达到统计显著性）和复杂的权衡，监管机构通常不擅长做出这些权衡，因为它们受制于官僚主义和竞争利益的复杂性。

当某些疗法效果非常好时，进展就会快得多：有加速批准渠道，当效应大小较大时，审批更容易。即使在这些情况下，临床试验仍然太慢——按理说，mRNA 疫苗本应在大约 2 个月内获得批准。但这些延迟（例如药物全程需要大约 1 年时间）结合大规模并行化和少量迭代（“几次尝试”）非常适合在 5 到 10 年内实现根本性变革。更加乐观地说，AI 推动的生物科学可能会通过开发更好的动物和细胞实验模型（甚至是模拟），减少临床试验所需的迭代，这些模型在预测人类将会发生什么方面更加准确。这对于开发抗衰老药物尤为重要，因为衰老过程在几十年内逐渐显现，而我们需要更快的迭代循环。

最后，关于临床试验和社会障碍，值得明确指出的是，在某些方面，生物医学创新有着出色的成功记录，这与某些其他技术形成了鲜明对比。正如介绍中提到的，许多技术尽管在技术上可行，但因社会因素而受阻。这可能使我们对 AI 的潜力持悲观看法。但生物医学的独特之处在于，虽然药物开发过程过于繁琐，但一旦开发完成，它们通常会成功地部署并被使用。

总的来说，我的基本预测是，AI 推动的生物学和医学进步将使我们能够在 5 到 10 年内实现人类生物学家在接下来的 50 到 100 年内才能取得的进展。我将此称为“压缩的 21 世纪”：在强大的 AI 出现后，我们将在短短几年内实现我们在整个 21 世纪中预计会在生物学和医学上取得的所有进展。

尽管预测强大 AI 在短短几年内能做到什么仍然充满不确定性和推测性，但问“在没有 AI 帮助的情况下，人类在未来 100 年内能做些什么？”这一问题却相对具体。仅通过回顾我们在 20 世纪的成就，或推断 21 世纪前 20 年的进展，或者问“10 个 CRISPR 和 50 个 CAR-T”会带来什么，都可以为我们估计强大 AI 的预期进展提供实际、扎实的依据。

下面我尝试列出我们可能期待的成果。这并不基于任何严谨的方法学，并且几乎可以肯定在细节上是错误的，但它旨在传达我们应该期望的激进变化的总体水平：

几乎所有自然传染病的可靠预防和治疗。鉴于 20 世纪对传染病的巨大进展，想象我们可以在“压缩的 21 世纪”中基本“完成这项工作”并不是激进的。mRNA 疫苗和类似技术已经为“针对任何疾病的疫苗”指明了方向。传染病是否能在全球范围内根除（而不仅仅是在某些地方）取决于贫困和不平等问题（将在第三部分讨论）。

大部分癌症将被“抹除”。过去几十年里，癌症的死亡率每年下降约 2%；因此，按照目前的人类科学速度，我们有望在本世纪消除大多数癌症。某些类型的癌症已经被大大治愈（例如，某些类型的白血病通过 CAR-T 疗法），而且我对那些能够在癌症早期精准打击并防止其发展的选择性药物更加兴奋。AI 还将使得能够极大地适应个体化基因组的治疗方案成为可能——这些治疗方案今天已经存在，但在时间和人类专业知识方面成本高昂，AI 应当使它们更具规模。95% 以上的死亡率和发病率下降似乎是可能的。话虽如此，癌症种类繁多且具有高度适应性，可能是这些疾病中最难完全消灭的。如果有一些罕见、难治的恶性肿瘤持续存在，这也并不令人意外。

遗传病的高效预防和治疗。大大改进的胚胎筛查技术可能会使我们能够预防大多数遗传病，而某种更安全、更可靠的 CRISPR 衍生技术可能会治愈现有人群中的大多数遗传病。然而，影响大部分细胞的全身性疾病可能会是最后的堡垒。

阿尔茨海默病的预防。我们一直很难弄清阿尔茨海默病的成因（它与 β-淀粉样蛋白有关，但实际细节似乎非常复杂）。这看起来正是通过更好的测量工具来隔离生物效应可以解决的问题；因此，我对 AI 解决该问题的能力持乐观态度。很有可能，一旦我们真正理解了发生了什么，它可以通过相对简单的干预措施来预防。然而，已经存在的阿尔茨海默病造成的损害可能非常难以逆转。

大多数其他疾病的改善治疗。这是一个涵盖其他疾病的广泛类别，包括糖尿病、肥胖症、心脏病、自身免疫性疾病等。大多数这些疾病似乎比癌症和阿尔茨海默病“更容易”解决，且在许多情况下已经大幅下降。例如，心脏病死亡率已经下降了 50% 以上，而简单的干预措施（如 GLP-1 激动剂）已经在对抗肥胖症和糖尿病方面取得了巨大进展。

生物自由。过去 70 年取得了诸多进展，例如避孕、提高生育能力、体重管理等。但我怀疑 AI 加速的生物学将大大扩展可能性：体重、外貌、生殖能力和其他生物过程将完全由人类自主控制。我们将这类进步称为“生物自由”：即每个人都应拥有选择自己想要成为的样子并以最吸引自己的方式生活的权利。

人类寿命翻倍。这听起来似乎很激进，但 20 世纪的预期寿命几乎翻了一番（从大约 40 岁增加到大约 75岁），因此“压缩的 21 世纪”将寿命再翻一番至 150 岁是合乎趋势的。显然，延缓衰老过程所需的干预措施与上个世纪阻止疾病导致的过早死亡（主要是儿童）所需的措施不同，但这种变化的幅度并非史无前例。具体而言，已经存在一些药物可以使大鼠的最大寿命增加 25% 到 50%，而且副作用有限。而且，一些动物（如某些种类的龟）已经能活 200 年，因此显然人类并未达到某种理论上的上限。据我猜测，最需要的可能是可靠且不可人为操纵的人类衰老的生物标志物，因为这将允许实验和临床试验更快地迭代。一旦人类寿命达到 150 岁，我们可能会达到“逃逸速度”，即获得足够的时间，使得当今大多数人可以活到他们愿意的岁数，尽管不能保证这是生物学上可能的。

值得反思这一清单，以及如果所有这些目标在 7 到 12 年内实现（这与一个激进的 AI 时间表一致），世界将会有多么不同。毫无疑问，这将几乎一举消除困扰人类千年的大多数灾祸。许多我的朋友和同事正在抚养孩子，我希望当这些孩子长大后，疾病的提及会让他们感到陌生，正如坏血病、天花或黑死病在我们耳中听起来一样。那一代人还将受益于更大的生物自由和自我表达，而如果幸运的话，他们还将能够活到自己想活的岁数。

除了预期强大 AI 的小社区之外，很难高估这些变化对其他人的惊讶程度。例如，美国成千上万的经济学家和政策专家目前正在讨论如何维持社会保障和医疗保险的可持续性，更广泛地说，是如何降低医疗保健的成本（大部分由 70 岁以上，特别是患有癌症等绝症的人群消耗）。如果这些变化得以实现，这些项目的状况可能会有巨大改善，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他问题所取代，例如如何确保新技术的广泛使用，但值得反思的是，即使只有生物学是唯一一个被 AI 成功加速的领域，世界也将会发生这么大的变化。

2. 神经科学与心灵

在上一部分中，我重点讨论了疾病和生物学的总体情况，没有涉及神经科学或心理健康。然而，神经科学是生物学的一个分支，而心理健康与身体健康同样重要。事实上，心理健康对人类幸福感的影响甚至比身体健康更加直接。数亿人因为成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍（PTSD）、精神病或智力障碍等问题生活质量极低。还有数十亿人面临日常的心理困扰，这些问题通常可以被视为上述严重临床疾病的轻度表现。与生物学一样，我们不仅可以解决这些问题，还有可能进一步提升人类的生活体验基础质量。

我在生物学中提出的基本框架同样适用于神经科学。这个领域的进展往往依赖于少数与测量工具或精确干预相关的发现——在前面列出的例子中，光遗传学就是一个神经科学的发现，最近的 CLARITY 和扩展显微镜也是类似的进步，此外，许多通用的细胞生物学方法也直接应用于神经科学。我认为 AI 将以类似的方式加速这些进展，因此“5-10 年内完成 100 年的进步”这个框架也适用于神经科学，理由和生物学相同。20 世纪神经科学的进展是巨大的——例如，直到 1950 年代我们甚至不知道神经元是如何或为什么会发放信号。因此，合理预期 AI 加速的神经科学能够在短短几年内产生快速进展。

在这个基本图景上，我们还应补充一点，那就是近年来我们从 AI 中学到的一些东西可能会帮助推进神经科学，即使神经科学继续由人类主导。例如，AI 中的可解释性研究虽然人工神经元和生物神经元表面上工作原理不同（生物神经元通过脉冲传递信息，并且存在时间因素，此外还有细胞生理和神经递质的复杂影响），但核心问题“如何由简单单元组成的分布式网络通过线性和非线性运算协同完成重要计算”是相同的。我强烈怀疑，个别神经元通信的细节在大多数关于计算和电路的有趣问题中会被抽象化。一个例子是，AI 系统中的一个计算机制最近在老鼠大脑中被重新发现。

在人工神经网络上做实验要比在真实神经网络上容易得多（后者通常需要切开动物的大脑），因此可解释性很可能成为我们改进对神经科学理解的工具。此外，强大的 AI 本身可能比人类更好地开发和应用这一工具。

除了可解释性之外，我们从 AI 中学到的关于智能系统如何训练的知识也应该（尽管我不确定这一革命是否已经发生）引发神经科学领域的革命。当我从事神经科学工作时，许多人关注的问题在我现在看来是错误的，因为当时还没有“规模假设”或“苦涩教训”的概念。简单的目标函数加上大量数据可以驱动复杂行为的想法，使得理解目标函数和架构偏差变得更加有趣，而不再那么关注新出现的计算细节。尽管我近年没有密切关注该领域，但我模糊地感到，计算神经科学家可能还没有完全吸取这一教训。我对规模假设的态度一直是：“啊哈——这在高层次上解释了智能是如何运作的，以及它为何如此容易进化”，但我认为这并不是大多数神经科学家的看法，部分原因是即使在 AI 领域，“规模假设”作为智能的“秘密”也未被完全接受。

我认为，神经科学家应该尝试将这一基本见解与人类大脑的特性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，解决神经科学的一些关键难题。我相信有些人在做这方面的工作，但我怀疑这还不够，而 AI 神经科学家可能能够更有效地利用这一角度加速进展。

我预计 AI 将通过四条不同的路径加速神经科学的进展，希望这些路径能够协同工作，以治愈精神疾病并改善功能：

传统的分子生物学、化学和遗传学。与生物学中的情况类似，AI 可以通过相同的机制加速这一领域的进展。许多药物通过调节神经递质来改变大脑功能，影响警觉性或感知，改变情绪等，AI 可以帮助我们发明更多这样的药物。AI 可能还可以加速精神疾病的遗传基础研究。

细粒度的神经测量和干预。这是指测量大量个别神经元或神经回路的活动，并进行干预以改变其行为的能力。光遗传学和神经探针是可以在活体有机体中同时进行测量和干预的技术，另外还有一些非常先进的方法（如分子记录带，可以读取大量神经元的发放模式）已经被提出，原则上看似可行。

高级计算神经科学。如前所述，现代 AI 的特定见解和整体观念可能会对系统神经科学中的问题产生积极影响，或许能够揭示诸如精神病或情绪障碍等复杂疾病的真正原因和动态。

行为干预。虽然由于我们主要关注神经科学的生物学方面，我还未多提及，但精神病学和心理学在 20 世纪已经发展出一套广泛的行为干预方法；很有理由认为 AI 可以加速这些方法的发展，不仅是新方法的开发，还包括帮助患者坚持现有方法。更广泛地说，出现一个“AI 教练”的想法也很有前景，这个 AI 教练随时帮助你成为更好的自己，研究你的互动并帮助你学会更有效地应对生活。

我猜测，如果这四条进展路径共同作用，就像生理疾病一样，大多数精神疾病可以在接下来的 100 年内治愈或预防——即使不涉及 AI 加速。而在 AI 加速的 5 到 10 年内，可能会提前完成这一目标。具体来说，我对未来的预测如下：

大多数精神疾病可能会被治愈。我不是精神疾病的专家（我在神经科学领域的工作是构建探针来研究少量神经元群体），但我猜测像 PTSD、抑郁症、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合得到非常有效的治疗。答案很可能是“生化上出了问题”和“神经网络在高层次上出现问题”的组合。也就是说，这是一个系统神经科学的问题——虽然这并不否定上述行为干预的影响。特别是针对活体人类的测量和干预工具可能会带来快速的迭代和进展。

非常“结构性”的疾病可能更难治疗，但并非不可能。有证据表明，精神病学可能与明显的神经解剖学差异有关——某些大脑区域在精神病患者中明显较小或发育不足。精神病患者也被认为从小就缺乏同理心；不管他们的大脑与众不同之处是什么，可能从一开始就是那样的。同样的情况可能适用于一些智力障碍和其他疾病。重塑大脑听起来很困难，但这似乎是一个对智能回报很高的任务。也许有某种方法可以诱导成人大脑进入更早期或更具可塑性的状态，以便可以重新塑造它。我对这一点的可行性非常不确定，但我的直觉是对 AI 在这里的发明能力持乐观态度。

有效的精神疾病基因预防似乎可行。大多数精神疾病具有部分遗传性，基因组范围的关联研究（GWAS）正在逐渐确定相关因素，尽管这些因素通常数量众多。我们可能会通过胚胎筛查预防大多数这些疾病，与生理疾病的情况类似。不同之处在于，精神疾病更可能是多基因的（由许多基因共同作用），因此由于复杂性，存在无意中选择出负相关正性特征的风险。然而，近年来的 GWAS 研究似乎表明，这些相关性可能被高估了。无论如何，AI 加速的神经科学可能会帮助我们解开这些问题。当然，复杂特征的胚胎筛查引发了许多社会问题，且将是一个有争议的话题，但我猜测大多数人会支持筛查严重或使人衰弱的精神疾病。

日常的心理问题也将得到解决。我们大多数人都有一些日常的心理问题，通常不被认为达到临床疾病的程度。有些人易怒，有些人难以集中注意力或经常感到困倦，有些人恐惧、焦虑，或对变化反应不佳。今天已经有一些药物可以帮助提升警觉性或专注力（如咖啡因、莫达非尼、利他林），但正如前述领域一样，可能会有更多的进展。许多这样的药物可能已经存在但尚未被发现，或可能会出现全新的干预手段，例如有针对性的光刺激（参见上述光遗传学）或磁场。鉴于我们在 20 世纪开发了如此多的调节认知功能和情绪状态的药物，我对“压缩的 21 世纪”持非常乐观的态度，认为届时每个人都可以更好地控制自己的大脑，并拥有更充实的日常体验。

人类的基础体验可以得到极大改善。进一步来说，许多人都有过非凡的时刻，如顿悟、创造性灵感、同情心、满足感、超越感、爱、美感或冥想的平静。这些体验的特征和频率因人而异，且在同一人身上在不同时间表现不同，有时还可能受到药物的触发（尽管常伴随副作用）。所有这些都表明“可体验的空间”非常广阔，人们生活中的非凡时刻可以占据更大的比重。也可能有可能全面提高各种认知功能。这或许是神经科学版本的“生物自由”或“延长寿命”。

在科幻作品中，经常出现的一个与 AI 相关的话题是“心灵上传”（mind uploading），即捕捉人类大脑的模式和动态并将其以软件形式实例化。这个话题本身可以写成一篇文章，但简单来说，虽然我认为上传在理论上几乎肯定是可能的，但在实践中，即使有强大的 AI，也面临着显著的技术和社会挑战，可能超出了我们讨论的 5-10 年时间框架。

AI 加速的神经科学可能会大大改进治疗方法，甚至治愈大多数精神疾病，同时极大扩展“认知和心理自由”以及人类的认知和情感能力。其影响将与上一节中描述的身体健康改善一样激进。或许外在的世界不会有明显的不同，但人类体验的世界将会是一个更美好的地方，并提供更多的自我实现机会。我还怀疑，改善的心理健康将会缓解许多其他社会问题，包括那些看似政治或经济的问题。

3. 经济发展与贫困

前两部分讨论了开发新技术来治愈疾病并改善人类生活质量。然而，一个显而易见的问题是：“每个人都能获得这些技术吗？”

开发一种疾病的治疗方法是一回事，将该疾病从世界上根除则是另一回事。更广泛地说，许多现有的健康干预措施尚未在世界各地得到应用，而在其他（非健康）技术改进方面也是如此。换句话说，世界上许多地区的生活水平仍然极度贫困：撒哈拉以南非洲的人均 GDP 约为 2000 美元，而美国则为 75000 美元。如果 AI 进一步推动发达国家的经济增长和生活质量提高，而对发展中国家帮助不大，我们应该将其视为一场巨大的道德失败。理想情况下，强大的 AI 应该在推动发达国家变革的同时，也帮助发展中国家赶上发达国家。

相比于 AI 能够发明基础技术的信心，我对它能否解决不平等和经济增长问题的信心稍弱，因为技术具有明显的高智能回报（包括规避复杂性和数据不足的能力），而经济则涉及许多来自人类的限制，以及大量的内在复杂性。我对 AI 能否解决著名的“社会主义计算问题”持怀疑态度 ，并且即使 AI 能够解决，我也不认为政府会（或应该）将经济政策交给 AI 掌控。此外，还有一些问题，比如如何说服人们接受有效但他们可能怀疑的治疗方法。

发展中国家面临的挑战由于私人和公共部门的广泛腐败而更加复杂。腐败形成恶性循环：它加剧贫困，贫困反过来又滋生更多的腐败。AI 驱动的经济发展计划必须考虑到腐败、薄弱的机构和其他非常人性化的挑战。

尽管如此，我仍然看到了显著的乐观理由。许多疾病已经被消灭，许多国家从贫困走向富裕，而且很明显，完成这些任务的决策展示了高智能回报（尽管存在人类限制和复杂性）。因此，AI 很可能比目前的人类做得更好。还有一些有针对性的干预措施可能规避人类的限制，AI 可以重点关注这些措施。但更重要的是，我们必须尝试。AI 公司和发达国家的政策制定者需要共同努力，确保发展中国家不被排除在外；道德责任过于重大。接下来，我将继续阐述乐观的前景，但请记住，这并不一定会成功，还取决于我们的共同努力。

以下是我对强大 AI 开发后 5 到 10 年内发展中国家可能会发生的情况的一些猜测：

健康干预措施的分布。我最乐观的领域可能是在全世界推广健康干预措施。疾病实际上已经通过自上而下的运动被消灭：天花在 1970 年代被彻底消灭，脊髓灰质炎和几内亚蠕虫几乎被根除，每年不到 100 例。数学上复杂的流行病学建模在疾病根除运动中发挥了积极作用，很可能比人类更聪明的 AI 系统可以在这些领域做得更好。分发物流也可能得到极大的优化。我作为 GiveWell 早期捐赠者学到的一件事是，有些健康慈善机构的效率远远高于其他机构；希望 AI 加速的努力会更加有效。此外，一些生物学进展实际上简化了分发物流：例如，疟疾的根除困难在于每次感染都需要治疗，而只需接种一次的疫苗使得物流更加简单（目前正在开发这样的疟疾疫苗）。更简单的分发机制也是可能的：一些疾病原则上可以通过针对其动物宿主来根除，例如释放携带能阻止疟疾传播细菌的蚊子（这些蚊子随后感染其他蚊子），或使用基因驱动技术消灭蚊子。这只需要一个或少数几个集中行动，而不需要一场协调的运动来逐个治疗数百万人。总的来说，我认为 5 到 10 年是一个合理的时间线，届时 AI 驱动的健康益处将传播到世界上最贫困的国家中相当一部分（可能 50%）。一个好的目标是，在强大 AI 出现后的 5 到 10 年内，使发展中国家至少比今天的发达国家健康得多，即使仍然落后于发达国家。当然，要实现这一目标，需要全球健康、慈善、政治倡导等方面的大量努力，AI 开发者和政策制定者都应参与其中。

经济增长。发展中国家能否不仅在健康领域迅速赶上发达国家，还能全面经济发展？历史上有一定的先例：20 世纪后期的几十年里，几个东亚经济体实现了持续约 10% 的年均实际 GDP 增长率，使它们赶上了发达国家。人类经济规划者通过拉动几个关键杠杆（如出口导向的工业政策、避免依赖自然资源财富）做出了这些成功的决策；因此，“AI 财政部长和央行行长”可能复制或超过这一 10% 的成就。一个重要的问题是如何让发展中国家政府在尊重自决原则的同时采用这些政策——一些政府可能对此持积极态度，但另一些可能持怀疑态度。从乐观的角度来看，许多前面提到的健康干预措施可能会自然地增加经济增长：消灭艾滋病、疟疾、寄生虫病将对生产力产生深远影响，更不用说神经科学干预（如改善情绪和专注力）在发达国家和发展中国家都可能带来的经济效益了。最后，非健康领域的 AI 加速技术（如能源技术、运输无人机、改良建筑材料、更好的物流和分发等）也可能自然渗透到全球；例如，即使没有慈善干预，手机也通过市场机制迅速渗透到撒哈拉以南非洲。另一方面，虽然 AI 和自动化有许多潜在的好处，但它们也对经济发展构成了挑战，特别是对那些尚未工业化的国家而言。在日益自动化的时代，确保这些国家仍能发展并改善其经济是经济学家和政策制定者需要解决的重要问题。总体而言，一个理想的情景——也许是我们应追求的目标——是发展中国家实现 20% 的年 GDP 增长率，其中 10% 来自 AI 支持的经济决策，另 10% 来自 AI 加速技术的自然传播，包括但不限于健康领域。当然，这是一个理想情景，而不是自动发生的事：这需要我们所有人共同努力，使这一目标更有可能实现。

粮食安全。20 世纪，作物技术的进步，如更好的肥料和杀虫剂、更多的自动化、更高效的土地利用，大大提高了作物产量，挽救了数百万人免于饥饿。基因工程目前正在进一步改良许多作物。找到更多的方法来做到这一点，以及使农业供应链更加高效，可能会带来 AI 驱动的第二次绿色革命，帮助缩小发展中国家和发达国家之间的差距。

缓解气候变化。气候变化对发展中国家的影响将更加严重，阻碍其发展。我们可以预期，AI 将推动减缓或防止气候变化的技术改进，从大气碳去除和清洁能源技术到减少对碳密集型工厂化农业依赖的实验室培育肉类。当然，正如上文所述，技术并不是限制气候变化进展的唯一因素——与本文讨论的所有其他问题一样，人类社会因素同样重要。但有充分的理由相信，AI 增强的研究将为我们提供更经济且破坏性更小的气候变化缓解手段，使许多反对意见变得无关紧要，并让发展中国家能够在应对气候变化的同时取得更多经济进展。

国家内部的不平等。我大多从全球现象的角度讨论不平等（我认为这是最重要的表现形式），但不平等也在国家内部存在。随着先进健康干预措施的实施，尤其是寿命的大幅延长或认知增强药物的出现，人们会担心这些技术是否“只属于富人”。对于国内不平等问题，我在发达国家中持更加乐观的态度，原因有二。首先，市场在发达国家中运作得更好，而市场通常能够随着时间的推移降低高价值技术的成本 。其次，发达国家的政治机构对公民的反应更灵敏，执行全民获取计划的国家能力更强——我预计公民会要求获得能够极大改善生活质量的技术。当然，这些要求的成功并非注定的——这是我们共同努力确保社会公平的另一个地方。财富不平等问题与获得救命和改善生活的技术的不平等是两个不同的问题，前者似乎更难解决，我将在第五部分讨论这一点。

拒绝 AI 带来的好处。在发达国家和发展中国家，一个共同的担忧是人们选择拒绝 AI 带来的好处（类似于反疫苗运动，或者更广泛的反技术运动）。最终可能会出现恶性循环，例如那些最不善于做出明智决策的人拒绝接受能够改善其决策能力的技术，导致差距越来越大，甚至形成反乌托邦的下层阶级（一些研究人员认为这将破坏民主，我将在下一部分进一步讨论这个话题）。这将再次给 AI 的积极进展蒙上道德阴影。要解决这个问题很困难，因为我认为强迫人们接受技术在道德上是不合适的，但我们至少可以努力提高人们对科学的理解——也许 AI 本身可以帮助我们实现这一点。一个令人鼓舞的迹象是，历史上的反技术运动往往声势大但影响小：反对现代技术很受欢迎，但最终大多数人会采用它，至少在个人选择层面。个人通常会采用大多数健康和消费技术，而真正受到阻碍的技术，如核能，往往是集体政治决策的结果。

总体而言，我对快速将 AI 的生物学进展带给发展中国家持乐观态度。虽然我并不自信 AI 能够推动前所未有的经济增长率，但我对其潜力抱有希望，并希望发展中国家至少能超过当前发达国家的水平。我对发达国家和发展中国家的“拒绝 AI”问题有所担忧，但我怀疑这一现象会随着时间的推移逐渐消退，AI 可以帮助加速这一过程。这个世界不会是完美的，落后的人群也不可能在最初几年内完全赶上。但如果我们共同努力，我们可能会朝着正确的方向快速推进。这样，我们至少可以对全球每个人应享有的尊严和平等作出一些承诺。

4. 人类工作还有意义吗？

即便前面提到的所有事情都顺利进行，至少还有一个重要问题仍然存在。“我们生活在如此先进的科技世界和公平正义的社会里，这很好，”有人可能会反驳，“但如果 AI 做了一切，人类如何找到自身的意义？更不用说，他们如何在经济上生存？”

我认为这个问题比其他问题更加困难。我并不是说我对这个问题的悲观程度比其他问题更高（尽管我确实看到了挑战）。我的意思是，这个问题更加模糊，难以提前预测，因为它涉及到社会如何组织的宏观问题，而这些问题往往只有随着时间推移、在去中心化的方式中解决。例如，历史上的狩猎采集社会可能认为没有狩猎及其相关的宗教仪式，生活就没有意义，他们可能会认为我们现代化、富足的科技社会是没有目标的。他们也可能不明白我们的经济如何能够养活所有人，或者人们在机械化社会中能发挥什么有用的作用。

尽管如此，值得对此问题说上几句，同时请记住，这一节的简短绝不是我不重视这些问题的标志——相反，它反映了答案的不明确性。

关于意义的问题，认为一个任务毫无意义仅仅因为 AI 可以做得更好，这很可能是错误的。大多数人并非世界上最优秀的某个领域专家，而这似乎并未让他们感到特别困扰。当然，今天他们仍然可以通过比较优势作出贡献，并可能从他们创造的经济价值中获得意义，但人们也非常享受没有经济价值的活动。我花很多时间玩电子游戏、游泳、散步和与朋友交谈，而这些活动产生的经济价值为零。我可能会花一天时间尝试提高电子游戏技能，或在骑自行车爬山时提高速度，而并不介意有人比我在这些事情上做得更好。无论如何，我认为意义主要来自人际关系和联系，而不是来自经济劳动。人们确实需要一种成就感，甚至竞争感，而在后 AI 时代，完全有可能像今天的人们从事研究项目、成为好莱坞演员或创办公司一样，花费多年尝试完成某些非常困难的任务。AI 可以在原则上做得更好，或者这些任务不再是全球经济中有经济回报的部分，这些事实对我而言并不重要。

相比之下，经济问题对我而言似乎比意义问题更加复杂。在这部分中，“经济”指的是一个可能的问题，即大多数或所有人类无法对一个由高度先进 AI 驱动的经济作出有意义的贡献。这是一个比不平等问题更加宏观的问题，尤其是技术获得不平等的问题，我在第三部分中讨论过。

首先，在短期内，我同意比较优势的逻辑，即它将继续使人类保持相关性，甚至可能提高人类的生产力，在某些方面还会使人类的竞争环境更加公平。只要 AI 在某个工作中只能比人类做得好 90%，剩下的 10% 就会让人类变得高度有杠杆作用，增加报酬，实际上创造出许多新的人类工作来补充和扩大 AI 擅长的部分，从而“10%”的部分可以扩展到继续雇用几乎所有人。事实上，即便 AI 可以在所有事情上比人类做得更好，但如果在某些任务上它仍然效率低下或成本昂贵，或者人类与 AI 在资源投入上的差异具有实际意义，那么比较优势的逻辑仍然适用。人类可能在一个相当长的时间内仍然在物理世界中保持相对优势（甚至是绝对优势）。因此，我认为即使我们达到“数据中心天才国家”的程度，人类经济在某种程度上仍然是合理的。

然而，我确实认为，从长远来看，AI 将变得如此广泛有效且廉价，以至于这种情况将不再适用。届时，我们现有的经济体系将不再合理，社会将需要就经济应如何组织展开更广泛的对话。

虽然这听起来可能很疯狂，但事实上，文明在历史上已经成功地应对过重大的经济转型：从狩猎采集到农业，从农业到封建主义，从封建主义到工业化。我怀疑未来可能需要某种新奇且陌生的体系，而今天没有人很好地设想过它的样子。这可能像是向每个人发放大规模的普遍基本收入，尽管我怀疑这只是解决方案的一小部分。也可能是 AI 系统之间的资本主义经济，然后这些 AI 根据某种次级经济，向人类分发资源（因为整体经济蛋糕将极其庞大），这个次级经济基于 AI 系统所认为的人类值得奖励的行为（最终依据人类价值观的判断）。或许经济运行在“Whuffie 积分”上。或者人类实际上仍然具有经济价值，只是以目前经济模型无法预见的方式存在。这些解决方案都有许多潜在问题，而在没有大量迭代和实验的情况下，无法确定它们是否合理。正如其他挑战一样，我们可能也需要努力争取获得一个良好的结果：剥削性或反乌托邦的方向显然也是可能的，必须加以防范。关于这些问题，我还可以写更多的文章，希望以后有机会再写。

总结与展望

通过以上不同的主题，我试图描绘出一个世界： 如果一切顺利的话，这个世界既具有现实可能性，也比当今世界更加美好。 我不知道这个世界是否真的可以实现，即便可以实现，也需要许多勇敢和奉献的人的巨大努力和斗争。每个人（包括 AI 公司）都需要尽其所能，既防范风险，又充分实现潜在的益处。

但这是一个值得为之奋斗的世界。如果这些目标真的在未来 5 到 10 年内实现——多数疾病的战胜，生物和认知自由的增长，数十亿人摆脱贫困并分享新技术——我猜测目睹这一切的人都会对其产生深刻的感触。我并不是指从个人角度体验新技术带来的好处，尽管那也会令人惊叹。我指的是，目睹一套长期以来的理想突然变成现实的体验。我认为许多人会因此感动得流泪。

在写这篇文章的过程中，我注意到一个有趣的张力。从某种意义上讲，这里描绘的愿景极具革命性：这不是几乎任何人预期会在下一个十年内发生的事情，许多人可能会认为这是一种荒谬的幻想。一些人甚至可能认为这个愿景并不令人向往； 它体现了某些价值观和政治选择，不是每个人都会同意 。但与此同时，这个愿景又显得十分显而易见——似乎无论如何构想一个美好的世界，最终都会走向这个方向。

在 Iain M. Banks 的小说《游戏玩家》中，主角是一个叫“文化”的社会成员，这个社会基于的原则与我在这里阐述的类似。主角前往一个压迫性的军事帝国，在这个帝国中，领导者通过参与一个复杂的战斗游戏来确定。这个游戏足够复杂，以至于玩家在其中的策略往往反映了他们自己的政治和哲学观念。主角设法在游戏中击败了帝国皇帝，展示了他所代表的“文化”价值观，即便在一个基于无情竞争和适者生存的社会设计的游戏中，这些价值观也是胜利的策略。斯科特·亚历山大的一个著名帖子提出了同样的观点—— 竞争是自我失败的，往往导致一个基于同情和合作的社会 。“道德宇宙的弧线”也是一个类似的概念。

我认为“文化”的价值观是一种胜利的策略，因为它们是无数个具有明确道德力量的小决策的总和，最终将每个人都拉到同一边。公平、合作、好奇心和自主性的基 本人类直觉很难反驳，而且它们的累积方式往往不同于我们更具破坏性的冲动。很容易说服人们，如果我们能够预防疾病，孩子们就不应该死于疾病，并且从这一点开始，主张每个孩子都应享有同等权利也并不困难。从这里出发，也不难论证我们应该团结起来，运用智慧来实现这个目标。很少有人 会反对那些不必要地伤害或攻击他人的人应该受到惩罚，因此，将这一观念扩展到认为惩罚应该在不同的人之间一致和系统化，并不是一个巨大的跳跃。类似地，认为人们应该拥有对自己生活和选择的自主权与责任，这也是直观的。这些简单的直觉，如果被逻辑推演到极致，最终将引向法治、民主和启蒙价值观。如果不是不可避免的话，那么至少作为一种统计趋势，这就是人类一直在走的道路。 AI 只是为我们提供了一个更快到达里的机会 ——使逻辑更加鲜明，使终点更加清晰。

尽管如此， 这一愿景本身就是一种超越世俗的美 。我们有机会在其成为现实的过程中，扮演一些小角色。

原文链接：

https://darioamodei.com/machines-of-loving-grace


来源：36kr




通信人家园 (https://www.txrjy.com/) Powered by C114