通信人家园

标题: Nature发文「智能体摩尔定律」，Agent能力每7个月翻倍 [查看完整版帖子] [打印本页]

时间: 2025-3-22 12:45

作者: ttxx 标题: Nature发文「智能体摩尔定律」，Agent能力每7个月翻倍

AI Agents（智能体）也有自己的“摩尔定律”了？！

就在最近，Nature报道了一项来自非营利研究机构METR的最新发现：

AI在完成长期任务方面的进步速度惊人，其时间跨度大约每七个月翻一番。

为了衡量Agent自动完成任务的能力变化，研究人员提出了“50%-任务完成时间跨度（50%-task-completion time horizon）”这一指标。

他们以50%任务成功率为基准，假设2019年AI达到这一目标所需时间对应人类需要的时间为10分钟，那么7个月后，其对应的人类完成任务时间则变成了20分钟。

换句话说，AI能够胜任越来越多人工耗时久的任务，能力逐渐更强。

2024年这一增长速度变得更快了，一些最新模型大约每三个月翻一番。

按照预测，大约五年后，AI就能自动完成很多人类现在要花一个月才能完成的任务。

网友们纷纷表示，这下终于对AI进步神速有实感了！

提出“50%-任务完成时间跨度”指标

在METR的介绍中，他们将这一发现命名为“Moore’s Law for AI agents”，也就是“智能体摩尔定律”。

下面我们详细展开其研究方法。

整体而言，他们主要是让AI和一些专业人员在相似条件下尝试完成任务，然后测量人类所需要的时间，最终来比较AI成功率如何随着人类完成时间的长短而变化。

这第一步，研究团队选择了三个不同的任务套件来评估AI模型的能力：

97个HCAST任务，涵盖软件工程、机器学习、网络安全和一般推理挑战的多样化任务集合，难度从几分钟到30小时；
7个RE-Bench任务，由七个开放式的机器学习研究工程环境组成，每个需人类专家约8小时完成；
66个SWAA任务，代表软件开发过程中的单个步骤操作，时长1秒到30秒。

接下来，为了量化评估AI模型的表现，团队招募了800多名软件工程、机器学习和网络安全领域的专业人员执行任务，并记录他们完成任务所需的时间。

据METR介绍，在这些任务中，人类完成时间从1秒到16小时不等。

这些时间被当作衡量任务难度的标准。

然后他们又评估了从2019年到2025年发布的13个前沿AI模型，包括GPT系列和o1、Sonnet 3.7等，通过在构建的任务套件上运行这些模型，并记录它们完成任务的成功率。

关键来了，随后他们引入了一个新的指标——50%任务完成时间跨度（50%-task-completion time horizon），即AI模型在50%的成功率下能够完成的任务的平均时间长度。

之所以选择50%这一成功率，主要是它对于数据分布的微小变化最为稳健。

简单说，当数据的分布（即数据的特征、比例或趋势等）发生一些小的变化时，这个指标不会受到太大的影响，仍然能够保持相对稳定的表现。

论文作者之一Lawrence Chan表示：

如果你选择非常低或非常高的阈值，那么分别移除或增加一个成功或失败的任务，就会对你的估计值产生很大的影响。

利用这一指标，团队通过对AI模型在各个任务上的成功与失败数据进行逻辑回归分析，计算出每个模型的时间跨度，也就是模型完成任务成功率达到50%之时，对应的人类完成任务的时间。

（每个模型在每个任务上运行8次，记录成功率）

有了这些数据，团队最终绘制了模型自主性随时间呈指数变化的图表。

发现“AI智能体摩尔定律”

如上图所示，研究的主要发现是：

自2019年以来，AI模型的时间跨度呈现出指数级增长，每七个月左右翻一番。

为了验证研究结果的外部有效性，他们又进行了以下四个实验：

1、用2023-2025年数据回溯预测，验证趋势一致性；
2、对HCAST和RE-Bench任务基于16个 “混乱” 因素评级，分析任务混乱程度对模型性能的影响；3、在其他SWE-bench Verified数据集上应用相同方法，对比结果；4、在内部Pull Requests（PR）任务上测试模型性能，与人类基线对比。

最终，这一趋势得到了以上外部验证。

比如在第2个实验中，所谓的16个 “混乱（messy）” 因素是指现实任务比研究任务更难的方面，包括任务是否受到有限资源的限制、是否涉及实时协调或是否源自现实世界的环境。

每个任务都根据这些因素得到了一个 “混乱度（messiness score）” 分数。

研究人员发现，尽管AI模型在更加混乱的任务上（比如缺乏明确提示和反馈、需要AI主动去获取信息、任务条件和要求比较模糊等情况）的绝对性能较低，但另一方面其性能在稳步提升。

更有意思的是，不管任务的“混乱”程度如何，AI都是以相似的速度在提升。

再比如在SWE-bench Verified基准上的验证，他们也观察到了一个类似的指数级增长趋势。

不过由于标注时间的问题，该基准测试的时间跨度翻倍时间更短。

总之，按照“智能体摩尔定律”进行预测，AI可能在2028年11月达到一个月的任务时间跨度；而在较为保守的估计下，这一目标可能在2031年2月实现。

METR团队认为，虽然研究还存在任务套件具有局限性、评估指标不完美、未来AI发展具有不确定性等需要完善的地方，但很确信这一指标每年有1~4倍的增长趋势。

而结合现实中Manus智能体的走红，我们已经能够预见到智能体将迎来爆发。

论文：
https://arxiv.org/pdf/2503.14499

来源：网易

时间: 2025-3-22 17:26

作者: 不吹不黑

厉害了！！！

通信人家园 (https://www.txrjy.com/)