通信人家园

标题: OpenAI、谷歌、Anthropic新模型遇瓶颈：缺数据、成本高、性能不及预期 [查看完整版帖子] [打印本页]

时间: 2024-11-14 19:20

作者: tayun 标题: OpenAI、谷歌、Anthropic新模型遇瓶颈：缺数据、成本高、性能不及预期

智东西（公众号：zhidxcom）

编译 | 汪越

编辑 | Panken

智东西11月14日消息，据彭博社报道，据知情人士透露，OpenAI的最新模型Orion在开发过程中未能达到预期的性能，特别是在编码任务上未能超越前代产品GPT-4；谷歌的Gemini模型同样未能实现重大突破；Anthropic的Claude 3.5 Opus模型因技术难题推迟了发布计划，并多次调整发布时间。

▲主要AI模型发布日期（图源：彭博社）

过去，行业普遍奉行Scaling Law，认为随着数据量和算力的增加，模型性能也应随之提升。基于这一理论，这些公司纷纷投入巨资，建设AI基础设施，扩展数据中心，并购买大量GPU进行训练。然而，随着训练速度的放缓，继续依赖这一策略的可行性开始遭遇质疑。

近年来，OpenAI、谷歌和美国AI大模型独角兽Anthropic在极短的时间内推出了大量复杂的AI模型。然而，随着高质量数据的短缺，这些公司在模型开发的速度和性能上出现了明显放缓，甚至未能达到预期的效果。

OpenAI CEO萨姆·阿尔特曼（Sam Altman）两周前谈道，未来的突破可能不会是模型规模的单纯扩展，而是开发新的应用和用例，例如AI Agent。

一、大模型遭遇平台期，数据和算力是瓶颈

OpenAI、谷歌和Anthropic这三家公司在构建新一代AI系统时，都面临了相似的问题：高质量数据，特别是编码数据，愈发难以获得。在这种情况下，即使是微小的改进，也很难证明新模型所需的巨大研发投入是合理的。

近期的困难表明，单纯依赖规模扩展已难以带来预期的技术飞跃。对于实现AGI（通用人工智能）的可行性，业内的信心也开始动摇。

AI初创公司Hugging Face首席伦理科学家玛格丽特·米切尔（Margaret Mitchell）谈道，AGI的“泡沫”正在破裂，现有的训练方法可能无法满足AI在多任务处理上的需求，急需全新的训练方法来应对这一挑战。

▲AI初创公司Hugging Face 首席伦理科学家玛格丽特·米切尔（Margaret Mitchell）（图源：彭博社）

目前，OpenAI仍在对Orion进行“后训练”，并尝试通过加入人类反馈来改进其表现。但Orion的正式发布尚无明确时间表，预计不太可能在明年初推出。

谷歌DeepMind回应称，虽然Gemini模型的进展符合预期，但公司表示会在准备好时分享更多细节。OpenAI则拒绝置评。Anthropic方面，CEO达里奥·阿莫迪（Dario Amodei）在播客中说，Scaling Law并非宇宙法则，而是经验规律，虽然“很多因素”可能影响AI的发展，但他对克服这些障碍依然保持乐观。

▲Anthropic CEO达里奥·阿莫迪（Dario Amodei）（图源：彭博社）

随着社交媒体帖子、在线评论、书籍及其他公共数据来源的消耗，AI公司面临着前所未有的高质量数据短缺问题。为了构建超越人类的AI系统，这些公司所需的数据不仅仅是维基百科和YouTube字幕等基础数据，更多的是广泛且高质量的数据集。

以OpenAI为例，尽管公司已与出版商签署协议，确保其数据来源的高质量，但随着AI技术的不断进步，出版商和艺术家对内容的知识产权保护愈加严格，这也加大了AI公司面临的法律压力。为了弥补数据不足，许多公司开始招聘具有研究生学历的人，特别是在数学和编码领域，以便更精确地标注和训练与特定学科相关的数据，使得AI系统能够更好地响应专业领域的查询。

但是，这一过程的进展缓慢且成本高昂。与通过网络抓取大量公开数据相比，获取并标注专业领域的高质量数据的成本显著增加。同时，为了填补数据缺口，许多公司也开始尝试使用合成数据，如计算机生成的图像和文本。不过，这种方法依然面临诸多挑战，特别是在确保数据质量和多样性方面。

美国风险投资公司New Enterprise Associates的AI战略主管莉拉·特列蒂科夫（Lila Tretikov）谈道，数据问题不仅仅关乎数量，更关乎质量和多样性。缺乏人工指导，尤其是在语言处理领域，将难以获得独特且高质量的数据集。

二、“越多越好”不再奏效，AI公司抉择两难

许多AI公司坚持“越多越好”的策略，投入大量资源，以期打造接近人类智能的AI系统。但随着计算资源和数据的成本不断上升，新模型开发的风险和期望也在持续增加。Anthropic CEO阿莫迪在播客中透露，预计今年公司将花费1亿美元来训练尖端模型，未来几年这一数额可能达到1000亿美元。

随着成本的不断攀升，许多人开始对AI模型进展的速度产生疑虑。马萨诸塞州沃尔瑟姆本特利大学数学副教授诺亚·吉安西拉库萨（Noah Giansiracusa）谈道，虽然AI模型会持续改进，但增长速度和技术突破的持续性值得怀疑。短期内快速的技术进展令人振奋，但这种增长模式是不可持续的。

硅谷的AI技术进步困境已经成为焦点问题。今年3月，Anthropic发布了Claude Opus模型，曾宣称其在推理和编码等领域超越了OpenAI的GPT-4和谷歌的Gemini模型。然而，到10月，Opus的发布消息突然从公司网站消失了。

据知情人士透露，Anthropic在Opus的开发过程中遇到了不少挑战。虽然Opus在某些基准测试中表现优异，但考虑到其庞大的模型规模及其构建和运行的高成本，最终未能达到预期的性能。即便如此，Anthropic CEO阿莫迪表示并未放弃继续推进Opus模型，只是未给出具体的发布时间。

与此同时，谷歌和OpenAI也面临类似的难题。虽然谷歌更新了Gemini模型，提供了更实用的功能，但并未带来重大的技术突破。OpenAI专注于增量更新，比如提升语音助手功能，使得与ChatGPT的对话更加流畅。OpenAI还推出了名为o1的模型预览版，旨在提升推理过程的质量，但技术突破依然有限。

随着开发新一代AI模型的成本不断增加，AI公司开始面临一个重要的权衡：是继续改进现有的模型，还是投入更多资源开发更大、更复杂但未必能带来显著突破的下一代模型。

OpenAI CEO萨姆·阿尔特曼（Sam Altman）最近在Reddit的问答中谈道，虽然公司拥有丰富的潜力和资源，但也面临着“艰难的决定”和“计算能力的限制”。他还谈道，未来的突破可能不会是模型规模的单纯扩展，而是开发新的应用和用例，例如AI Agent，这类工具能够代表用户完成常规任务。

在此背景下，OpenAI的重心逐渐从提升模型的单一能力转向更具实用价值的应用场景，尤其是在代理AI工具方面的探索。阿尔特曼谈道，这些AI工具将帮助用户完成日常生活中的复杂任务，如预订航班、发送电子邮件等。虽然AI模型将继续变得更强大，但未来的真正突破或许不再是单纯的模型更新，而是更为创新的功能和应用。

结语：创新AI应用成未来方向

这些公司在模型研发上投入了巨额资金和计算资源，但新一代AI模型的性能提升远未达到预期。在日益增加的成本压力下，如何平衡创新与投入成为了共同挑战。

随着数据和计算资源逐渐稀缺，AI发展的“规模革命”正接近瓶颈。未来的突破或许不再集中在模型规模的扩张，而是聚焦于创新的应用和工具开发，比如AI Agent等功能型应用，如何将现有技术在实际生活中发挥更大价值，将成为行业创新的关键。

来源：彭博社

来源：智东西

通信人家园 (https://www.txrjy.com/)