GPT进展放缓，OpenAI撞上数据墙，努力寻找出路。
Orion的开发暴露了高质量文本数据短缺的问题。根据Scaling Law理论，模型性能应随数据量和算力的增加而提升。但高质量数据的有限性已使Orion的训练效果受限，令Scaling Law的适用性受到质疑。即便投入更多数据和算力，模型的提升速度也可能不再如前几代那样显著。
为此，OpenAI成立了一个专门团队，研究如何克服数据短缺的挑战，评估Scaling Law还能适用多久。
01.撞上数据墙，Orion在某些方面神似旧模型
据OpenAI员工透露，GPT改进速度放缓的重要原因是高质量文本和其他数据的短缺。大语言模型（LLM）的预训练需要大量数据来建立模型对世界和概念的理解，确保其能完成写作或编程等任务。然而，随着现有数据源日益被充分利用，模型提升正面临瓶颈。
LLM发布前的训练和测试过程（图源：The Information）
为解决数据不足的问题，OpenAI已组建由前预训练负责人尼克·莱德（Nick Ryder）领导的团队，致力于探索如何克服数据短缺以及Scaling Law在未来的适用性。
Orion模型的部分训练数据源于AI生成的数据，即由GPT-4等旧模型生成的合成数据。然而，这种方式可能导致Orion在某些方面呈现出旧模型的特征。
OpenAI正通过其他方法优化LLM处理任务的能力，例如要求模型从大量数学或编程问题样本中学习，并通过强化学习提升解题效率。此外，人工评估员还会对模型的编码和问题解决表现进行评分，这种基于人类反馈的强化学习为模型优化带来重要支持。
今年9月，OpenAI推出了推理模型o1。与传统模型不同，o1在回答前“思考”时间更长，通过增加计算资源提升响应质量，显示出“测试时计算”（Test-Time Compute）的效果。虽然o1的运行成本是普通模型的六倍，并且该模型的客户群较为有限，但阿尔特曼认为它将为科学研究和复杂代码生成等领域带来突破。
OpenAI“ol”推理模型如何更好地解决数学奥林匹克竞赛题（图源：OpenAI）
02.LLM发展平台期，投资基础设施效果存疑
据The Information报道，Meta CEO马克·扎克伯格（Mark Zuckerberg）、阿尔特曼以及其他AI开发公司的首席执行官均公开讲过，当前的技术仍未达到Scaling Law所设定的极限。这或许是包括OpenAI在内的公司，仍在投入数十亿美元建设大型数据中心的原因之一，以进一步提升预训练模型的性能。
然而，OpenAI研究员诺姆·布朗（Noam Brown）在上个月的TEDAI会议上分享说，开发更先进的模型可能在财务上变得不可持续。布朗提出质疑：我们真的要花费数千亿美元甚至更多来训练新的模型吗？扩展的模式终究会达到瓶颈。
OpenAI仍在对其下一代模型Orion进行长时间的安全性测试。据公司员工透露，Orion在明年年初发布时，可能不会沿用传统的“GPT”命名规则，而是采用新的命名方式。OpenAI官方对此并未做出评论。
一些已经向AI开发商投资了数千万美元的投资者们，也对LLM是否已经开始趋于稳定表示担忧。
本·霍洛维茨（Ben Horowitz）是OpenAI的股东之一，同时还投资了Mistral和Safe Superintelligence等竞争对手。他曾谈道，OpenAI一直在增加训练AI所需的GPU数量，但似乎并未获得预期的智能改进。不过，他并未进一步详细说明。霍洛维茨的同事马克·安德森（Marc Andreessen）谈道，许多聪明的研究人员正在努力突破技术瓶颈，尝试提高推理能力。
企业软件供应商Databricks的联合创始人兼董事长Ion Stoica谈道，LLM在某些方面可能已经进入瓶颈期，但在其他方面仍在持续进步。Stoica说，他们的平台允许应用程序开发者评估不同的LLM，并且发现虽然AI在编码和解决复杂的多步骤问题上持续改进，但在执行一些通用任务（如分析文本情绪或描述医疗症状）时，能力似乎有所放缓。
Stoica还说，在常识性问题上，LLM的表现可能已经接近极限。为了进一步提升模型的能力，公司需要更多的事实数据，而合成数据的帮助则有限。
03.结语：强化学习提升模型表现，持续投资保持竞争力
OpenAI正通过多方策略应对当前的技术瓶颈，尤其是在LLM面临的高质量数据短缺和性能提升困境。为了克服这些挑战，OpenAI不仅通过强化学习提升模型在数学和编程等特定任务中的表现，还依赖于AI数据平台Scale AI和LLM训练商Turing等初创公司来管理大量外包承包商，以支持训练过程。
虽然当前AI基础设施的投资回报尚不明显，且在LLM训练过程中面临巨大的财务压力与技术挑战，但市场竞争与投资热情尚未减退，竞争者们在持续下注。比如，马斯克旗下的大模型独角兽xAI和X平台及英伟达合作，已建成了10万片H100 GPU的强大集群；Meta投入了400亿打造类似规模的GPU集群，以支持Llama 4模型的训练；苹果也在积极推进与富士康的合作，提升自家设备的AI算力。
来源：36kr
| 
4
发表于 2024-11-12 09:06:25