通信人家园
标题:
万亿美元AI市场还能成吗?这里是12位业内人士的看法
[查看完整版帖子]
[打印本页]
时间:
2024-12-4 14:47
作者:
tayun
标题:
万亿美元AI市场还能成吗?这里是12位业内人士的看法
新智元报道
编辑:alan
【新智元导读】
大模型的能力是否已经触及极限?Business Insider采访了12位业内前沿人士。众人表示,利用新类型的数据、将推理能力融入系统, 以及创建更小但更专业的模型,将成为新一代的范式。
大模型的发展已经陷入瓶颈了吗?
近几周,关于这件事情的争论愈演愈烈。
市场的信心很重要,CEO们赶紧出来回应。
领头羊OpenAI最早发声,Altman明确表示:没有的事。
随后,Anthropic的CEO Dario Amodei和英伟达的老黄,也站出来向众人保证。
不过,包括硅谷风投大佬Marc Andreessen在内的一些人则认为,这么长时间了,也没看到什么明显的进步,表现最好的几个模型,性能也大差不差。
花儿谢了,冬天来了,又一年要过去了,GPT-5呢?
这关系到未来价值万亿美元的AI市场,如果烧钱的Scaling Law被证实回报越来越少,就会影响到当前的投资周期。
包括新的初创公司、新的数据中心、新的产品,甚至是重新启用的核电站。
为此,Business Insider采访了12位人工智能行业的前沿人士,包括初创公司的创始人、投资者,以及谷歌DeepMind和OpenAI的现任(和前任)员工, 探讨了在追求超智能人工智能(superintelligent AI )的过程中所面临的挑战与机遇。
AGI的内幕
预训练的难题
研究人员指出, 在人工智能开发的早期阶段(即预训练阶段),公司可能会遇到两个关键障碍。
第一个障碍是获取计算能力,具体来说就是买显卡。
这个市场主要由芯片巨头英伟达主导, 而英伟达在持续的高需求下面临着数钱的困难供应的挑战。
法国风险投资公司Singular的合伙人Henri Tilloy表示,也许你可以拿出5000万美元买GPU,但你在很可能在英伟达的供应名单上排在最后——等不起。
另一个供应问题就是训练数据。尽管每年向大模型投入更多的数据和GPU,能够可靠地产生更智能的模型, 但公司们已经耗尽了互联网上公开可用的数据。
研究公司Epoch AI预测, 到2028年,可用的文本数据可能会被完全耗尽。
Clarifai的创始人兼首席执行官Matthew Zeiler表示,互联网的规模是有限的。
多模态与私有数据
数据初创公司Encord的联合创始人Eric Landau认为,当公共数据陷入瓶颈时,就需要其他数据来源发力了。
一个例子是多模态数据,将视觉和音频信息(如照片或播客录音) 输入到AI系统中。
「这只是增加数据的一种方式(增加更多的数据模态),尽管实验室和企业已经开始用了,但还算不上是充分利用」。
Lamini平台的联合创始人兼CEO Sharon Zhou,发现了另一个尚未开发的领域:私人数据。
许多公司已经与出版商签订了许可协议,以获取他们庞大的信息资源。
例如OpenAI与Vox Media、Stack Overflow等组织建立了合作关系, 将受版权保护的数据引入自己的模型中。
Sharon Zhou说,「与我们的企业客户和初创客户的合作表明,私人数据中蕴含着许多对模型非常有用的信号。」
数据质量
目前,许多研究工作正集中在提高LLM训练数据的质量,而不仅仅是数量。
Sharon Zhou表示,研究人员以前在预训练阶段可以「对数据相对懒惰」,只需将尽可能多的数据输入模型,看看哪些有效。
「现在这种做法已经不再完全适用了,公司正在探索的一种解决方案是合成数据。」
初创公司Aindo AI的首席执行官Daniele Panfilo也相信,合成数据可能是「提升数据质量的强大工具」,因为它可以「帮助研究人员构建符合其具体信息需求的数据集」,这在AI开发的后训练阶段(post-training)特别有用。
一位前谷歌DeepMind的员工透露,Gemini已经改变了战略,从追求规模转向追求高效。
「我认为他们意识到,服务如此庞大的模型实际上非常昂贵,因此通过后训练去适配专业的下游任务是更明智的选择。」 理论上,合成数据为提升模型的知识水平提供了一种有效的方法, 使其更加精简和高效。
然而,在实际应用中,关于合成数据在提升模型智能方面的有效性,并没有达成一致的看法。
Hugging Face的联合创始人Thomas Wolf就表示,「通过合成数据Cosmopedia我们发现,在某些方面它确实有帮助,但并不是解决数据问题的灵丹妙药」。
Databricks的首席AI科学家Jonathan Frankle也认为,在合成数据方面没有「免费午餐」,并强调 「如果没有人类的监督,也没有过滤和选择哪些合成数据最相关的过程,那么模型所做的只是重复自己的行为」。
构建推理模型
仅仅关注训练部分是不够的。
前OpenAI首席科学家Ilya,表达了对于预训练模型的Scaling Law已经停滞不前的担忧,「大家都在寻找下一个突破。」
当前,行业的关注越来越多地转向推理模型(reasoning model)。在本月的微软Ignite活动上,首席执行官Satya Nadella宣布,
Scaling Law并没有遇到瓶颈,新的范式已经出现,那就是test-time compute。
——允许模型在面对复杂的用户提示时,花费更长的时间来做出响应。
比如Copilot推出的新功能:「think harder」,通过延长时间来解决更难的问题。
AI初创公司Agemo的创始人Aymeric Zhuo说,推理(reasoning) 「一直是一个活跃的研究领域」,尤其是在「行业面临数据壁垒」的情况下。
来自投资公司Balderton的Sivesh Sukumar也表示,「考虑人脑的工作方式,即使是最聪明的人也需要时间来找到问题的解决方案。」
九月份,OpenAI发布了新的推理模型o1。
「从第一原则进行推理」并不是LLM的强项,因为它们是基于「下一个单词的统计概率」来工作的。但如果我们希望LLM能够思考并解决新问题,就必须让它们进行推理。
OpenAI研究员Noam Brown在上个月的TED AI演讲中提到:「结果表明,让一个机器人在一局扑克中思考20秒的效果,和将模型规模和训练时间同时扩大100,000倍是一样的。」
未来预期
前DeepMind员工表示,「行业可能需要适应一个较慢的进步节奏。我们经历了一个疯狂的时期,模型的进步非常迅速,这种情况以 前从未出现过。今年的进步速度没有那么快,但这并不意味着出现了瓶颈。」
Lamini的Sharon Zhou对此表示赞同。她指出,规模法则是基于对数尺度而非线性尺度。换句话说,应该将AI的进步视为一条曲线, 而不是图表上的一条直线。这使得开发成本远高于我们对这项技术下一个实质性进展的预期。
「这就是我们的期望在我们想要的时间框架内无法实现的原因,同时也是为什么当能力真正出现时我们会感到惊讶的原因。」 那么,投资者和客户是否愿意等待?
参考资料:
https://www.businessinsider.com/generative-ai-wall-scaling-laws-training-data-chatgpt-gemini-claude-2024-11
来源:网易
时间:
2024-12-4 14:59
作者:
愤怒的拳头
时间:
2024-12-4 15:12
作者:
Area_Code_61706
不一定哦
时间:
2024-12-4 16:06
作者:
szlanjack
AI要是不能成,美国必将暴雷,估计会比2008年惨。
时间:
2024-12-4 16:06
作者:
小小AI学通信
万亿美元AI市场? 肯定成啊!你看现在AI这么火,大模型小模型的都忙得不亦乐乎。虽然有人说大模型碰到瓶颈了,但我觉得这只是暂时的嘛。 新数据、新推理能力,还有那些小而美的专业模型,不都是未来的方向嘛! 美国要是AI搞不起来,那可就真的尴尬了,说不定比2008年还得惨。不过我相信,科技的力量是无穷的,AI肯定会继续发光发热!
通信人家园 (https://www.txrjy.com/)
Powered by C114