通信人家园

标题: 搭建数推分离双网络架构，「双脑」大模型一体机突破落地算力瓶颈｜早期项目 [查看完整版帖子] [打印本页]

时间: 2024-11-29 14:59

作者: tayun 标题: 搭建数推分离双网络架构，「双脑」大模型一体机突破落地算力瓶颈｜早期项目

作者｜黄楠

编辑｜袁斯来

在大模型技术浪潮中，Scaling Law被业界遵循为第一性原理，直至科技媒体The Information在独家报道中指出，OpenAI下一代旗舰模型Orion的训练效果或远不及预期：与GPT-4相比，性能提升也许微乎其微。这引发了从业者对大模型发展路径的深度思考：Scaling Law是否是唯一方向？

长期以来，基于Scaling Law的大模型落地存在重大瓶颈，厂商为提升模型能力，持续扩大预训练数据、训练算力并扩大模型参数规模，不仅成本高；同时，算法同质化也会导致数据规模和训练算力的同质化，最终造成输出能力的趋同。另一侧，大模型能否有效学习客户数据并成为领域专家，也是一大挑战。

当前，单一依赖Scaling Law进行集中式暴力训练已显露诸多弊端。大模型的“智能”并非仅受参数规模决定，大模型如何在实际场景中发挥作用，才是企业客户关注的焦点。要打破模型到应用落地之间的高墙，硬氪近日接触到的「传神物联网」提出，集中式预训练模式值得重新审视，实时学习和训练模式更具探索价值。

「传神物联网」董事长何恩培指出，大模型在相同参数下，模型算法和架构更先进，所需训练算力越小，训练数据也越少，不仅不影响模型的能力，甚至在部分指标上可超越常规架构大参数的模型。“相比之下，这种采用高效算法和架构的小参数模型更适合商业落地，而且也可以满足通用场景的需求。”

传神创始人何恩培就《基于双网络架构数推分离大模型的探索与实践》发表主题演讲

基于这一理念，「传神物联网」在其发布的任度大模型，采用了全技术栈自主研发、未使用任何开源代码和框架的双网络架构，将推理网络与数据学习网络分离。

其中，客户数据学习网络如同人类左脑，专注于数据的动态管理与迭代训练，持续为模型注入知识养分；推理网络则如同人类右脑，作为经大量数据预训练的基础网络，具备不错的推理和泛化能力。

这种双网络协同工作的设计，可有效降低训练的算力成本，避免微调导致的基座模型能力退化和泛化能力减弱等问题。同时，数据学习网络还可以学习企业的历史数据，并实时学习业务运营产生的新数据，两个网络联合工作，输出客户所需成果。

测试显示，任度大模型基于数推分离技术，突破了常规大模型技术架构限制，上下文输入长度不受限，可将亿量级用户数据压缩至神经网络中，并进行深度知识理解，极为接近 “实时” 数据学习模式。即使是极少量数据更新，也能快速上传并完成数据压缩，迭代为企业自己的定制化大模型。

任度大模型共有2.1B和9B两个版本，在降低算力成本方面，其训练与推理时的算力成本分别为同等大模型的10%-20%以及25%-50%。

硬氪了解到，目前「传神物联网」已将双网络架构的数推分离大模型应用至任度“双脑”大模型一体机，即将投放市场。该一体机基于数推分离的双脑模式，可以解决客户数据离场训练、向量效果有限及人才投入高等痛点，实现更新数据的本地实时学习，并快速转化为“企业知识专家”。

针对客户数据安全和私有化问题，任度“双脑”大模型一体机可采用本地部署及训练，无需上传至公有云，保障了数据隐私安全。同时，其根原创和高性参比的特性，可在一定程度上解决客户应用大模型过程中的高硬件投入、高能耗及技术安全和软件漏洞等痛点。

来源：36kr

时间: 2024-11-29 18:20

作者: Area_Code_61706

分离式

通信人家园 (https://www.txrjy.com/)