通信人家园

标题: 腾讯再开源两款最新大模型，开闭源之争又起波澜 [查看完整版帖子] [打印本页]

时间: 2024-11-6 16:06

作者: tayun 标题: 腾讯再开源两款最新大模型，开闭源之争又起波澜

11月5日，腾讯混元宣布开源两款最新的大模型产品，分别是MoE架构的大语言模型“Hunyuan-Large（混元Large）”，以及3D生成大模型“Hunyuan3D-1.0”，两者都支持企业开发者精调和部署，同时上线HuggingFace和Github等技术社区，供开发者免费商用。

在腾讯口中，混元Large是目前开源领域参数规模最大、效果最好的MoE模型，而混元3D生成大模型则是业界首个同时支持文字、图像生成3D的开源大模型，这两个模型均为腾讯自研，在架构、算法、数据等方面有所创新。

谈及外界关注的开闭源之争，腾讯机器学习平台总监康战辉表示，腾讯不急于为了开源而开源，本次开源的模型都是自己内部业务已经在用的模型。

但腾讯方面也强调，未来将继续加大开源力度，坚持自主可控，同时还将开源部分大模型工程框架（AnglePTM和AngleHCF），试图让行业开发者和企业能以更低成本使用这些开源大模型。

坚持MoE架构，押宝合成数据

据腾讯介绍，混元Large模型总参数量为389B，激活参数量52B。它采用的MoE（Mixture of Experts）混合专家模型是目前国内外主流的大模型结构。

今年年初，混元大模型在国内率先采用MoE架构，性能比上一代Dense模型提升50%。随后腾讯连续推出基于MoE架构的多模态理解大模型以及基础模型“混元turbo”。

在模型训练层面，腾讯混元Large构建了覆盖数十个类目的中英文合成数据。合成数据也是今年行业比较流行的概念，主要解决自然数据越来越不够用的问题。

康战辉表示，全球目前拥有的自然数据可能会在2026年被全部用完，在未来的大模型训练过程中，合成数据的占比会越来越高，所以高质量的合成数据非常关键，腾讯混元在这方面有一定优势。

混元Large模型想要对外展现的另一个重点是它的长文能力。其基于公开数据构建了一套覆盖长文阅读理解、多文档摘要总结和长文逻辑推理领域的数据集企鹅卷轴（PenguinScrolls），用来解决长文领域测评数据集缺乏、方法不够客观等问题。这套企鹅卷轴评测集也将同步对外开放。

目前，混元Large模型的长文能力已经在“腾讯元宝”上应用，最大支持256K上下文，相当于一本《三国演义》的内容长度。

本次腾讯推出的另一款开源模型——Hunyuan3D-1.0则瞄准现有的3D生成模型在生成速度和泛化能力上存在不足的问题，强调泛化能力和可控性，能重建大到建筑、小到工具、花草的各类尺度物体，帮助开发者自动化生产3D资产。

腾讯混元3D生成大模型的首批开源模型包含轻量版和标准版，其中轻量版据称10秒就能生成高质量3D资产，包含模型权重、推理代码、模型算法等完整模型，可供开发者、研究者等各类用户免费使用。

目前，3D生成相关技术已经在腾讯内部大量业务中应用，包括UGC 3D创作、商品素材合成、游戏3D资产生成等场景。

持续不断的开闭源之争

今年4月份，百度创始人李彦宏在公开场合表示，开源模型会越来越落后。没多久，阿里云首席技术官周靖人隔空回应称，开源对全球技术和生态的贡献毋庸置疑，已经没有再讨论的必要。

这番针锋相对的言论引发了国内大模型行业关于开源和闭源孰优孰劣的激烈讨论。

从国内现状来看，阿里和腾讯等云大厂更倾向于开源模型路线，而月之暗面和智谱AI等创业公司选择的是闭源路线。

开闭源之争，看似是技术路线存在分歧，背后更重要的是对商业价值的考量。

对于头部大厂而言，大模型的训练成本投入在可接受范围之内，商业模式的重心放在云服务层面，希望通过拓展大模型客户的方式，来提升自家云服务的订单量和市场份额。创业公司绝大部分研发投入来自于外部融资，自然对大模型本身的盈利能力有较高的需求。

闭源大模型目前主要依靠API（应用程序编程接口）调用来向开发者收费，在C端（消费级业务）则主要依靠会员费来变现，Kimi和豆包都是如此。

虽然业内关于开闭源的讨论持续不断，但从目前市面上的产品表现来看，李彦宏当初预言的那句“开源模型会越来越落后”尚未成真。康战辉更是宣称，Hunyuan-Large大模型要比目前业内所有同行的开源模型效果更好。

根据腾讯方面给出的公开测评结果，混元Large在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等维度，都超过了Llama3.1、Mixtral等主流开源大模型。

康战辉还表示，腾讯的开源大模型不但要在中文领域领先，希望在英文领域也能保持领先，未来还将发布更多开源模型产品。

腾讯是否能实现上述目标仍是一个问号，但可以预见的是，在未来很长一段时间内，国产大模型行业都将处于开源和闭源共存的模式，彼此之间的竞争只会越来越激烈。

来源：36kr

通信人家园 (https://www.txrjy.com/)