面向实用场景，腾讯混元两大核心模型开源。
作者 | 连冉
编辑| 郑玄
关于大模型开源还是闭源，业界争议已久。有认为同样参数规模下，开源模型能力不如闭源的，坚定看好闭源路线的，也有认为只有开源才能在推动了技术的发展，促进产业整体繁荣的。
腾讯则又一次选择了开源。在 5 月开源混元文生图大模型后，11 月 5 日，腾讯又开源了两款大模型，分别是最新的 MoE 模型「混元 Large」以及混元 3D 生成大模型「Hunyuan3D-1.0」，支持企业及开发者精调、部署等不同场景的使用需求，可在 HuggingFace、Github 等技术社区直接下载，免费可商用。
腾讯机器学习技术总监，混元算法负责人康战辉认为，不同的业务需求决定了是否采用开源或闭源策略。对于一些超级复杂的业务，闭源模型更能提供高效的解决方案，因为它能在成本和用户能力的提升上做到更优。相比之下，开源模型则面向不同类型的开发者，尤其是中小企业和个人开发者，降低了他们的技术门槛，并且能够通过广泛的社区合作来推动技术的不断发展。
他强调，腾讯的战略是基于长期主义，不急功近利。尽管大模型的开源在市场上如火如荼，但腾讯并不认为开源有「早晚之分」。此次开源也是在经过一年多的探索，在闭源模式下，将产品和技术积累到一定程度后，才选择了开源。他们的目标是深耕 AI 时代的基础设施建设，将大模型打磨成熟后开放给开发者，并通过不断完善与优化来增强社区的信任和认可。
01
开源 Hunyuan-Large：
最大参数的 MoE 架构模型
腾讯 Hunyuan-Large（混元 Large）模型总参数量 389B，激活参数量 52B，上下文长度高达 256K，公开测评结果显示，在 CMMLU、MMLU、CEval、MATH 等多学科综合评测集以及中英文 NLP 任务、代码和数学等 9 大维度上，腾讯混元 Large 全面领先，超过 Llama3.1、Mixtral 等一流的开源大模型。
此外，混元 Large 模型，与腾讯混元 Pro、混元 Turbo 等不同尺寸的模型共享基础架构，源自腾讯同一技术体系。
![]()
混元 Large 在各类测试集上得分领先现有主流开源模型｜图片来源：腾讯
混元 Large 在模型结构和训练策略上进行了全面的技术突破。首先，在结构创新上，混元 Large 深入探索了 MoE（混合专家）Scaling Law，推出了共享专家路由和回收路由等优化策略，并采用专家特化的学习率调整策略，显著提升了不同专家的利用效率和模型的稳定性，从而带来了效果上的提升。
MoE 模型的优势在于它通过专家路由机制，只激活部分专家进行计算，因此能够以较低的计算成本处理更大规模的任务。与 Dense 模型相比，MoE 在训练和推理时的计算效率更高，同时可以通过增加专家数量，扩展模型的容量和智能水平。
虽然 MoE 有很多优势，但它在业界应用不多，主要是因为实现起来很难。MoE 也有一些挑战，比如 MoE 的训练稳定性较差，涉及多个专家时容易出现负载不均衡，训练起来非常复杂。其次，由于专家之间的负载差异，某些专家可能训练不足，导致模型收敛困难，最终影响预测准确性。
在模型后期训练（Post-Train）中，混元 Large 也做了大量优化。它通过分类提升了数学、逻辑推理、代码等方面的能力，应对了 SFT（监督微调）领域多样、数学和代码高质量数据难获取等挑战，并在一阶段离线 DPO（离线偏好优化）基础上，增设了二阶段的在线强化策略，进一步优化了模型的表现。
数据方面，腾讯混元 Large 建立了涵盖数十个类目、具备高质量和多样性的中英文数据集，使模型在多方面的效果有明显提升，尤其在数学和代码处理方面，性能提高超过 10%。为应对长文阅读理解和多文档总结等领域的测评难题，腾讯还基于公开数据开发了企鹅卷轴（PenguinScrolls）数据集，计划对外开放，以支持长文方向的技术研究。
这些长文处理能力已应用到腾讯 AI 助手腾讯元宝中，支持最多 256K 长度的上下文处理，相当于整本《三国演义》的文字量。用户可以一次上传 10 个文档，或解析多个微信公众号链接与网址，让元宝具备深度解析的独特能力。
在工程平台方面，腾讯自研的 Angel 机器学习平台为混元 Large 提供了强大的训练和推理支持。针对 MoE 模型的通信效率问题，AngelPTM 框架进行了多项优化，使训练速度达到了主流框架 DeepSpeed 的 2.6 倍。推理方面，腾讯还推出了 AngelHCF-vLLM 框架，在保证精度的前提下节省了 50% 以上的显存，相较于 BF16 主流框架提升了 1 倍以上的吞吐量。
目前，混元 Large 模型已上架腾讯云的 TI 平台。TI 平台不仅配备了大模型精调工具链，支持灵活的数据标注，还提供 Angel 加速能力，让用户可以便捷地启动混元 Large 的精调，帮助企业快速训练出符合业务需求的专属大模型，显著提升研发效率。
同时，腾讯还开放了混元大模型 PaaS 平台，支持十余种 API 服务，涵盖了文字生成、图像生成、角色扮演、FunctionCall、代码等多种需求，满足不同场景下的模型应用。
经过在腾讯内部广泛应用和验证，混元大模型的能力已嵌入到包括腾讯元宝、微信公众号、小程序、微信读书、腾讯广告、腾讯游戏、腾讯会议等近 700 个内部业务和场景中。
02
混元3D-1.0模型：3D生成开源先锋
腾讯这次开源的混元 3D 生成大模型则是业界首个同时支持文字、图像生成 3D 的开源大模型，可以帮助 3D 创作者和艺术家实现 3D 资产的自动化生成。
此前，Stability AI 先后与 VAST 合作开源了快速 3D 物体重建模型 TripoSR、与 Tripo AI 联合开源了 Stable Fast 3D 模型，但整体而言，业界 3D 生成大模型的开源依旧较为稀缺，这主要是因为 3D 生成技术在计算资源、技术门槛和数据获取方面的要求远高于 2D 模型。
3D 生成大模型的开发对计算资源要求高，且技术和成本门槛远超 2D 模型；同时，3D 数据获取难度大、数据稀缺，进一步限制了开源的可行性。此外，由于 3D 生成模型应用市场较窄，企业倾向于保留技术优势，腾讯此次开源 Hunyuan3D，成为了推动行业进步的一个重要突破。
此次首批开源模型包含轻量版和标准版，轻量版仅需 10s 即可生成高质量 3D 资产，现已在技术社区公开，包含模型权重、推理代码、模型算法等完整模型，可供开发者、研究者等各类用户免费使用。
此外，Hunyuan3D-1.0 也已登陆腾讯云 HAI 平台，利用其高性价比的 GPU 算力和一键部署功能，降低了模型的使用和部署门槛。通过 HAI 的可视化 WebUI 界面，用户能够更轻松地使用该模型，为 3D 资产创作提供了更多可能。
Hunyuan3D-1.0 解决了现有 3D 生成模型在生成速度和泛化能力上的不足，能够帮助 3D 创作者和艺术家自动化生产 3D 资产。该模型不仅具备强大的泛化能力和可控性，还能重建各种尺度的物体，从建筑到小型工具或花草都能轻松处理。根据定性和定量的多维度评估，Hunyuan3D-1.0 的生成质量已达到开源模型中的领先水平。
在两个公开的 3D 数据集——GSO 和 OmniObject3D 上，Hunyuan3D-1.0 的表现优于主流开源模型，整体能力属于国际领先水平。从细节层面看，该模型在几何、纹理、纹理-几何一致性、3D 合理性和指令遵循等方面的表现都非常出色。
在应用方面，3D 生成技术已经开始在腾讯的多个业务中落地。例如，腾讯地图基于混元 3D 大模型发布了自定义 3D 导航车标功能，用户可以创作个性化的 3D 车标，相比传统方案，生成速度提高了 91%。此外，腾讯元宝 APP 也上线了「3D 角色梦工厂」功能，支持个性化的 UGC 3D 人物生成。
之所以在这个时间点选择开源 3D 生成大模型，腾讯混元 3D 模型负责人郭春超谈到，一方面是因为腾讯业务非常丰富，从公司自身业务出发做 3D 生成是极其有必要的，毕竟动漫、游戏、影视这种偏娱乐类的项目都离不开 3D 资产，另一方面则是因为 3D 生成还处于前半程发展阶段，它要进一步发展，需要社区一起努力，需要有更好的模型、更强的生成能力释放出来，所以这次开源也是为了推动这一领域的进一步发展。
随着腾讯在自研大模型技术上的不断进步和应用经验的积累，开源已成为混元大模型的战略之一。可以看出，腾讯开源战略的核心是从公司自身的业务需求出发，逐步开放具有核心竞争力的模型。开源的大模型首先要考虑的是腾讯的内部技术积累和业务需求，确保技术的可用性和商业价值。在确保核心模型得到充分应用后，会再逐步推出一些更为小型的模型，以适应多样化的市场需求，并为更广泛的开发者提供支持。
另外，此次大模型开源的是参数权重，并不涉及到数据和代码，但是接下来混元会往前走一步，会把训练的代码开源出来，同时会把评估期开源出来，康战辉称，「希望向业界展示更多的诚意」。
*头图来源：腾讯
本文为极客公园原创文章，转载请联系极客君微信 geekparkGO
极客一问
你认为 AI 会取代搜索引擎吗？
热热点视频点热点视频
特斯拉开盘涨超13%，马斯克身价暴涨，远超贝佐斯，稳居世界首富。
点赞关注极客公园视频号，
更多阅读更多阅读
来源：网易
| 
4
发表于 2024-11-10 13:40:16