通信人家园

标题: 0提示词就能续写小说！彩云科技首创DCFormer架构大模型，AI秒变网文产粮神 [查看完整版帖子] [打印本页]

时间: 2024-11-14 12:39

作者: tayun 标题: 0提示词就能续写小说！彩云科技首创DCFormer架构大模型，AI秒变网文产粮神

智东西
作者｜依婷
编辑｜心缘

智东西11月13日报道，今日，在“From Paper to App”媒体沟通会上，AI技术公司彩云科技正式推出首款基于DCFormer架构开发的通用大模型“云锦天章”，旗下AI RPG平台“彩云小梦”也成为首款基于DCFormer架构开发的AI产品。

与此同时，彩云科技CEO袁行远就AI大模型落地应用难、大模型未来进化之路等行业热点话题与智东西等媒体进行了交流。

袁行远说：“ChatGPT发布近两年，为什么对世界的改变仍然有限？我称之为‘智能没有免费的午餐定理’——做同样一件事，大模型需要消耗的算力要和大脑思考需要消耗的脑力一样多，才能得到和大脑思考同样的效果。”

一、颠覆Transformer架构，性能最高提升2倍

“假设ChatGPT-4每天响应用户约2亿个请求，消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口，ChatGPT每天消耗多少电力？另外按照这个速度发展下去，到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍？”

“到2050年，全球人工智能的耗电量可能会达到目前地球发电能力的8倍。”

上面是沟通会现场，袁行远向参会者展示的他与ChatGPT-o1之间的问答；改变AI能源困局也是袁行远主张改善大模型底层架构的出发点。

“Scaling Law告诉我们，随着算力的提升，模型更大、数据更多，模型效果会越来越好，但与之相应的，能耗也会越来越高，在Scaling Law失效、AI实现之前，或许我们地球的能源就已经无法支撑了。”袁行远称，“没有效率的提升，AI就是镜花水月。”

今年年中，彩云科技带来了颠覆Transformer架构的研究成果。在国际机器学习领域的顶级会议ICML（国际机器学习大会）上，彩云科技发布论文《Improving Transformers with Dynamically Composable Multi-Head Attention》及论文核心成果DCFormer架构。

据介绍，彩云科技团队构建DCFormer框架，提出可动态组合的多头注意力（DCMHA），替换Transformer核心组件多头注意力模块（MHA），解除了MHA注意力头的查找选择回路和变换回路的固定绑定，让它们可以根据输入动态组合，从根本上提升了模型的表达能力，由此实现了对Transformer架构1.7—2倍的性能提升。

“我们的工作表明，Transformer架构距离‘理想模型架构’还有很大的提升空间，除了堆算力、堆数据的‘大力出奇迹’路线，模型架构创新同样大有可为。”袁行远补充道：“往小了说，在大模型领域，利用效率更高的模型架构，小公司也可以在与世界顶级AI企业的对抗中取得优势；往大了说，模型效率的提升，可以有效地降低AI升级迭代的成本，加速AI时代的到来。”

二、0提示词按回车键AI续写小说，最高输出10000字

“世界最强的小说续写通用模型。”沟通会上，袁行远带着些中二语气地展示了基于DCFormer架构的通用大模型“云锦天章”。

袁行远介绍，云锦天章可以实现在虚构世界观的基础上，赋予小说人物编程、数学等基础能力，可以高速针对大量文字进行扩写、缩写，针对文章风格进行大容量更换，同时兼具其他模型的问答、数学、编程等基础能力。

根据现场演示，云锦天章目前可以在“写小说”等类似提示词的情境下，实现一轮提示词，按回车键多次自动续写内容；同一轮对话的输出字数在8000至10000字左右。该功能将通过API形式向企业开放，并免费向C端用户开放。

彩云科技旗下AI RPG平台彩云小梦也迎来了基于DCFormer架构的V3.5版本。与之前的版本相比，彩云小梦V3.5整体流畅性和连贯性提升了20%，支持前文长度由2000字提升至10000字，故事背景设定最长长度高达10000字。

这意味着，在故事创作或者AI对话中，AI能够记住之前发生的事情以及故事中的细节；创建的人物也会记得自己明确的目标，并且会根据剧情及时进行反思修正，在做到自主创作的同时，发散性收敛，不会天马行空，人物性格前后一致，故事逻辑性更强。

“深度对话，超长记忆，逻辑清晰。”袁行远总结彩云小梦V3.5的特征。他透露，目前彩云小梦的用户以网文写作者为主，有用户同时更新10部小说，日更10万字，月入5-6万元。

袁行远介绍，公司接下来将继续加大对DCFormer的研究和投入，“一方面有打破‘国外做技术层，国内做应用层’刻板印象的情怀所在，一方面也是为公司自有产品应对市场竞争，实现快速迭代升级和能力领先的现实需要。”

结语：新架构效果有待检验，AI细分赛道仍需开拓

对于当下的AI大模型，谷歌的Transformer架构仿佛成为既定法则，彩云科技从底层架构对其进行颠覆，在理论上对大模型生成效率取得了显著提升，但能否产生行业影响还有待更多企业对DCFormer架构进行体验。

与此同时，在AI陪伴领域挖掘AI写网文、AI RPG等细分赛道，不失为中小型AI创业公司可以参考的思路。有需求才有市场，彩云小梦瞄准了网文创作者，而更广阔的AI应用赛道还有待被发现。

来源：网易

时间: 2024-11-14 13:27

作者: 愤怒的拳头

时间: 2024-11-14 13:57

作者: Area_Code_61706

不看小说

通信人家园 (https://www.txrjy.com/)