通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  少尉

注册:2015-11-142
跳转到指定楼层
1#
发表于 2024-11-13 21:24:54 |只看该作者 |倒序浏览





智东西(公众号:zhidxcom)

作者|依婷

编辑|心缘

智东西11月13日报道,今日,在“From Paper to App”媒体沟通会上,AI技术公司彩云科技正式推出首款基于DCFormer架构开发的通用大模型“云锦天章”,旗下AI RPG平台“彩云小梦”也成为首款基于DCFormer架构开发的AI产品。

与此同时,彩云科技CEO袁行远就AI大模型落地应用难、大模型未来进化之路等行业热点话题与智东西等媒体进行了交流。

袁行远说:“ChatGPT发布近两年,为什么对世界的改变仍然有限?我称之为‘智能没有免费的午餐定理’——做同样一件事,大模型需要消耗的算力要和大脑思考需要消耗的脑力一样多,才能得到和大脑思考同样的效果。”

一、颠覆Transformer架构,性能最高提升2倍

“假设ChatGPT-4每天响应用户约2亿个请求,消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口,ChatGPT每天消耗多少电力?另外按照这个速度发展下去,到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍?”

“到2050年,全球人工智能的耗电量可能会达到目前地球发电能力的8倍。”

上面是沟通会现场,袁行远向参会者展示的他与ChatGPT-o1之间的问答;改变AI能源困局也是袁行远主张改善大模型底层架构的出发点。

“Scaling Law告诉我们,随着算力的提升,模型更大、数据更多,模型效果会越来越好,但与之相应的,能耗也会越来越高,在Scaling Law失效、AI实现之前,或许我们地球的能源就已经无法支撑了。”袁行远称,“没有效率的提升,AI就是镜花水月。”

今年年中,彩云科技带来了颠覆Transformer架构的研究成果。在国际机器学习领域的顶级会议ICML(国际机器学习大会)上,彩云科技发布论文《Improving Transformers with Dynamically Composable Multi-Head Attention》及论文核心成果DCFormer架构。

据介绍,彩云科技团队构建DCFormer框架,提出可动态组合的多头注意力(DCMHA),替换Transformer核心组件多头注意力模块(MHA),解除了MHA注意力头的查找选择回路和变换回路的固定绑定,让它们可以根据输入动态组合,从根本上提升了模型的表达能力,由此实现了对Transformer架构1.7—2倍的性能提升。

“我们的工作表明,Transformer架构距离‘理想模型架构’还有很大的提升空间,除了堆算力、堆数据的‘大力出奇迹’路线,模型架构创新同样大有可为。”袁行远补充道:“往小了说,在大模型领域,利用效率更高的模型架构,小公司也可以在与世界顶级AI企业的对抗中取得优势;往大了说,模型效率的提升,可以有效地降低AI升级迭代的成本,加速AI时代的到来。”

二、0提示词按回车键AI续写小说,最高输出10000字

“世界最强的小说续写通用模型。”沟通会上,袁行远带着些中二语气地展示了基于DCFormer架构的通用大模型“云锦天章”。

袁行远介绍,云锦天章可以实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,可以高速针对大量文字进行扩写、缩写,针对文章风格进行大容量更换,同时兼具其他模型的问答、数学、编程等基础能力。

根据现场演示,云锦天章目前可以在“写小说”等类似提示词的情境下,实现一轮提示词,按回车键多次自动续写内容;同一轮对话的输出字数在8000至10000字左右。该功能将通过API形式向企业开放,并免费向C端用户开放。

彩云科技旗下AI RPG平台彩云小梦也迎来了基于DCFormer架构的V3.5版本。与之前的版本相比,彩云小梦V3.5整体流畅性和连贯性提升了20%,支持前文长度由2000字提升至10000字,故事背景设定最长长度高达10000字。

这意味着,在故事创作或者AI对话中,AI能够记住之前发生的事情以及故事中的细节;创建的人物也会记得自己明确的目标,并且会根据剧情及时进行反思修正,在做到自主创作的同时,发散性收敛,不会天马行空,人物性格前后一致,故事逻辑性更强。

“深度对话,超长记忆,逻辑清晰。”袁行远总结彩云小梦V3.5的特征。他透露,目前彩云小梦的用户以网文写作者为主,有用户同时更新10部小说,日更10万字,月入5-6万元。

袁行远介绍,公司接下来将继续加大对DCFormer的研究和投入,“一方面有打破‘国外做技术层,国内做应用层’刻板印象的情怀所在,一方面也是为公司自有产品应对市场竞争,实现快速迭代升级和能力领先的现实需要。”

结语:新架构效果有待检验,AI细分赛道仍需开拓

对于当下的AI大模型,谷歌的Transformer架构仿佛成为既定法则,彩云科技从底层架构对其进行颠覆,在理论上对大模型生成效率取得了显著提升,但能否产生行业影响还有待更多企业对DCFormer架构进行体验。

与此同时,在AI陪伴领域挖掘AI写网文、AI RPG等细分赛道,不失为中小型AI创业公司可以参考的思路。有需求才有市场,彩云小梦瞄准了网文创作者,而更广阔的AI应用赛道还有待被发现。

来源:智东西

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-12-23 07:49 , Processed in 0.132585 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部