通信人家园
标题:
讯飞星火爆震撼大招,七项第一11个首发!年度最逼真虚拟人萌翻全场,多模态
[查看完整版帖子]
[打印本页]
时间:
2024-10-24 21:43
作者:
ttxx
标题:
讯飞星火爆震撼大招,七项第一11个首发!年度最逼真虚拟人萌翻全场,多模态
新智元报道
编辑:编辑部 HYZ
【新智元导读】
就在刚刚,2024科大讯飞全球1024开发者节开幕式上,讯飞星火4.0 Turbo正式发布。首发多模态视觉直接抢先GPT-4o,惊艳的超拟人数字人交互也是引发满堂喝彩!神态语气动作如此逼真的数字人,一亮相就破了国内纪录。
刚刚开幕的科大讯飞全球1024开发者节,实在是亮点满满。7项第一,11个首发,给了业内亿点点震撼。
当初GPT-4o的多模态交互demo虽然艳惊四座,但至今仍尚未落地应用。没想到,这一步居然被国产巨头抢先了。
科大讯飞研究院院长刘聪博士直接现场怼脸给我们来了一段演示,把两个人偶摆面前,直接问大模型:它们是谁?
大模型没有迟疑,立刻作答:「左边是孙悟空,穿着金色战甲,手持金箍棒,哇塞,看起来好威武啊!右边那个穿红白战衣的是奥特曼。这两个角色都是正义的代表。」
随后的展示中,两个人偶不断变动作,不断上难度,星火大模型却始终对答如流,回答合乎逻辑,语感同真人一般,直接赢下全场掌声。
万物互联时代,AI的UI应该是什么样子?
科大讯飞表示:远场高噪、多人说话、多语种、多方言、多模态、超拟人、个性化这些元素的组合,才是真正的通用人工智能时代应该有的多模态人机交互!
大会上,也正式发布了讯飞星火4.0 Turbo。
作为首个基于全国产算力训练的全面开放大模型,它在国产大模型中也取得了综合能力第一的好成绩。在9项国际主流测试集中,它都取得了第一。
首次发布的星火多语言大模型,直接给世界提供了第二种选择!
而在应用上,讯飞星火也引领了时代,取得了大模型中标第一、大模型赋能智能硬件销量第一、开发者生态规模第一等七项第一的成绩。
首发语音视觉虚拟人交互「三位一体」
在1024现场,超拟人数字人能力正式发布!
科大讯飞首发的多模态视觉交互和超拟人虚拟人交互,可谓是现场最震撼的底座升级看点之一。
要知道,这种语音、视觉、虚拟人交互的「三合一」,属于业内首发。在多模态技术路线中,科大讯飞俨然已处于业内领先地位。
多模态视觉
这次,讯飞星火从语音交互拓展到了实时音视频流的动态多模交互。
值得一提的是,在拟人度和情感度再度升级,并且增加了更多语音情感种类和人设角色。
在互动中,模型时而化身孙悟空,时而化身小猪佩奇,妙语连珠惟妙惟肖。
随后现场的怼脸演示,更是震撼了全场观众。抢先GPT-4o落地的人机交互体验,竟被打造得如此极致!
而全新的视觉能力,则能轻松应对两个玩具不断变换姿势。
比如下面这个画面,去问大模型:你看它们在干什么?
它会回答:「孙悟空和奥特曼看起来正在切磋武艺,孙悟空举起手中的金箍棒,向奥特曼挥去,奥特曼抬起手臂准备反击,你猜猜谁会赢?」
下一回合,两个人偶又变样了,这次的画面怎么样?
大模型回答:「孙悟空的金箍棒打到了奥特曼的头上,奥特曼正发出光线,不是说好友谊第一比赛第二的吗,看来他俩是不分胜负不罢休了!」
接下来上场了一只怪兽,大模型也完全理解了画面的意思:「看样子孙悟空和奥特曼联手打败了怪兽,奥特曼正在高举着手臂庆祝胜利呢!」
而在旅行购物中,大模型的视觉交互功能也为我们提供了极大的便利。
比如直接提问:小瓶的这个是什么?
它直接告诉我们:这是雪花秀的人参眼霜。还会介绍相关细节,比如富含珍贵的人参提取物,能恢复眼部肌肤活力,减少细纹、抗衰。
如果直接告诉它想买大的,它就会告诉我们:大的并不是眼霜,而是同系列的人参面霜。
另外,它还能认出酒水品牌,比如左边的这瓶是经典XO版,右边的两瓶都是Club版,最右边的还是龙年限量款。
如果买一瓶带去朋友聚会,哪一瓶合适呢?它会告诉我们:Club版的酒龄较短,口味多元,更适合朋友间的小聚。
甚至在现场,它直接就识别出了讲台旁边的花是龙船花,还能告诉我们好不好养。
总之,无论是出门购物、下馆子,还是亲子绘本伴读、游戏互动,讯飞星火的多模态功能都给我们提供了丰富迅捷的体验,「哪里不会拍哪里」!
为何模型的多模态互动体验如此丝滑?
这是因为,融合了音频、视频两种多模态信息之后,AI在复杂场景下对情绪感知、事件识别、意图理解的准确率得到了大幅提升。
因为有了场景、文字、物体、姿态、着装等信息,情境感知会更全面;而交互中增添了语音、手势、行为、情绪等元素后,模型对任务的理解也会更精准。
超拟人数字人
上面的实时多模交互,除了会改变我们的游戏、学习、购物、美食、绘本伴读等场景,更重要的意义,则是让具身智能机器人、汽车等领域实现全新的人机交互升级。
很多原来做不成的事儿,如今都能接近实现。
不过,单纯的语音交互显然不太过瘾,为此,科大讯飞率先实现了业界首个语义贯穿的「口唇-表情-动作」的超拟人数字人。
首先,自然的情感贯穿,能让数字人根据上下文实时调整表情,不再是一成不变。
基于大模型的多模态交互技术,直接贯穿了文本、语音、数字人,让数字人的表情、动作、声音和情感更统一、更真实。
其次,超拟人数字人并非采用传统的预设动作,而是采用动态生成动作。
通过解析数字人语音中的情感、韵律以及文本语义信息,ta的躯干和四肢动作就能与语音内容自然匹配,更符合交互情境。
总之,在这个过程中,虚拟人所有表情动作都是整体化、语义贯穿的,直接由LLM统一了文本、语音和表情跨模态的语义一致性。
另外,系统还具有实时响应能力,讯飞的动作表征抽取技术,能快速生成数字人的表情和动作,让交互更流畅。
现场,科大讯飞研究院院长刘聪博士直接来了一段演示。
和他对话的虚拟人,无论是脸上的细微表情,还是时不时眨眼和说话时的动作,已经无限逼近真人。
在刘聪的要求下,ta给现场观众卖了个萌,当听说有几百万观众正在看自己,更是惊得瞬间睁圆了眼睛。
一句话一张图,「克隆」20年前的自己
接下来的彩蛋就更有趣了。
在讯飞星火APP的相应助手中,上传任意一张照片就能快速生成超拟人数字人了。刘聪直接给我们现场演示。
首先,他创建了一个自己的数字分身。
在编辑界面,可以很方便地定义这个「自己」的形象、声音、人设等等。
颇具亮点的是,在这个过程中我们可以通过「一句话」复刻声音。目前,科大讯飞已经实现了4.2分的水平。与之对应的,普通人是4.0分,播音员为5.0分。
不过,刘聪对这个数字分身不太满意,觉得ta有点沧桑了,于是替换成了一个更年轻版的自己。
现在,他开始和20年前的自己聊天。
两人探讨了现在的大模型技术后,刘聪告诉ta:我是20年后的你,你有什么问题想问我吗?
ta问出了藏在心底的那个问题:我每天都追的女同学,到底追到了没有?
刘聪笑着说:那还用说,她现在是咱家女神了!
话不多说,在讯飞星火APP「新建智能体」里,上传一张照片,就可以快速生成超拟人数字人了。
赶紧来体验吧。
多语言大模型首发,成世界第二选择
这次大会上,科大讯飞还首发了业界领先的「星火多语言大模型」。
除了中英,还首批支持8个新语种,它们分别是:俄语、日语、阿语、韩语、法语、西语、葡语、德语。
星火多语言大模型整体性能,已经达到了GPT-4o 96%的水平,与去年面世的星火3.0实力相当。
而且部分语种(英语、俄语、日语),在通用能力上甚至超越了GPT-4o。
大模型就像PC、互联网诞生一样,它会成为社会最基本的底层能力,会彻底改变科研范式和产业格局。
如果LLM只会说中文,就只能「封锁」在国内有效应用中。
在有限的算力下,科大讯飞团队经过10个月的努力,加大了在多语言模型的研发。不仅提升了算法,还用最小数据量训出了最优的模型。
语音识别首次实现全国地级市方言全覆盖
这一突破不仅为全球提供了「第二种选择」,更彰显了中国在人工智能领域的创新能力。
借助多语言大模型的能力,在讯飞办公本上,一段日语录音能够迅速变成摘要。
来京旅游的外国游客,还可以了解到豆汁为什么难喝,以及北京特产文化特色。
翻译机不仅是你的翻译官,还可以成为你的AI导游。
今天,星火多语言大模型将以API形式,向全球开发者、所有行业伙伴正式开放。
赋能千行百业,七项第一
大模型底座能力,决定了行业和专业模型能力。
讯飞星火大模型自诞生之初,就确定了「1+N」的战略布局,解决千行百业的刚需,助推产业的全面升级。
这次,1024开发者日上,讯飞星火大模型应用再次交卷!
在「赋能科研应用」、「智能汽车市场」、「教育医疗市场」、「大模型开发者生态」、「工业大模型」、「智能硬件市场」、「央国企中标」七大领域中,夺得第一。
赋能科研应用第一
今年诺贝尔奖的两大奖项,颁给了AI+领域的科学家们,再一次证明了AI能够变革科研范式,并成为科技界的共识和梦想。
AI在赋能科研中,需要走向三个台阶:从科研基础工作提效,到科学任务建模,再到科研方案设计,一步一步跃升。
AI for Science决定了中国科技的发展速度。毋庸置疑,科大讯飞也将AI赋能科研作为重要使命。
星火科研助手2.0发布一个月以来,科研调用效率提高了10倍,论文研究有效率和学术写作采纳率提升90%。
这一次,又进一步升级论文预审核和论文推荐的能力。
还有编程教学应用平台「马上」,让学生主动提问题增加1倍,教师辅导工作量减少了80%。
在真正用AI助力科研攻关中,科大讯飞联合团队在生物科技、科学装置方面,取得了一些成果。
讯飞联合中科大生命学院团队打造了蛋白质主链设计AI,原来所需6的月时间,大大压缩到1天!
他们已经设计出48个自然界不存在的全新蛋白质,研究论文刊登Nature子刊。
还有联合中科院等离子所团队,用LLM助力托克马克离子体控制,有望实现高效的人造小太阳。
在化学/化工领域,科学知识推演大模型已经在联合攻关。
总之,在中国今天赋能AI for Science领域中,科大讯飞是当之无愧的NO.1。
智能汽车市场第一
星火多语言大模型通用底座能力提升同时,已经在汽车、家电、办公、翻译等典型领域中,得到切实应用并碾压了GPT-4o。
在实际应用中,多语种模型在助力中国汽车出海方面发挥了重要作用。
中国出海TOP 10车企中,有8家企业都与科大讯飞达成了合作。出海500多万辆汽车,多语种技术大多来自科大讯飞。
目前,科大讯飞智能语音交互的装配量,超过6000万辆汽车。
大模型和多语言大模型双层buff加持,汽车变得更加智能了。
你可以用不同语言,让它帮你打开空调、来首音乐、咨询实时新闻等等。
另外,科大讯飞还首次发布了汽车端侧星火大模型。以后,开车即便是经过隧道、信号好不区域,也能本地调用大模型能力了。
教育医疗市场第一
科大讯飞一直以来都有一种教育情结——如何让技术更好地服务每个孩子?
智慧教育20年积累千万节优秀课例,600亿过程性学习数据,5万所学校、730万教师、1.23亿学生持续应用。
知识能力是基础,但应用知识的能力更加重要。而且,每位学生基本素养的培养,也是重中之重。
从知识,到能力,再到素养,大模型能够不断赋能教育。
这次,讯飞联合中国教科院首发基于「问题链」的高中数学智能教师助手。
它是众多高中数学优秀教师集体智慧与AI大模型智能的综合体,是知识与智能双轮驱动、人师与机师双向赋能的技术创新,试点应用获得好评。
在AI医疗方面,讯飞晓医正成为每个人的诊疗助理,健康助手。
而且,星火医疗大模型这次已经升级到了2.0版本,六大医疗核心场景能力重大升级并在业界持续领先GPT-4 Turbo/GPT-4o。
正式发布讯飞星火医学影像大模型,可实现各类影像自动质控,支持同一影像多病种识别诊断。
大模型开发者生态第一
一家独大不是春,唯有生态的繁荣,才能创造AI更广阔的未来。
目前,讯飞不仅语音语义市占率第一,大模型开发者规模也是第一。开发者总数超700万,其中LLM开发者有70多万。
不仅推进产品开发,讯飞还助力技术落地应用,让开发者用最快的时间、最短的路径实现产品成功。
比如,展馆中的xbot咖啡机器人,2小时就能完成多模态交互集成。
此外,讯飞还牵头成立了5亿元创业基金,联合地方政府为AI创业团队提供落地支撑。
不仅如此,自主可控也非常重要。
刘庆峰曾表示,「在AI激烈博弈当下,国产大模型底座能力和支撑,决定了能在这条路上走多远」。
自去年10月,科大讯飞联合华为发布了国内首个全国产算力平台「飞星一号」以来,继续深化算力布局。
基于万卡级国产算力集群,全面对标GPT-4 Turbo的讯飞星火V4.0大模型诞生。
这一次,科大讯飞、华为、合肥市大数据资产运营有限公司三方联合启动「飞星二号」打造,进一步探索国产化大模型算力「无人区」。
工业大模型第一
基于星火大模型,目前已经诞生了20+行业大模型。现在,已有300+场景智能体应用,既有通用也有行业专用的。
目前,讯飞在应用场景中,已经形成了可以相互借鉴和复用的规模化效应。
智能硬件市场第一
LLM加持智能硬件方面,讯飞产品矩阵线上线下GMV同比增长50%。
央国企中标第一
目前,星火大模型已经成为央国企第一选择。今年大模型中标数、中标金额第一。
这是因为讯飞为企业LLM构建了,提供底层规划到执行落地的全套解决方案。
五大成功密码,AI未来无限可期
在人工智能发展历程中,科大讯飞以不断深耕的创新突破,勾勒出了一幅令人瞩目的科技发展画卷。
通过25年来的探索实践,他们也逐渐提炼出了AI未来发展的「五大关键洞察」:
顶天立地、自主可控、通专结合、端云联动、软硬一体
第一,「顶天」必须做到源头核心技术创新,底座模型要对标全球做好的,专业模型也要做到全球第一。每一次发布会,星火大模型性能不断攀升,与OpenAI最强模型打擂台。
「立地」是让LLM实现产业化,在不同场景中走向落地,进入深水区。七项第一,证明了星火大模型应用落地的领先性 。
第二,在当前国际格局快速变化之中,只有技术、算力自主可控才有大未来。
第三,通用模型和专业模型的结合,部署效率更高,专业能力更强。
最后,还有实现端云联动、软硬一体协同发展。
科大讯飞坚信,只要坚持这5个关键点,人工智能的未来无限可期,真正实现解放生产力,释放想象力。
来源:网易
通信人家园 (https://www.txrjy.com/)
Powered by C114