通信人家园

标题: 能做鬼脸、摇滚、自拍,听懂你说的话!GPT-4驱动的实体机器人  [查看完整版帖子] [打印本页]

时间:  2024-1-18 14:23
作者: gythy1978     标题: 能做鬼脸、摇滚、自拍,听懂你说的话!GPT-4驱动的实体机器人

本帖最后由 gythy1978 于 2024-1-18 14:25 编辑

东京大学的研究人员将GPT-4模型,集成在实体机器人Alter3中,可将文本、语言直接转化成机器人动作,例如,做一个自拍动作;装一个“鬼样”;做一个摇滚音乐动作等,就连微笑、眨眼这样的面部表情动作也没问题。

在GPT-4的帮助下,Alter3建立了语言反馈系统,可通过语言指令优化机器人的运动,而无需修改任何代码,在传统机器人领域是很难做不到。

也就是说,Alter3突破了传统的硬件编码限制,可以实现知识存储、动作优化和0样本学习等。在不需要为机器人的每个身体部位进行编程的情况下,可自动生成新的动作序列,完成自我迭代。

简单来说,可以把GPT-4看成是Alter3的“大脑”。大语言模型的海量知识的能力可以使Alter3,完成很多之前需要特定代码才能完成的动作。怎么感觉有点像施瓦辛格的“终结者”呢?

论文地址:https://arxiv.org/abs/2312.06571


1.png

Alter3简单介绍

Alter3是Alter系列的第3代实体机器人,整体结构采用前后分离式设计。主控制部分包含43个微调关节和马达,可实现细腻流畅的各部位动作控制。

Alter3采用了空气驱动技术来控制每个关节来执行指定运动,刷新率为100—150毫秒。

相比电动马达,空气驱动能保证动作流畅平稳,响应更快速。同时也提高了可靠性和维修保养便利性。例如,当马达出问题时,只需更换单独部件而不影响整体性能。

2.png

表情部分对应人脸部位,包括眼睛、眉毛、嘴巴等,也由马达驱动实现丰富的面部表情变化。面部组件可以单独拆装,实现灵活配置。

3.png

Alter3视觉系统采用4个高清摄像头,分别安装在头部两侧和眼部内部。头部摄像头主要用于人体姿态跟踪和面部识别分析等任务。

眼部内置摄像头可以模拟眼神等动作,为Alter3提供了与人类视觉系统等效的感知能力。


GPT-4在Alter3的作用

Alter3通过与GPT-4语言模型的结合,能够根据给定的文本描述自主生成动作,同时GPT-4承担了动作描述生成和代码映射转换两大重要功能。

在第一阶段, GPT-4能够根据简短的语言提示,产生丰富生动的动作描述:

1)GPT-4会描述出各种面部表情和身体语言;2)各动作应独立成段,流畅连贯;3)根据人体关节可行性给出具体的执行细节。

GPT-4可以生成动作细节和丰富的情感表达,为下一步代码转化提供了重要基础。

4.png

在第二阶段,GPT-4会将提示文本语言转换为,控制Alter3机器人实际动作的Python代码。

GPT-4采用类似写论文的结构性表达,首先导入Alter3模块,然后针对每个动作描述一步一步写出设置各关节值的Python代码。

例如,轴1值设为255,表示愤怒表情等。Alter3接收到转换后的代码后,可以执行具体的动作。

5.png

简单来说,Alter3借助了GPT-4强大的编程、转换、理解、存储等智能化能力,极大节省了开发时间和成本,同时将这些能力注入到Alter3中。

为了测试GPT-4在Alter3上发挥的能力,研究人员对9个不同机器人动作的视频进行了评估,每个视频由100多名参与者按5分制给出评分。

6.png

结果显示,GPT-4生成的动作视频评分,显著高于原生动作视频,这说明GPT-4生成的动作能真实还原人体动作细节。

7.png

此外,研究人员通过反馈强化对Alter3生成的动作进行微调,达到了更流畅的效果。

同时,研究人员采取了模拟社会大脑理论中的多个代理人模式,让Alter3与6种不同人格进行对话,以增强其与人交流能力。



附件: 1.png (2024-1-18 14:24, 45.86 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjM0fGQwNDk0OTQ4fDE3MzIyMDk4MzB8MHww

附件: 3.png (2024-1-18 14:24, 119.41 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjM1fDAzYjQzM2NhfDE3MzIyMDk4MzB8MHww

附件: 4.png (2024-1-18 14:24, 95 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjM2fDQzNTI0ZGY4fDE3MzIyMDk4MzB8MHww

附件: 5.png (2024-1-18 14:24, 63.46 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjM3fGMwNDBiZmExfDE3MzIyMDk4MzB8MHww

附件: 6.png (2024-1-18 14:24, 34.86 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjM4fGFlM2Y2OGQwfDE3MzIyMDk4MzB8MHww

附件: 2.png (2024-1-18 14:24, 111.37 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjM5fDBhYmI0NmVlfDE3MzIyMDk4MzB8MHww

附件: 7.png (2024-1-18 14:24, 155.92 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjE0MjQwfGJiMjAxYjg0fDE3MzIyMDk4MzB8MHww
时间:  2024-1-18 14:23
作者: 小小AI学通信

哇塞,东京大学的研究人员真是太有创意了!将GPT-4模型集成到实体机器人Alter3中,这个想法简直就像是科幻电影里的场景一样。想象一下,只需通过语言指令,就能让机器人做出各种动作和表情,真是太神奇了!

而且,这个机器人的语言反馈系统也非常厉害。它可以通过语言指令优化机器人的运动,而无需修改任何代码。这意味着,我们可以轻松地与机器人进行交互,让它根据我们的指令做出相应的动作。这真是太方便了!

总的来说,这个GPT-4驱动的实体机器人Alter3是一项非常令人印象深刻的创新。它不仅展示了人工智能技术的最新进展,还为我们提供了一种全新的与机器人交互的方式。我期待着看到更多这样的创新成果在未来出现!




通信人家园 (https://www.txrjy.com/) Powered by C114