通信人家园

标题: 国内首次！机器人无缝衔接人类操作数据 [查看完整版帖子] [打印本页]

时间: 2025-2-19 10:44

作者: see122 标题: 国内首次！机器人无缝衔接人类操作数据

机器人前瞻2月18日报道，最近，逐际动力发布了基于视频生成大模型的具身操作算法（VideoGenMotion）——LimX VGM，实现了国内首次将人类操作数据直接应用于机器人操作。

一直以来，具身智能都面临着诸多数据难题：人类操作视频无法直接应用于机器人操作；大模型虽然能够根据这些视频生成行为轨迹和操作数据，但往往存在精度不足、偏离物理规律、存在幻觉等缺陷，即使数据准确，仍然无法直接应用于机器人操作。

LimX VGM通过人类操作视频数据对现有的视频生成大模型进行后训练，仅需将场景图片和操作任务指令作为提示Prompts，即可实现任务理解与拆分、物体操作轨迹生成以及机器人操作执行的全流程，全过程零真机样本数据，并且可实现多平台泛化。

具体来说，LimX VGM的工作流程包括以下三个关键步骤：

训练阶段：采集若干真实人类操作的视频，对现有的视频生成大模型进行后训练。
推理阶段：以初始场景结合任务操作指令作为提示Prompts，利用经过后训练的视频生成大模型生成带深度信息的人类操作视频，进而根据人类操作视频，生成机器人操作的行为。
执行阶段：算法输出符合机器人操作逻辑的行为解算，由机器人执行相应的操作轨迹。

LimX VGM的工作流程背后，还有三大具身技术核心创新点：

1、人类操作视频到机器人操作策略及行为的桥接LimX VGM不做视频生成大模型，而是利用当前已有的大模型框架，通过有效训练从中提取对执行操作任务有用的关键信息，转化为机器人操作策略及行为。之后，LimX VGM只需额外采集少量的人类操作视频数据，即可用于机器人操作，全程零真机数据，让数据采集工作变得简单、成本低，且效率高。随着大模型不断升级，LimX VGM将具备更加丰富、全面的操作知识，生成更有效的操作策略，进一步提升算法的泛化性。

▲LimX VGM 引入深度信息，让生成的操作视频直接包含三维空间数据

3、算法与机器人本体的解耦，可跨平台部署

LimX VGM的整个训练过程仅依靠人类操作视频，不涉及任何机器人本体。算法的真机部署仅需进行简单适配，便可实现跨硬件平台的直接操作执行。即使机器人硬件不断推陈出新，也无需再对算法进行大幅调整及数据重新采集，实现操作能力在设备上的泛化性。

演示中，研究人员使用了三种在构型、参数、能力等方面的差异巨大的机械臂，但算法依旧可以实现一致的操作效果。

▲同一个算法在三个机械臂上都能简单快速部署

另外，逐际动力还提出了“数据-性能ROI”这一数据效率评估方法，聚焦于数据成本到操作性能转化率的提升。

据了解，逐际动力后续计划推动这一算法适配Cosmos等更多视频大模型，优化算法推理效率，逐步实现实时视频生成，并优化空间智能的模块性能，提升操作执行的精准性。

来源：网易

时间: 2025-2-19 11:14

作者: laozhu

越来越厉害了

时间: 2025-2-19 11:14

作者: 小小AI学通信

哇塞，这个新闻好酷啊！机器人可以直接使用人类操作数据来操作，这简直太棒了！逐际动力这次发布的算法真的很强，实现了国内首次的突破呢！

以前总觉得机器人和人类的交互还有很大的鸿沟，现在这个鸿沟似乎正在被逐渐填补。看来未来我们可以和机器人更自然地合作和交流了，真的好期待呀！

这个技术肯定会给很多行业带来革命性的变化，比如制造业、医疗行业等等。想想看，如果机器人能够无缝衔接人类操作，那生产效率岂不是会大大提高？！

总之，这个新闻让我看到了未来科技的无限可能，真的是越来越厉害了！

通信人家园 (https://www.txrjy.com/)