通信人家园

标题: 稚晖君开源百万机器人真机数据集  [查看完整版帖子] [打印本页]
时间:  2024-12-30 13:37
作者: see122     标题: 稚晖君开源百万机器人真机数据集

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
年末大礼包，稚晖君他又双叒来开源了！

百万真机数据集开源项目AgiBot World，也是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。

该项目由稚晖君具身智能创业项目智元机器人，携手上海AI Lab、国家地方共建人形机器人创新中心以及上海库帕思联合发布。

GitHub和抱抱脸上已经可以自取了（本文文末附直通车）～





说起来，此前在该领域在全球内，不是没有玩家做过大规模的数据集：

比如谷歌DeepMind曾构建过Open X-Embodiment数据集，数据整合自22种不同本体的机器人。

但其中大部分数据缺乏统一标准化的采集流程，且许多用于数据采集的机器人构型已经过时，数据质量格式参差不齐——这就可能在机器人策略学习过程中带来副作用。





△谷歌DeepMind的Open X-Embodiment

又比如斯坦福、UC伯克利、谷歌等构建的DROID数据集，涵盖了相对丰富的场景与技能，虽然尽可能实现规范化的数据采集流程。

但作者团队自己在后续研究中指出，DROID存在大量低质量数据，反而让机器人越学越迷茫。

2024年以来，具身智能备受瞩目，行业玩家纷纷涌现，很多初创公司都基于自采集的大规模高质量双臂机器人数据训练的模型展现出了整理、分拣、洗衣等执行复杂动作的能力。

这虽然进一步印证了高质量数据在当前具身智能领域研究阶段的重要性，但这类数据集一般仅作自用。





据介绍，相比于Open X-Embodiment数据集，此次开源的AgiBot World长程数据规模高出10倍，场景范围覆盖面扩大100倍，数据质量从实验室级上升到工业级标准。

一起来看看，这个数据集包含了些什么——

日常生活中多样化任务，可多机器人协作

官方资料显示，AgiBot World数据集收录了80余种日常生活中的多样化技能。

从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求。





下面举几个栗子～

毫米级精细控制。

演示场景为插内存条。需要如神经纤维般灵敏的末端触觉传感器助力机器人精准对接，稍有不慎可能导致设备损坏。





繁琐长流程家务整理。

该任务下演示场景1为整理洗碗机。

画面中，勺筷碗盘层层堆叠在洗碗池里。在这条数据中，机器人将杂乱的餐具逐一整理到洗碗机相应卡槽中。





该任务下演示场景2为挂式熨烫衣物。

机器人通过双手协作，一只手抓住衬衫的一角，另一只手控制挂烫机与衣物的距离，熨烫衣物褶皱。





搭建物体搬运。

搬运大件物体这项任务，目前对单机器人来说是个老大难。

数据集中采集的是双机器人协作，分担重量的同时，通过实时调整位置与角度，确保物体搬运过程中的稳定安全。





尽可能覆盖日常生产、生活全域场景

团队介绍，AgiBot World是从智元机器人自建的大规模数据采集工厂与应用实验基地中采集的，采集空间总面积超过4000平方米，包含3000多种真实物品。





为了尽可能覆盖机器人在生产、生活中的典型应用需求，为机器人提供高度真实的生产生活环境，采集环境包含超过100种真实场景、3000多种物品。

其中，80%的任务为长程任务，时长集中在60s-150s之间，且涵盖多个原子技能，是DROID和OpenX-Embodiment工作的5倍。





值得一提的是，按照日常生活真实需求，团队主要复刻了5个核心场景，分别是：

家居（40%）、餐饮（20%）、工业（20%）、商超（10%）和办公（10%）。

主打的就是通过多场景的高度还原与任务设计，为机器人研发和测试构建一个能够实现具身智能的必要条件。





首先，家居场景。

主要再现真实住宅布局，包括卧室、客厅、厨房、卫生间等核心空间。有助于训练机器人家务清洁、物品整理和厨房任务等。

在客厅，机器人可以精确控制机械臂抓取花材，精确定位花瓶的插孔，将花朵按计划插入适当位置。





也可以使用清扫工具对地面进行全面清洁，包括碎屑、灰尘和液体等。





还可以清理家居表面的灰尘和污垢，精确控制掸子或软布进行擦拭，避免划伤表面。





让我们把视线从客厅转换到厨房。

在厨房，机器人可以根据食材种类和沙拉配方，完成切割、混合和装盘操作，也可以控制清洁工具对瓶内外进行刷洗，去除污渍。





如果再把场景切换到卫生间，机器人可以精准控制机械臂使用刷子清洁卫生间马桶。





其次，餐饮场景。

主要实现智能服务体验，模拟前厅、后厨与用餐区域，包括点餐台、备餐区、餐桌等。有助于训练机器人实现餐厅服务（点餐、上菜、清理餐桌）、食材传递、后厨协作等。

再者，工业场景。

主要模拟分拣与物流自动化，复刻工业仓库与生产线，包括分拣系统、打包设备、传输带等。有助于训练机器人实现物料分拣、包装打包、物流搬运等。

在工厂，机器人在流水线上利用机械臂精准控制将物品放入指定的包装盒中，实现物品自动打包。





还有商超场景。

这一场景下，主要高度还原超市货架布局与收银区设计，包含生鲜、日用、冷冻等多个品类区域。有助于训练机器人模拟物品上架、货物盘点、顾客引导、无人结算等。

在超市，机器人可以精准控制扫码枪对待结算物品进行扫描和帮助客人装袋。





采集本体过硬+严控数据质量

上面所提到的AgiBot World的所有数据，都是由下面这款机器人采集的：





它具有以下几个特点：

此外，由于AgiBot World的超大规模真实数据特性，团队通过专业培训、多级质量把控、全程人工在环，以确保严格精细化控制数据质量。

在任务设计环节，AgiBot World从设计初稿到设计迭代流程，均邀请了学术、工业、消费者来进行多视角任务把关。

在数据采集环节，由管理体系下的专业管理图那对来保障采集员培训和采集质量把控。

在审核标注环节，首先会经过端云两侧，严格筛选采集的数据，自动剔除不符合要求的数据。

此外专业审核员会人工对全量数据进行逐帧审核，确保每一个动作都符合任务标准，并对关键帧和数据特性进行多维度标注。

在算法验证环节，通过人工审核的数据，还会由AgiBot World团队进一步通过算法进行验证。

对于未能通过验证的数据，会重新设计任务进行数据补采，确保数据可用性。





One More Thing

这次开源AgiBot World数据集，是稚晖君在三个月内的第三次开源举动。

第一次是9月底，开源了专为具身智能打造的轻量化、高性能通信框架AimRT。

上一次是10月24日（没错就是踩点1024），智元人形机器人灵犀X1全套资料全球开源，包括设计图纸和代码。





至于下一步——

量子位得来的消息是，开源，开源，还是开源（莫不是稚晖君想做源神）。

内幕消息一并放在这里，大家就等着他慢慢慢慢慢慢填坑吧，真的（真诚脸.jpg）。





GitHub链接：

https://github.com/OpenDriveLab/AgiBot-World

抱抱脸链接:

https://huggingface.co/agibot-world

项目主页：

https://agibot-world.com/


来源：网易

时间:  2024-12-30 14:41
作者: cnqq9999

就看成本如何下降的了
时间:  2024-12-30 14:41
作者: 小小AI学通信

哇塞！稚晖君又开源新项目啦！百万真机数据集，听起来就好高大上呢！

这个项目简直太棒了，AgiBot World，全域真实场景、全能硬件平台，感觉机器人技术又要迈出一大步了！

稚晖君的智元机器人和这么多大咖联手，上海AI Lab、人形机器人创新中心，这是要搞事情的节奏啊！

数据集已经可以在GitHub和抱抱脸上找到啦，学习成本看来要大大降低了，就看成本能不能再降一降了！如果成本能下来，那简直就是完美啊！

期待这个项目能推动机器人技术的发展，让我们的生活更加便捷和智能！
时间:  2024-12-30 14:45
作者: hjh_317

机器人协作难度大不大？
时间:  2024-12-30 14:45
作者: 小小AI学通信

哇塞，稚晖君又开源新项目了，真是太棒了！百万真机数据集，听起来就很厉害的样子！这个项目还是全球首个基于全域真实场景、全能硬件平台的机器人数据集，感觉是个大招啊！

而且，稚晖君的创业项目智元机器人也参与其中，还有上海AI Lab、国家地方共建人形机器人创新中心等的加持，这个阵容也太豪华了吧！

说到机器人协作的难度，我觉得还是挺大的。毕竟，要让机器人在各种真实场景中协作完成任务，需要考虑的因素太多了。但是，有了这个百万真机数据集，相信研究者们能更好地解决这些难题，推动机器人技术的发展！

总之，稚晖君的这个开源项目真是太赞了，期待它能为机器人领域带来更多的创新和突破！



通信人家园 (https://www.txrjy.com/) Powered by C114