46万张图像训练，18种传感功能！Meta机器人手可以感知“触觉”了

tayun

编译 | 汪越

编辑 | 漠影

机器人前瞻11月4日报道，Meta FAIR（基础AI研究）团队上周五发布了三项重要科研成果，在触觉感知、机器人灵巧度和人机交互方面取得了显著进展。

Meta Sparsh是Meta首款多功能触觉编码器，能够适配多种触觉传感器，应用于各种任务中。该模型在超过46万个触觉图像的数据集上通过自我监督学习进行训练，使AI能够更好地理解和处理触觉信息。



Meta Digit 360是一款模拟人类指间的触觉传感器，具有多模态感知能力，具备超过18种传感功能，能够以人类水平的精度提供详细的触觉数据。

为了将触觉感知与动作控制相结合，Meta还推出了Meta Digit Plexus。Meta Digit Plexus是一个标准化平台，用于机器人触觉传感器的连接和交互。该平台提供了一种软硬件解决方案，能够将不同类型的触觉传感器集成到同一个机械手上，并通过单根电缆实现无缝的数据收集、控制和分析。



为了促进这些新技术的应用，Meta与传感器公司GelSight Inc.和韩国机器人公司Wonik Robotics达成了战略合作。GelSight Inc.将负责生产和分销Meta Digit 360，并为研究者提供早期试用机会；Wonik Robotics将利用Meta Digit Plexus技术开发新一代的机器人灵巧手Allegro Hand。

此外，Meta FAIR团队还推出了PARTNR基准测试，这是一个评估人机协作中规划和推理能力的标准框架。

一、Meta Sparsh：基于46万张触觉图像训练，表现优于同类95%以上

基于视觉的触觉传感器种类多样，形状、照明和凝胶标记各不相同。现有的方法通常依赖于针对特定任务和传感器的手工模型。这些模型很难扩展，因为真实的触觉数据（如力和滑动）很难标注。

相比之下，Meta FAIR开发的Sparsh利用了自我监督学习（SSL）的技术，不需要标签就能在多种基于视觉的触觉传感器上处理多个任务。Sparsh是在超过46万张触觉图像的大数据集上预先训练的。

为了标准化评估触觉模型，Meta FAIR团队引入了一个新的基准测试，包含6个以触觉为中心的任务。这些任务包括理解触觉特性、实现物理感知和灵巧规划。测试结果显示，Sparsh在这些任务上的表现平均优于特定任务和传感器的模型95%以上。通过提供预训练的触觉传感主干，Meta FAIR团队希望帮助机器人社区构建和扩展这些模型，推动机器人和AI等领域的创新应用。



▲ 使用TacBench评估Sparsh，这是一组6个以触觉为中心的任务，用于在不同的触觉传感器和模型之间进行标准化评估。（图源：Meta）

二、Digit 360：模拟人类指尖，配备超18种传感器

Meta Digit 360是一款形状类似人类手指的触觉传感器。它能够以人类水平的精度将触摸数字化，提供丰富而详细的触觉数据。Digit 360配备了超过18种传感功能，研究人员可以结合其各种传感技术，或单独分析每个信号，深入了解每种模式。

Meta FAIR团队希望未来研究人员能够使用Digit 360开发出更好的AI，这些AI能够更好地理解和建模物理世界，包括物体的物理性质、人与物体的交互以及接触物理学。Digit 360的功能超越了Meta上一代触觉传感器，能够检测到空间细节的微小变化，甚至可以捕捉到小至1毫牛顿（mN）的力。



▲ 人类指尖多模态触觉传感器Digit 360（右）与Meta上一代触觉传感器Digit（左）并排展示（图源：Meta）

为了实现这一目标，Meta FAIR团队开发了一种专门用于触觉感知的光学系统。该系统具有由800多万个触觉元素（taxels）组成的广阔视野，能够捕捉指尖表面的全向变形。

Meta FAIR团队还为Digit 360配备了多种传感模式。每次Digit 360与物体接触时，都会产生独特的信号。这些信号由物体表面的机械特性（如硬度）、几何特性（如形状）和化学特性（如材质）产生。Digit 360可以感知振动、温度变化，甚至气味。通过利用这些多样的信号，Digit 360将帮助科学家更详细地了解世界，推动AI的研究。



借助设备上的AI加速器，Digit 360可以快速处理信息，对网球的弯曲或针的戳刺等刺激做出反应。它就像人类和动物的反射弧一样，可以充当机器人的周围神经系统。

除了提高机器人的灵巧性外，Digit 360还在医学和假肢、虚拟现实和远程呈现等领域具有重要的潜在应用。这种新的触觉专用光学镜头可以看到人工指尖周围的印记，捕捉到接触物体表面的细微细节。在虚拟世界中，Digit 360可以更好地实现与环境的虚拟交互，使对象的属性不仅限于视觉外观，还包括触觉感受。

Meta FAIR团队将公开发布所有代码和设计，以便机器人社区在此基础上进行迭代和创新。

三、Digit Plexus：多种传感器集成，打造机器人灵巧手

人手非常擅长向大脑传递从指尖到手掌的触觉信息。这样，手部的肌肉可以根据大脑的指令做出反应，比如如何在键盘上打字或如何处理过热的物体。实现具身AI需要机器人手上的触觉传感器和电机之间也有类似的协调。

Meta FAIR团队提出了一个标准化平台Meta Digit Plexus。该平台提供了一种软硬件解决方案，可以将触觉传感器集成到一只机械手上。Digit Plexus将指尖、手指和手掌上的基于视觉和基于皮肤的触觉传感器（如Digit、Digit 360和触感皮肤ReSkin）连接到控制板中，将所有数据编码到主机。该平台的软件和硬件组件允许通过单根电缆实现无缝数据收集、控制和分析。



▲ Digit Plexus平台将触觉传感器集成到一只机械手上（图源：Meta）

四、Digit 360明年推出，合作产品机器人灵巧手明年上市

为了促进这些新技术的应用，Meta与传感器公司GelSight Inc.和韩国机器人公司Wonik Robotics达成了战略合作。

GelSight Inc.将负责生产和分销Meta Digit 360，预计明年广泛推出。该公司还将通过提案征集活动，为研究者提供早期试用的机会。

Meta FAIR团队还与韩国机器人公司Wonik Robotics合作开发Allegro Hand，这是一款带有触觉传感器的完全集成的机械手。新一代Allegro Hand基于Meta Digit Plexus平台构建，集成了多种触觉传感器，包括Digit 360和ReSkin。这些触觉传感器将提供丰富的触觉数据，帮助机器人更好地感知和操作物体。Wonik Robotics将生产和分销Allegro Hand，该产品将于明年上市。



▲Allegro Hand机器人灵巧手（图源：Allegro Hand）

五、PARTNR：同类产品中最大，助力人机协作训练

随着智能机器人和能够执行日常家务的高级AI模型逐渐成为现实，考虑它们与人类的互动变得尤为重要。Meta FAIR团队发布了humaN-Robot协作（PARTNR），这是一个评估家庭活动中人机协作的规划和推理任务基准。

在实际物理环境中，机器人与人类伙伴一起训练和测试社会化代理既难以规模化，又可能带来安全问题。Habitat 3.0是一个高速、逼真的模拟器，支持机器人和人形机器人，并允许在类似家庭的环境中进行人机协作。Meta FAIR团队通过在Habitat 3.0的基础上开发PARTNR基准测试来解决这个问题，未来的目标是在物理世界场景中进行人机协作测试。

PARTNR是同类产品中最大的基准测试，包括10万个自然语言任务，覆盖60个房屋和5800多个独特对象。该基准测试旨在评估大型语言和视觉模型（LLMs/VLM）在与人类协作时的性能表现。

PARTNR带有几个最先进的LLM基线，这些基线模型用于对比新模型的性能。此外，PARTNR支持在规划、感知和技能执行等多个方面进行系统分析。Meta FAIR团队的评估结果显示，即使是最先进的LLM规划者，在协调、任务跟踪和故障恢复方面仍面临挑战。

将AI模型从简单的“执行者”转变为熟练的“合作伙伴”需要时间。通过提供标准化的基准和数据集，PARTNR能够帮助研究人员开发和测试更先进的AI模型。PARTNR能够使研究人员评估和改进机器人的规划和推理能力，从而使机器人不仅能够独立运行，还能在人类周围高效、可靠地运行，并适应每个人的需求和喜好。

结语：触觉感知与机器人技术的未来

Meta FAIR团队在触觉感知和机器人技术领域取得了新进展，为其具身AI的研究开辟了新的道路。

通过Meta Sparsh，Meta开发了首款通用的触觉编码器，增强了触觉信息的处理能力；Meta Digit 360模拟了人类指尖的多模态感知能力，提供了高精度的触觉数据；Meta Digit Plexus平台实现了多种触觉传感器的无缝集成，提升了机器人手的灵巧度和感知能力。

这些技术的突破在多个产业领域展现出巨大的应用前景。在医疗领域，高精度的触觉传感器可以帮助医生进行远程手术，提高手术的精确性和安全性；在制造业，具备触觉感知能力的机器人可以更好地处理精细和复杂的任务，提高生产效率和质量；在虚拟现实和远程呈现领域，触觉传感器可以提供更真实的沉浸式体验，增强用户的互动感受。

通过与GelSight Inc.和Wonik Robotics的合作，Meta将这些技术推向市场，进一步推动了机器人手在实际应用中的落地和发展。

来源：Meta

来源：智东西