Facebook 作为 Meta 的首批举措之一：教机器人触摸和感受

上周，马克·扎克伯格正式宣布他的公司将名称从 Facebook 更改为 Meta，重点关注创建元宇宙。

这个元宇宙的一个决定性特征是创造一种在虚拟世界中的临场感。临场感可能意味着与其他化身互动，感觉自己沉浸在陌生的风景中。或者，它甚至可以涉及为用户设计某种触觉反馈，让他们触摸或与虚拟世界中的物体互动。（这种反馈的一个原始形式是，在玩 Wii 网球游戏时，当你击球后，你的控制器会振动）。

作为这一切的一部分，Meta 的一个部门 Meta AI 希望通过使用名为 DIGIT 的机器人手指传感器和名为 ReSkin 的机器人皮肤来帮助机器学习人类的触摸和感觉。

Meta 首席执行官马克·扎克伯格今天在 Facebook 上写道：“我们设计了一款高分辨率触摸传感器，并与卡内基梅隆大学合作打造了一款薄机器人皮肤。这让我们距离在元宇宙中实现逼真的虚拟物体和物理交互又近了一步。”

Meta AI 认为机器人触觉是一个有趣的研究领域，它可以通过从环境中接收反馈来进一步帮助人工智能变得更好。通过开展以触觉为中心的研究，Meta AI 希望进一步推动机器人领域的发展，并可能在未来利用这项技术将触觉融入元宇宙。

[相关： Facebook 可能会重新命名为“元宇宙”公司。这到底意味着什么？ ]

Meta 首席人工智能科学家 Yann LeCun 表示：“机器人技术是人工智能研究人员试图获得感知、推理、规划和行动以及从环境中获取反馈的完整循环的纽带。”更进一步说，LeCun 认为，能够理解真实物体的感觉可能是人工智能助手（如 Siri 或 Alexa）在未来帮助人类在增强或虚拟世界中导航时的关键背景。

使用 DIGIT 进行触摸

目前，机器感知世界的方式还不够直观，还有改进的空间。首先，机器只接受过视觉和音频数据的训练，无法接收任何其他类型的感官数据，比如味觉、触觉和嗅觉。

这与人类的工作方式不同。“从人类的角度来看，我们广泛使用触觉，”与 DIGIT 合作的 Meta AI 研究科学家 Roberto Calandra 表示。“从历史上看，在机器人领域，触觉一直被认为是一种非常有用的感觉。但由于技术限制，触觉很难得到广泛使用。”

研究团队在一篇博客文章中写道，DIGIT 的目标是制造一种紧凑的机器人指尖，这种指尖价格低廉，能够承受反复接触表面造成的磨损。它们还需要足够灵敏，以测量表面特征和接触力等特性。

当人类触摸物体时，他们可以判断触摸物体的大致形状并识别它是什么。DIGIT 试图通过基于视觉的触觉传感器来模仿这种现象。

DIGIT 由一个凝胶状硅胶垫组成，形状像拇指尖，位于一个塑料方块的顶部。该塑料容器内装有传感器、摄像头和排列在硅胶上的 PCB 灯。每当你用硅胶（类似于无实体的机器人手指）触摸物体时，它就会在摄像头记录的新兴图像中产生阴影或色调变化。换句话说，它所感知的触觉是以视觉形式表达出来的。

“你真正看到的是你所触摸物体的几何变形和几何形状，”卡兰德拉说。“从这种几何变形中，你还可以推断出施加在传感器上的力。”

2020 年的一篇论文开源了 DIGIT 背后的技术，并提供了几个示例，展示了 DIGIT 触摸不同物体后会是什么样子。DIGIT 可以捕捉触摸物体留下的印记。它可以感觉到硬币表面的小轮廓，以及小块尼龙搭扣上锯齿状的单个齿。

但现在，该团队的目标是收集更多关于触觉的数据，而他们无法独自完成这一目标。

这就是为什么 Meta AI 与麻省理工学院的衍生公司 GelSight 合作，商业化生产这些传感器并将其出售给研究界。Calandra 表示，这些传感器的成本约为 15 美元，比市面上大多数触摸传感器便宜几个数量级。

[相关：独家报道 Facebook 利用人工智能加速 MRI 扫描的努力]

作为 DIGIT 传感器的配套产品，该团队还开放了一个名为 PyTouch 的触摸处理机器学习库。

DIGIT 的触摸传感器可以揭示比仅仅观察物体更多的信息。Meta AI 的 DIGIT 硬件工程师 Mike Lambeta 表示，它可以提供有关物体轮廓、纹理、弹性或硬度以及可施加在其上的力的深度的信息。算法可以结合这些信息并向机器人提供反馈，告诉机器人如何最好地拾取、操纵、移动和抓取从鸡蛋到弹珠的各种物体。

感受 ReSkin 的魅力

Meta AI 与卡内基梅隆大学的研究人员共同发明的机器人“皮肤”在某种程度上是对 DIGIT 手指的补充。

Meta AI 的研究人员在博客中写道，ReSkin 是一种廉价且可更换的触摸感应皮肤，它使用学习算法使其更加通用，这意味着任何机器人工程师理论上都可以轻松地将这种皮肤集成到他们现有的机器人上。

这是一种厚度为 2-3 毫米的板，磨损后可以剥离更换。它可以粘在不同类型的机器人手、触觉手套、袖套上，甚至可以粘在狗靴的底部，为 AI 模型收集触摸数据。

ReSkin 具有弹性体表面，按压时会弹回。弹性体中嵌入了磁性带电粒子。

当你对“皮肤”施加力时，弹性体会变形，变形时会产生磁通量位移，皮肤下的磁力计会读出该位移。力会在三个方向上记录，分别映射在 x、y 和 z 轴上。

然后，算法将磁通量的变化转化为力。它还考虑皮肤本身的特性（皮肤有多柔软，反弹力有多大），并将其与力相匹配。研究人员已经教会算法减去周围的磁环境，就像单个机器人的磁特征，或者地球上某个位置的磁场。

“我们现在在计算机视觉和机器学习方面擅长的是理解像素和外观。常识超越了像素和外观，”ReSkin 的 Meta AI 研究经理 Abhinav Gupta 表示。“理解物体的物理性就是理解环境的方式。”

LeCun 开玩笑说，皮肤可能对虚拟环境中的触觉有用，这样当你触摸一个物体时，你可能会得到一些反馈，告诉你这个物体是什么。“如果你有一块人造皮肤，”他说，“那么，结合执行器，你就可以重建人身上的感觉。”

当然，DIGIT 和 ReSkin 都只是触摸传感器的初步模型。

“从生物学角度来看，人类的手指让我们能够真正捕捉到许多传感器模式，不仅是几何变形，还有温度、振动，”卡兰德拉说。“DIGIT 中的传感器目前只能给我们几何形状。但最终，我们相信我们需要结合这些其他模式。”

此外，卡兰德拉承认，安装在盒子上的凝胶尖端并不是完美的形状。如何制造出像人类手指一样灵巧的机器人手指还需要更多的研究。“与人类手指相比，我的手指是弯曲的，可以感知所有方向，这一点是有限的，”他说。“而这个手指只能感知一侧。”

希望实现多感官的“智能”元宇宙

Meta 还一直在增强其 AI 的传感库，以支持元宇宙中可能有用的工具。10 月，Meta AI 推出了一个名为 Ego4D 的新项目，该项目拍摄了数千小时的第一人称视频，这些视频有朝一日可以教人工智能虚拟助手帮助用户记住和回忆事件。

[相关：Alexa 的重大更新，以及亚马逊对环境 AI 的追求]

“我们仍在努力解决的一个大问题是如何让机器像人类和动物一样高效地学习新任务，”LeCun 说。机器很笨拙，而且大多数情况下学习速度非常慢。例如，使用强化学习来训练汽车自动驾驶必须在虚拟环境中进行，因为它必须驾驶数百万小时，引发无数事故，并多次自毁才能学会如何驾驶。“即使这样，它可能也不会那么可靠，”他补充道。

然而，人类只需几天就能学会开车，因为到了青少年时期，我们就对这个世界有了相当好的认识。我们知道重力，也知道汽车的基本物理原理。

LeCun 说：“让机器学习世界模型，预测不同事件，并规划其行为将导致的后果，这是该部门的关键所在。”

同样，这也是人工智能助手需要充实的领域，未来有一天它将能够在虚拟环境中自然地与人类互动。

“例如，增强现实的长期愿景之一是虚拟代理可以存在于你的增强现实眼镜、智能手机或笔记本电脑中，”LeCun 说。“它可以像人类助手一样在日常生活中为你提供帮助，而且该系统必须对世界运作方式有一定程度的理解，有一定的常识，并且足够聪明，不会让人觉得交谈很烦人。从长远来看，这就是所有这些研究的方向。”