为提升AR/VR交互的自然感，Meta为Quest头显加入手势识别技术，希望通过五指的自然输入来代替手柄。这样做不仅能提升AR/VR的沉浸感，对于新用户也更友好。尽管如此，基于光学的手势识别方案通常难以识别手指触碰虚拟物体时，产生的细微压力变化。因此，对准确性要求极高的工业、企业VR培训场景通常会用触觉手套来追踪手势。

实际上，现有的触觉手套方案难以规模化，依然受到成本、耐用性、使用门槛、体积和重量等因素限制。而为了解决这一问题，Meta的AI科研人员与卡内基梅隆大学合作，研发并开源了全新的触觉感知AI“皮肤”ReSkin。据悉，ReSkin的特点是方便替换、低成本、场景通用、耐用，厚度仅2到3毫米。

除了ReSkin的设计方案外，科研人员还公布了相关论文、代码和基础模型，通过提供一系列触觉数据，帮助其他科研人员加速AI算法的训练过程。

Meta表示：触觉是人们感知世界的重要方式，我们可以通过触觉来感知物体的重量、材质（软、硬）、结构等特征。此外，我们也通过触觉来完成穿鞋、做饭等一系列日常活动。而对于AI、机器人来讲，目前在视觉、听觉方面的识别效果比触觉更加成熟。

而市面上用来训练AI的触觉感知数据有限，限制了相关的技术发展。因此Meta面向主要面向科研人员开源ReSkin，目的是帮助科研人员快速、大规模深化AI的触觉感知能力，并收集更丰富的AI触觉感知数据。

纽约大学计算机科学助教Lerrel Pinto表示：机器人学科的一项关键技术瓶颈，就是需要寻找性能稳定的触觉感知方案。现有的传感器不是成本太高，就是分辨率太低，而定制的机器人结构通常比较笨重。而ReSkin将有望解决上述部分问题，比如由于其外形轻薄，容易与抓取式机器手集成。

总体来讲，ReSkin从三大方面解决了上述问题：

• 1）ReSkin基于电磁传感，这意味着信号传输无需通过电线，使用近距离的磁力计即可。此外，ReSkin的结构将内部电路与被动的无源接口分开，因此替换磨损的部分更方便，比普通的柔性传感器效率更高。
• 2）ReSkin并非基于单一传感器，它可以利用多个传感器提供的数据，来提升AI模型的环境测绘功能。因此，科研人员用高度多样性的数据来训练ReSkin的模型，以提升输出数据的效率和通用性。
• 3）经过自我监督式学习，ReSkin的传感器可以根据少量未标记数据，来进行自动微调。因此校正过程更方便。科研人员表示：ReSkin可以根据未标记数据中的相对位置来进行微调，原理是在三个接触点中距离最接近的两点，可能会用于相似的触觉信号。

关于原理

据青亭网了解，ReSkin是一种柔性的触觉传感方案，其采用可变形的弹力材质，其内置磁性颗粒，因此在产生变形时，其向周围发射的电磁信号也会改变。接着，可以用磁力计靠近ReSkin来测量电磁信号变化，并通过算法将数据转化为可用的信息，比如：接触的位置、力度等等。

据称，ReSkin可识别高采样率的三轴触觉信号，可提升机械臂在物体上滑动、扔物体、接物体、拍手等动作的执行效果。

利用近距离电磁传感的优势在于，它可以识别近距离的压感，而且无需传输线。相比之下，基于摄像头的体感传感器通常需要一段最短距离才能识别，很难识别直接接触的体感，而且设备的结构也笨重。而ReSkin则更加通用，可直接覆盖在人或机器人的外面。

ReSkin特点

除了上述优势外，ReSkin还具备通用性、耐用性、低成本等特点。

通用性：ReSkin可以识别并收集丰富的触觉数据，并用来执行多样化的触觉任务，比如：目标分类、机器人本体的触觉感知（proprioception）、机械臂抓取等等。而具备学习式触觉感知功能的AI模型，将可以执行各种类型的任务，即使对灵敏度要求更高的医疗场景，或是对敏捷度要求高的场景，比如：操控小型、柔软或敏感的物体。

此外，ReSkin也可以集成其他传感器，结合多种模式的传感数据，进一步提升AI感知环境的能力。比如，集成视觉、声音和触觉，AI在实验室外的非结构化场景中也可以创建基于物理环境的模型，甚至还可以将额外的多重数据用于自我监督学习。

另外科研人员发现，在开发早期的柔性传感器方案时，人们通常侧重于详细分析传感原理，而很少去研究传感器的长期响应效果，或为非专业用户开发自动校正功能。

目前，大多数触觉传感实验依赖于单一的传感器，更换传感器后便需要重新培训AI模型，造成试验效率低、不实用。考虑到ReSkin在大量实验场景可能需要进行更换，这个方案将省去重新训练模型的步骤。通过自我监督的学习算法来自动校正传感器，意味着在不同的场景可实现通用性，而且数据可兼容不同的传感器和系统。

尽管如此，由于柔性材料在制造过程中自然产生的差异，柔性传感器通常很难达到通用。而柔性材料经过一段时间使用会改变性质，甚至会因为使用方式不同而产生不同的变化。再加上为了确保响应能力，每个传感器均要经过彻底的初始校正流程，而且校正时还需要适应柔性材质的变化。

低成本、耐用：制造一百件的成本为每件6美元以下，产量越高成本还将越低。另一方面，ReSkin也足够耐用，支持5万次以上交互，而且采样率最高可达400Hz，误差仅1毫米，准确率90%。磨损达到一定程度后，也可以轻松更换。

科研人员表示：耐用、低成本的柔性传感器形态，使得ReSkin成为机器手、触觉手套、宠物鞋垫的理想材质。也就是说，配备ReSkin的这些设备，可以帮助科研人员手机触觉数据，用来培训AI模型。而在此之前，采集相关数据很难，甚至不可能。

实际应用场景

为了演示ReSkin的原理，科研人员在这个柔性传感器上放置了一个玻璃杯，并向杯中注水，水越来越多意味着杯子的重量也在增加，与此同时造成ReSkin的磁性传感器变形，压力越大传感器变形越大，电磁信号也越强。

此外，还测试用机器人抓手来抓取蓝莓、葡萄等易变形的物体，并对比使用ReSkin和使用自带力传感器的区别，发现利用ReSkin动态识别触觉后，可有效避免抓力过大造成物体变性能。此外，在替换新的柔性传感器后，ReSkin方案无需额外的调整即可立即使用，效果足够稳定。

同时，ReSkin也可以用于野外测试场景，其紧凑的设计意味着足够便携，因此可以作为小狗的鞋底，追踪小狗在野外行走、跑步、休息时的运动数据。

还可以实时测试细微的触觉力反馈，比如可以将ReSkin集成在手套上，追踪用手包包子的力量变化，效果足够好。

而为了测试ReSkin规模化的效果，科研人员将8个传感模组连接在一起，发现增加传感器可增加追踪区域，可识别手指在传感器任意区域施加的压力。也就是说，未来可以用ReSkin传感器覆盖整个手套，用于提升机器人或体感手套的触觉感知能力。

接下来，除了ReSkin方案Meta还将开源相关的生态系统，包括高分辨率触觉硬件DIGIT、触觉模拟器TACTO、测试基准PyTouch和数据集。这样做的目的是，鼓励其他科研人员以此为基础在不同的场景中训练AI对触觉的感知能力，进一步推动AI技术发展。而纽约大学Pinto的团队也将继续探索ReSkin在实验室机器人上的应用。