自 Facebook 更名为 Meta 后，全球范围内关于元宇宙（metaverse）的讨论，也让动作跟踪成为近期的科技热点之一。对于虚拟现实（VR）和增强现实（AR）来说，精确的动作跟踪至关重要。

近日，上海交通大学电子信息与电气工程学院助理教授陈东尧，携团队在网络系统领域顶级会议 ACM MobiCom 2021 上发表了一篇论文，有望为解决动作跟踪提供新思路。论文由上海交大和密西根大学安娜堡分校合作完成，交大为第一完成单位。

图 | 陈东尧，他和团队研发出一种完全不受约束的人体手部跟踪系统 MagX

动图 | AR 手部跟踪展示（来源：陈东尧）

论文题为《MagX: 基于永磁铁的可穿戴、无束缚的手部跟踪技术》（MagX: Wearable, Untethered Hands Tracking with Passive Magnets）[1]。据悉，该会议论文录取率一般在 15% 左右，2021 年仅在全球录取 59 篇。

图 | 相关论文（来源：ACM MobiCom 2021）

对于该论文，审稿人评价称，MagX 展示出令人满意的实用潜力与应用前景。同时，审稿人也特别强调了 MagX 系统对于相关研究的启发意义，特别是基于磁场感知的动作识别。下图便是 MagX 的跟踪性能。

动图 | 脸部触摸跟踪展示（来源：陈东尧）

在视野受限下实现高精度手部动作跟踪

人手是全身最灵活、最自由的部位之一，它让我们能和周围环境、或机器进行自然交互。在 VR、AR、以及元宇宙（Metaverse）场景中，只有具备精确的手部追踪技术，才能改善交互沉浸感。

据悉，该研究希望解决手部动作跟踪这一问题。相比常见手势的识别，比如胜利手势和比心手势等，手部动作跟踪需要较强的实时性和精确度。

在理想情况下，要以 30Hz 的采样率、以及毫米级精确度，来跟踪手指在三维空间中的位置，这导致手部动作跟踪的难度较高。

如能解决这一问题，也可实现许多关键应用，例如基于高精度手部动作跟踪的人机交互、将手部动作虚拟化之后并应用于元宇宙场景、检测经常用手摸脸这一不卫生行为等。

图 | MagX 研究团队的部分成员（来源：陈东尧）

在解决思路上，鉴于近些年机器视觉和深度学习的诸多进展，大家往往会想到通过摄像头来采集图像，再配合机器学习算法的解决方案。

但这一传统路径并不能满足该研究的需求，最主要的原因就是视线受限问题，如果摄像头根本看不到这一物品，那么后续数据处理也无从谈起。

事实上，这一问题在生活中也处处可见：例如在 VR 游戏中手部经常被身体所遮挡；以及黑夜中光线不足的情景。而这也是目前摄像头+机器视觉方案在应用中最主要的痛点之一。

（来源：ACM MobiCom 2021）

通过采用磁场数据，陈东尧和团队提出的 MagX 解决方案，得以攻克上述难题，在视野受限的情况下实现了高精度手部动作跟踪。用户只需把传感器设备佩戴在手腕，并在需要跟踪的手指部位佩戴小型磁珠，即可让 MagX 实现高精度的手部动作跟踪。

能提供24小时完全不受约束的操作

确定 MagX 的初衷后，该团队立刻开始头脑风暴，并来确定所需的传感器。除去图像这一物理信息之外还有几种备选：比如惯性传感器所提供的加速度和角速度、基于声音信号反射的感知技术等。

但由于零点漂移或遮挡等问题，他们放弃了这些方案。而这些前期调研也引导他们选择了磁场数据，原因是磁场能很好地解决视线遮挡问题。

（来源：ACM MobiCom 2021）

接下来，该团队又探索了具体的磁场跟踪方案，由于该研究对磁珠跟踪性能的准确度以及实效性均有着较高的要求。为此，该团队先是通过仿真方式，来对传感器进行优化选型，这一步骤也帮他们省去了重复进行 PCB 打板的耗时流程。

有了比较稳定的传感器构型，还需要一种可定量方式来精确采集真实值，以便科学地评估系统性能。此前已有的跟踪系统评估方案，通常采用相当昂贵的动作捕捉平台。他们则希望找到更低成本的方案，为此采用了红外动作采集设备 LeapMotion 来跟踪真实位置。

相比于动辄数万的动作捕捉平台，这种真实值采集设备仅需 1500 元左右的 LeapMotion+3D 打印的标定杆，可大大节省研究成本。

随后，陈东尧和团队对 MagX 进行一系列测试，结果显示传感器阵列可对两块磁铁进行毫米级精度的 5 自由度独立跟踪。

例如，在距离磁铁距传感器的 11 厘米处，6cmX6cm 的传感器阵列所对应的位置误差和方向误差，分别为 0.76cm 和 0.11rad；在 21cm 处所对应的上述误差分别为 2.65 cm 和 0.41 rad。

（来源：ACM MobiCom 2021）

另据悉，MagX 还能使用更大的传感器阵列来实现远距离跟踪。以位于 27cm 处的两块磁铁为例，9.8cm X 9.8cm 的传感器阵列可实现 2.62 cm 和 0.55rad 的跟踪性能。这种高鲁棒性的跟踪性能，也可让磁跟踪应用于各种场景。

而且，MagX 还可在本地执行所有计算，进行实时跟踪时只需 0.38W 功耗，这意味着基于常见智能手表大小的电池，MagX 可提供 24 小时完全不受约束的操作。

具体在使用时，要把传感器阵列和磁体，分别放在胸前和手腕上。为方便寻找指尖位置，磁铁北极应指向指尖的自然朝向。通过这种方式，食指指尖的位置就可通过磁体位置、磁体方向以及放松手掌的长度来近似获取。

潜在应用：可精准跟踪脸部动作

在应用上，最直接的潜在应用，是检测摸脸这一常见行为。很多人对于这一行为习以为常、以至于漠不关心，但是这种潜意识行为却会带来危害。

例如，手部动作通常与精神压力相关，比如无意识地抓头发、摸嘴唇、咬指甲等，没有洗手就去摸脸也会影响身体健康。每个人平均每小时都会不自觉地摸脸 23 次，这会导致细菌和病毒通过粘膜进入身体从而导致葡萄球菌和其它严重的呼吸道感染比如新型冠状肺炎。

因此，在疫情持续的当下，检测并减少摸脸行为就显得格外重要。

如下则展示了脸部动作跟踪的精度，其中 LC、LE、M、N、RC、RE 和 No 来分别表示左脸颊、左眼、嘴、鼻、右脸颊、右眼和无触碰。

图 | MagX 的精度性能，通过混淆矩阵（confusion matrix）来表示（来源：ACM MobiCom 20

MagX 还可以用于其它多种应用场景，来弥补传统的“视觉+机器学习”解决方案的显著不足。例如增强现实（AR）应用中，使用者可以佩戴 MagX 在黑夜或视线受遮挡的情况下依然实现精准的手部动作跟踪。

“好的学生不是现成的”

陈东尧表示，这是他回国以来第一次指导学生，团队成员包括两位本科生和一位硕士生。从 2020 年 11 月始，他和学生一起进行头脑风暴、公式推演、系统 debug 等环节。

修改论文时，有几次他想中间休息下，但总有学生说：“我们再继续改几段吧。”虽然只是简单的一句话，却让他感受到学生在科研起步时可贵的动力和专业精神。

记得临毕业时，陈东尧的导师曾叮嘱他对学生要耐心辅导，并告诉他“Talents does not grow on trees (好学生们不是现成的)”。如今他已经为人师，对此也是深以为然。

在攻关系统的设计难点时，团队会一起在白板前梳理思路、推导公式。设计板子时也会明确分工：比如设计 PCB、焊板子、修器件等。有那么几次，旁人甚至很难分辨出谁是导师谁是学生。

当系统调通时，他感觉就像是当年第一次运行 helloworld.cpp。比如，当下图的板子从 Mark 0 代（当时还是面包板）迭代到 Mark n 代时，他还跟学生们开玩笑说：“我们就像钢铁侠一样一代又一代地迭代我们的战衣。”

图 | MagX 系统演化流程（来源：陈东尧）

据介绍，陈东尧出生于河南郑州市，于 2013 年毕业于上海交通大学自动化系，之后前往美国留学。他先是在密西根大学安娜堡分校获得电子科学硕士学位，后续在该校计算机系攻读博士学位，期间师从 IEEE、ACM Fellow Kang G. Shin 教授，研究方向为移动感知以及物联网系统和安全。

博士期间，他和导师一同进行了产业化尝试，这段经历也给他指明了科学研究要与现实生活紧密结合的努力方向。2020 年博士毕业后，他回到母校上海交通大学工作，现就职于电子信息与电气工程学院。

谈及回国原因，陈东尧提到了交大校园内随处可见的“饮水思源”校训。这句话连同一代又一代交大人以身作则的努力，润物无声般影响着交大学子。他表示：“希望能通过自己的努力，在祖国的土地上做些微小的贡献。”