康奈尔大学的工程师们开发了一种新的可穿戴设备,可以通过声纳监测一个人的面部表情,并在数字头像上重现它们。将摄像头从方程中移除可以缓解隐私问题。
该团队称该设备为EarIO,由一个带有麦克风的耳机和两侧的扬声器组成,可以连接到任何常规耳机上。每个扬声器向佩戴者的面部发射超出人类听觉范围的声音脉冲,而回声则由麦克风接收。
当用户做出各种面部表情或说话时,回声配置文件将因用户的皮肤移动、拉伸和皱起的方式而发生轻微改变。经过专门训练的算法可以识别这些回声配置文件,并迅速重建用户脸上的表情,将其显示在数字头像上。
“通过人工智能的力量,该算法发现了肌肉运动和面部表情之间的复杂联系,而这些联系是人眼无法识别的,”该研究的共同作者李克说。“我们可以利用这一点来推断出更难捕捉的复杂信息--整个面部的正面。”
研究小组在16名参与者身上测试了EarIO系统,在一个普通的智能手机上运行该算法。果然,该设备能够重建面部表情,其效果与普通相机一样好。风声、说话声或街道噪音等背景噪音并没有干扰其识别面部的能力。
该团队表示,声纳比使用相机有一些优势。声学数据需要的能量和处理能力要少得多,这也意味着设备可以更小、更轻。相机还可以捕捉到大量用户可能不打算分享的其他个人信息,所以声纳可能更私密。
至于可能使用这项技术的目的,它可能是一种在游戏、VR 或虚拟世界的数字化身上复制你的物理面部表情的便捷方式。
该团队表示,仍然需要进一步的工作,以调出其他干扰,如用户转头时,并简化人工智能算法的训练系统。
这项研究发表在《计算机协会互动、移动、可穿戴和泛在技术期刊》上。
合作机构
联系方式