近期，美国专利商标局发布了一项与AR/VR头显相关专利，专利中指出了一种基于手势识别和眼球追踪的交互方案。据悉，该方案可通过AR/VR在用户的手臂或手掌上叠加支持交互的虚拟菜单，还可以配合眼球输入，或是识别手势运动的速度、时长、方向、移动幅度等特征。

苹果在专利中指出，现有的AR/VR交互方式包括光学手柄、摇杆、触控板、触屏等等，可用于操控虚拟图像、视频、文字、标识等内容。不过，现有的交互方式在操控AR/VR内容上比较繁琐、效率低且有局限性，比如可能会存在以下问题：缺少反馈、输入/操作慢且复杂、操控虚拟物体时存在误差、存在学习门槛、破坏AR/VR沉浸感、耗电等等。

为了解决上述问题，苹果在专利中描述了一种通过眼球追踪和手势识别来实现的自然交互方案。也就是说，你可以在AR/VR中用手来控制3D场景和虚拟物体，也可以用注视点来输入，或是用微手势来执行指令、单手操作位于手臂上的虚拟菜单等等。

细节方面，该方案可识别手指与手指轻触、连续轻触、手指之间滑动、弹指等细微的手势。同时，还可识别完整的张开手势或是握拳手势、推拉手势、指方向等等。此外，还可以通过注视点来移动光标/选定目标，然后用手势来确认选项。