近日，美国专利商标局公布了苹果公司的一项专利申请，该专利涉及使用未来的 Apple Pencil 与 MR 头显、iPad 或 Mac 显示器来对用户界面进行互动和操作，而这款未来的 Apple Pencil 可用作 VR 游戏控制器，来控制虚拟代理（如游戏角色）或管理与实际物体的互动。同时该专利还涵盖了通过使用注视控制来管理物体的移动。

通过苹果的专利图 1 和 6B 中可知，在用户手持 Apple Pencil 的情况下，Apple Pencil 被用作游戏控制器以移动物体的位置或控制游戏角色，苹果将其称为“虚拟代理#606”。Apple Pencil 的功能将包括涉及在设备的触摸表面上敲击、滚动、旋转、轻弹和刷动的输入。

Apple Pencil/控制设备#130 包括一个或一组传感器，根据与触摸敏感表面#175 的触觉和/或触觉接触，检测用户的输入。在一些实施方案中，Apple Pencil/控制设备包括多种触摸传感技术中的任何一种，包括但不限于电容式、电阻式、红外线和表面声波技术，以及其他接近传感器阵列或其他用于确定与触摸敏感表面的一个或多个接触点的元件。

在该专利的另一半中，苹果详细介绍了使用眼睛/注视追踪作为在 XR 环境或游戏中移动物体的手段。

苹果的专利图 5A 是一个示例内容交付架构的第一部分框图，而图 5C 是该示例内容交付架构的第二部分框图，图 5B 则说明了示例数据结构。