近日，美国专利商标局公布了苹果公司的一项专利申请，再次深入解释了在设置 Apple Vision Pro 以测试眼睛参数时基于视网膜成像和注册系统的视力追踪技术。

苹果在其专利背景中指出，现有的眼动追踪技术会分析从用户眼睛反射并通过图像传感器捕获的闪光。一些头戴式系统可能包括眼动追踪技术，以使用位于设备边缘（例如眼镜框）的光源投射的光线来分析闪光。眼动追踪系统在确定观看者注视深度方面可能缺乏准确性，并且无法实时追踪用户的注视深度。因此，最好能为头戴式系统提供一种方法，精准地确定用户专注于场景的哪个部分（哪个距离或“深度”），以评估头部安装系统的眼睛特征（例如，凝视方向、眼睛方向、识别眼睛的虹膜等）。

基于视网膜成像的视差追踪

苹果专利涵盖了基于视网膜成像确定和追踪眼睛特征（例如，眼睛调节距离或深度）的设备、系统和方法的各种实现。眼睛调节的变化会在视网膜图像中引起两种影响：缩放和散焦。在某些方面，一种方法获取视网膜图像，获得注册图像，并根据模糊（例如，点扩散函数 PSF）和/或几何缩放确定用户相对于注册图像的适应度。

通过确定（提高准确度）用户集中在场景的哪个部分（例如，哪个深度）以及用户的适应程度，可用于改进眼动追踪并增强 XR 体验。

此外，追踪适应性可用于更好地了解用户的实时精确行为，并相应地调整 XR 体验。在某些方面，追踪适应可用于将感知的内容深度（例如，虚拟内容）调整到用户当前适应的深度。

该专利申请的一个创新方面可以体现在以下方法中：在具有处理器的电子设备上，产生从眼睛视网膜反射的光；从图像传感器接收视网膜的一部分图像，该图像对应于从眼睛视网膜散射的光的多个反射、 获得对应于第一适应状态的眼睛表示，该表示代表至少一些视网膜部分，并且基于视网膜部分的图像与眼睛表示的比较来追踪眼睛特征。

在某些方面，眼睛的表示包括视网膜至少部分的映射。

在某些方面，生成视网膜至少部分的映射包括获取用户眼睛的注册图像，同时用户（i）将眼睛容纳到注册深度，和（ii）扫描代表定义视野的凝视角度空间，并基于组合两个或多个眼睛注册图像的至少一部分，生成视网膜至少部分的映射。

在某些方面，根据视网膜部分的图像与眼睛表示进行比较来追踪眼睛特征，包括估计特征的散焦程度。在某些方面，估计特征的散焦程度是基于焦点像素的。

在某些方面，基于视网膜部分的图像与眼睛表示的比较来追踪眼睛特征，包括锐化视网膜部分的图像质量，以及根据锐化视网膜部分图像质量所需的镜头移动确定散焦程度。

苹果专利图 8 是一个示例头戴式设备（HMD/Vision Pro）的框图，该设备集成了其先进的眼动追踪系统；图 2 示出了眼动追踪系统的示例；图 6 是用于追踪眼睛特征的注册过程方法的流程图表示。

关于苹果公司的专利，图 2 展示了眼动追踪系统的示例环境 #200。示例环境的系统使用光源 #210，例如产生红外光的 LED 环（例如，HMD 或 iPad 上的光源 #34）。

此外，眼动追踪系统包括图像传感器 #220（例如，用于观察用户眼睛视网膜上的散射光，以获取视网膜 #47 的图像 #230）。如图所示，采集的图像提供了眼睛血管的视图。

另外，或者在某些实施方案中，所获取的图像可以提供除血管之外的附加信息，例如其它可检测的视网膜特征。在一些实施方案中，如图所示，图像传感器 #220 嵌入在光源 #210（例如，HMD 上的 LED 环）内或与光源 #210 保持一致。

在某些实施方案中，如图 2 所示，光源 #220（例如 LED 等）照亮用户眼睛的视网膜表面，因为用户正在适应他或她的视线（例如视角 α 202a）。然后，图像传感器 #210 在光线从视网膜表面反射时获取基于视网膜的视线追踪图像（例如，图像 #230 的 #235 部分显示了与视角 α #202a 相关的位置视角 α #202b）。

例如，在注册过程中，可以指示用户将其视线聚焦到显示屏远处的某个特定位置（例如，聚焦在距离 1.5 米的位置）。特定位置可以在设备的显示器上。如果用户将设备戴在头上（例如 HMD），则该位置可能会出现在显示器上非常远的地方（例如，凝视一个小点，以便目光可能望向无限远）。然后，来自光源的光波从眼睛的视网膜反射出来，并由检测器（例如图像传感器）检测以获取视网膜表面的图像数据。图像传感器的晶状体可以聚焦到无限远，使得当与眼睛的光学器件结合使用时，视网膜表面被清晰地成像到图像传感器上（例如，当眼睛聚焦到无限远时，这是放松的健康眼睛的默认情况）。

苹果专利图 3 展示了一个眼动追踪系统的示例用户适应光学效应；图 4 展示了追踪眼球特征的系统流程图。