资讯

今天，美国专利商标局正式授予苹果公司一项与听觉化领域有关的专利。更特别的是，它涉及到虚拟3D环境的实时听觉化技术。AR/VR环境的大多数创新都是以游戏的虚拟3D环境为中心，而苹果公司的专利涵盖了虚拟环境的 "听觉化"，描述了声音在外壳内传播的模拟，其中几何声学（GA）的方法可用于模仿合成声波的某些现实行为带来的听觉刺激。从这项专利中可以看出，苹果正在努力将空间音频推进到新的层面。

苹果公司在其专利背景中指出，在过去的几十年里，虚拟现实（VR）和增强现实（AR）技术已经成为各种应用的有力工具，例如在科学、设计、医学、游戏和工程领域，以及更有远见的应用，如创建旨在模拟真实世界环境外观和声音的“虚拟空间”。

然而，近年来的大部分创新都集中在创建虚拟视觉效果上（例如，VR头显和游戏系统等）。为了增加这种虚拟环境的沉浸感，使之尽可能以更真实的效果模拟，重要的是要考虑多种感官刺激，而不仅仅是模拟视觉刺激，例如，模拟声音刺激，甚至嗅觉和/或触摸刺激。

与可视化类似，虚拟环境的所谓 "听觉化 "描述了声音在围墙内传播的模拟，其中几何声学（GA）的方法可用于模仿合成声波的某些现实行为带来的听觉刺激。

在这种模拟中，可以生成空间音频信号，其考虑到了三维环境中的各种声波反射模型，以及声波混响模型。这种空间音频可以例如使用数字音频工作站(DAW)软件等生成，并可用于各种应用，如房间规划和/或音乐及建筑声音模拟。

目前的空间音频合成软件通常可以管理实时模拟移动接收器周围的移动声源的计算负荷，然而，这些模拟往往是基于静态混响的。在现实世界的场景中，声波和反射性/阻碍性表面之间存在着显著的相互作用，例如，在进入或离开房间的时候会出现变化。此外，当用户（或虚拟用户）听着合成的音频信号浏览真实世界（或虚拟）环境时，房间里的各种门户（如门、窗、屋顶）可能动态地打开和/或关闭。房间的建筑或场景构成中的每一个变化都会对房间里的声波在任何给定瞬间的实时模拟方式产生重大影响。

这样一来，就需要改进虚拟三维环境的实时物理精确听觉化技术。这包括其中任何（或全部）的环境：声源、声音接收器和虚拟环境中的几何/表面可能在声源被模拟时产生的动态变化。这种技术也可应用于增强现实（AR）场景，例如，将额外的声音信息添加到听众的现实环境中，以准确模拟听众现实环境中不存在的 "虚拟"声源对象。

苹果公司的专利涵盖了可用于确定更准确的，例如"声学有效"房间容积的技术。特别是对于某些三维房间模型，很难确定房间容积。这对于迂回的空间、孔洞（例如，打开的窗户）甚至是 "半开放 "的空间（例如，体育场）来说尤其如此。

许多声学方程或算法需要对房间（例如环境）的体积进行准确的估计。这里披露的具有声学效果的房间容积估计技术可以处理开放和半开放的空间、开放的窗户、有无法到达的角落的迂回空间，甚至可以检测出在非常小的开口后面应该考虑的容积量。

因此，本领域已经使用的相同的声学方程或算法可以通过使用本文所述的声学有效房间容积估计技术（相对于简单的三维模型容积计算）而得到显著的改善。使用这项技术将使这些声学方程更加准确，对错误更加稳健，例如，由于有缺陷或未定义的三维房间/环境模型。

根据其他实施方案，可以利用技术来执行优化的声射线追踪。在图形/光学领域已经存在快速和优化的射线追踪算法，但目前的声学适应要么缺乏性能，要么缺乏物理精度。因此，通过考虑声学波的传播和人类听众的心理声学特征，所述的改进射线追踪过程能够适应于声音传播的问题。改进后的射线追踪器提高了对声学目的的适用性，同时也提升了性能。

根据其他的实施方案，可以利用技术将模拟的射线追踪结果转化为自然声的混响，以更准确地说明物理规律。

现有技术中的许多声学模拟算法只是将反弹射线的路径直接转化为模拟的房间反射。然而在这种模拟中，一条射线不能代表一个反射。相反，射线的数量在模拟开始时被任意设定，并随着时间的推移保持不变，而房间反射的数量则由房间的几何形状（而不是射线的数量）定义，并随着时间的推移呈指数增长。

相比之下，所述的改进技术定义了一种转换，用于在射线追踪过程中得出空间-时间-频率能量概率密度函数（PDF），更准确地说明物理定律，然后将该数据转换为空间脉冲响应（SIR）函数，然后可用于现实的3D音频再现，例如，通过耳机或扬声器。

图源：patentlyapple

苹果公司的专利图1说明了一个示范性的声学房间模型的相应规范；图6是一个虚拟3D环境的房间声学的示范性可视化。

图源：patentlyapple

苹果公司的专利图9提出了一个流程图，说明了执行改进的空间脉冲响应（SIR）生成算法的另一种方法。

欲了解更多细节，请查阅苹果公司的授权专利11,170,139。