前沿 | 苹果专利为VR/MR通信会话提出Avatar空间模式
远程会话技术正在不断发展。已经发布了Vision Pro的苹果认为,我们需要一种能够在XR环境中提供可用表示的改进技术。
所以在名为“Avatar spatial modes”的专利申请中,这家公司提出了一种所谓的Avatar空间模式,以由本地用户确定的方式呈现在多用户通信会话中活动的其他用户的表示。
在一个实施例中,设备可以以由本地用户确定的方式呈现多用户通信会话中的其他用户的表示,亦即Avatar空间模式。Avatar空间模式主要包括房间规模模式和静止模式。
其中,房间规模模式意味着远程用户的Avatar可以逼真地映射远程用户的所有动作,从而提供空间真实感;静止模式则以静止方式表示用户,例如头像贴图。静止模式可以减轻设备负载。
简单来说,苹果希望允许XR兼容设备呈现远程用户的Avatar,而本地用户可以自由选择其中一种Avatar空间模式来进行远程通信,包括提供完整空间真实感的房间规模模式和减轻设备负载的静止模式。
在图1中,表示模块170可以管理多用户通信会话的表示的表示,并提供用于表示多用户通信会话的多个显示首选项。多用户通信会话的表示可以包括会话的各种组件的可视化表示。
作为示例,多用户通信会话的表示可以包括应用程序的可视化表示、会话中其他用户的表示、共享虚拟对象的表示等。
表示模块170可以管理多用户通信会话的表示。在一个或多个实施例中,演示模块170可以提供所述表示的房间规模版本。在房间规模模式中,会话的部分或全部组件在与会话表示一致的配置中呈现。
例如,在多用户通信会话的本地表示中,本地用户和会话组件之间的空间关系将与呈现给远程用户的本地用户表示和虚拟对象表示相一致,从而在用户之间提供“空间真实感”。
表示模块170可以追踪交互中涉及的局部空间关系,以允许其他设备重新定位参与者的动作以维持动作的情景上下文。交互可以包括注视方向、手势、对组件的操作等等。
在一个实施例中,表示模块170可以为本地用户提供在不同呈现模式之间进行选择的界面,例如静止模式或房间规模模式。
在图2中,操作环境240包括第一物理环境,而操作环境250包括第二物理环境。
如图2所示,第一环境240包括利用第一电子设备200的第一用户220,第二环境250包括利用第二电子设备210的第二用户232。在一个实施例中,第一电子设备200和第二电子设备210包括手持设备和可穿戴设备等。
第一电子设备200和第二电子设备210可以参与XR环境中的公共多用户通信会话。尽管电子设备200和电子设备210可以参与一个公共多用户通信会话,但XR环境在每个设备的呈现方式可以不同。
电子设备200的显示器242可以显示与用户232对应的Avartar 226。Avatar 226可以描述相应用户232的实时动作,包括移动、更新位置和/或与多用户通信会话XR环境中的各种物理组件和/或虚拟组件的交互。
在一个实施例中,Avatar可以或可以不模仿用户的物理特征,并且可以或可以不模仿用户的面部表情。
图3描述了用于多用户通信会话的替代表示模式,操作环境240包括第一物理环境,而操作环境250包括第二物理环境。
如图3所示,第一环境240包括利用第一电子设备300的第一用户220,第二环境250包括利用第二电子设备310的第二用户232。第一电子设备300和第二电子设备310包括手持设备和可穿戴设备等。
与图2不同,电子设备300和电子设备310可以使用不同的显示模式。电子设备300的显示器342可以包括以静止方式表示用户232,例如头像贴图326。
头像贴图326依然可以包括用户的虚拟表示,但呈现在固定位置,或在用户的会话视图内。可以根据预定设置、用户输入或用户偏好将头像贴图326放置在多用户通信会话表示中的特定位置。
头像贴图326可以不模仿用户的物理特征,并且可以不模仿用户的面部表情。当然,头像贴图可以模仿用户的面部表情,但不改变在显示器上和/或在多用户通信会话内的位置。
对于图2和图3,可以使得Avatar的注意力方向重定目标以匹配对应于远程用户的意图。图4描述了用于重新定位远程用户表示的注意方向的技术流程图。
在405,XR模块165启动与远程设备402的多用户通信会话。根据一个或多个实施例,多用户通信会话可以包括扩展现实环境,其中共享组件可以由在多用户通信会话中活动的多个设备呈现和利用。
在410,表示模块170显示多用户通信会话的组件的第一表示和使用远程设备402的远程用户的表示。例如,组件可以是多用户通信会话中的虚拟对象,对会话中活动的用户可见。
在415,表示模块170确定远程用户的表示与虚拟对象之间的第一空间关系。在一个或多个实施例中,本地设备400上的多用户通信会话的第一表示可以与第一坐标系统相关联。第一空间关系可以在第一坐标系中提供,并且可以指示远程用户的表示与会话的第一表示内的组件之间的关系。
同时,进程可以同样发生在远程设备402。
在425,远程设备与本地设备400发起多用户通信会话。因此,本地设备400和远程设备402可以在相同的多用户通信会话中并发活动。
在430,远程设备402显示所述组件的第二表示。即,远程设备402将向远程用户呈现特定于远程设备402的多用户通信会话的表示。例如,由远程设备402呈现的多用户通信会话的表示可以从使用远程设备402的远程用户的角度呈现。
在435,表示模块170确定本地用户和虚拟对象之间的第二空间关系。远程设备402可以与第二坐标系统相关联。因此,可以在第二坐标系中确定第二空间关系。
在440,第二空间关系传送到本地设备400。空间关系可以指示远程设备的用户将注意力指向的方向。
返回到本地设备400,在420,本地设备400获得从远程设备402接收到的第二空间关系。
流程图继续445,其中本地设备400确定第一空间关系与第二空间关系之间的转换。根据一个或多个实施例,转换可以考虑到本地设备400和远程设备402的不同坐标系。
在450,表示模块170根据所确定的转换更新远程用户表示的表示。例如,如果在远程设备402上,用户正注视着在远程用户左侧出现的虚拟对象,则表示模块170将多用户通信会话的本地表示中远程用户表示的凝视重新定位为注视虚拟对象。
在一个或多个实施例中,远程用户与多用户通信会话中的虚拟对象或其他组件之间的关系可以根据确定远程用户正在将注意力引导到多用户通信会话的组件来确定,如图5所示。
在505,表示模块170表示具有多个组件的多用户通信会话的表示。
在510,确定满足注意标准。注意标准可以包括在预定的时间内确定朝向多用户通信会话的组件的注视方向。
在515,识别一组候选组件,其可包括多用户通信会话的组件,远程用户基于对所述注意标准得到满足的确定潜在地将注意引向该多用户通信会话。例如,用户的注视或姿态可以指向远程设备402所呈现的多用户通信会话表示中的区域。区域内的会话组件可以标识为候选组件。
在520,确定每个候选组件的置信度,对应于用户的注意力引导到相应候选组件的可能性。在一个或多个实施例中,可以使用所识别的候选组件的子集。置信值可以通过多种方式确定。例如,可以根据注视信息确定置信度值,用户对多用户通信会话的组件的操作或修改可以是用户注意的主题的强烈指示。所述置信度值可以作为数值或候选分量之间的相对值提供。
在525,表示模块170根据置信度值确定将注意力定向到特定组件。例如,候选组件的特定组件可以基于高的或相对高的置信度值来选择。
相关专利:Apple Patent | Avatar spatial modes
名为“Avatar spatial modes”的苹果专利申请最初在2023年3月提交,并在日前由美国专利商标局公布。