近年来，Facebook一直在探索逼真的3D虚拟形象技术，已经可以通过容积摄影技术和实时渲染来模拟写实的人脸面部表情。不过，如同市面上许多方案，虚拟形象的头发、毛发等细节模拟的并不准确，不够细致。

在VR社交、会议等场景中，逼真呈现参与者的动态表情和外观长相足够重要，因为你可以在说话的同时配合表情来表达自己，而逼真的外观则更贴近你的形象，更能代表你。与此同时，如果毛发等细节能看起来足够逼真，将有助于增强VR社交的沉浸感，提升体验。

除此之外，在虚拟展示场景中，虚拟形象的细节也足够重要。比如VR时装造型展示，或是AR/VR假发/发型试用等等，甚至在VR演出场景中，毛发的细节变化也可以提升表演的质量和内容。总之，逼真的细节为更多的应用场景带来可能。

为了进一步完善虚拟形象技术，Facebook Reality Labs科研人员近期提出了一种利用逆向渲染框架来重建高保真3D毛发结构的渲染方案，特点是可模拟逼真的反光效果，以及准确且细密的毛流感，即使采用低成本摄像头方案，也能捕捉和模拟逼真的毛发。该方案结合从多个角度和不同光线环境中拍摄的图像，来生成逼真的毛发效果。

整个方案由两个关键部分组成，一个是根据多视角图像数据生成准确毛发结构的算法，可以根据每颗像素的亮度来渲染完整毛发模型的光影效果，尽可能与真实毛发外观匹配。另外一个，是根据多视角图像数据，通过简化的BSDF模型（双向散射分布函数）来预测毛发反光特性和外观，接着再在3D毛流模型上叠加毛发表面的粗糙纹理，并渲染每一缕头发的色彩。

经过验证，该方案可为虚拟形象渲染和模拟逼真的毛发效果。

Facebook表示：随着AR/VR技术发展，逼真的虚拟形象技术也变得越来越关键，而这将需要使用到计算机视觉和图形渲染技术。在计算机图形学领域，逆向渲染通常指的是寻找并匹配一种更接近真实图像的渲染环境。这种渲染技术应用广泛，它的好处是可以帮助3D艺术家减轻建模高保真虚拟形象的复杂工作。

在人像逆向渲染领域，已经有一些有效的方案，可以将从多视角采集光度数据，并合成足够细致的结构和纹理，模拟皮肤的高光和次表面散射效果。目前，基于逆向渲染的面部和身体表面渲染效果已经足够逼真，不过毛发效果依然有待优化，尤其是在渲染围观细节以及大量发丝的部分。

因此，Facebook科研人员提出用一种基于逆向渲染的框架，来重建细致的毛发结构和反光效果，以提升虚拟人像的逼真度。而硬件方面，需要在单一的NVIDIA Quadro P6000 GPU上运行，将合成的头发图像通过逆向渲染输出3D模型，大约需要30分钟。实验过程在虚拟数据和模拟环境中进行，采用了24个虚拟摄像头和36个点状光源。

具体来讲，首先重建毛发结构，细节至一缕头发水平。与传统3D建模技术相比，Facebook的逆向渲染方案利用3D技术重建一缕缕头发，而不是重建3D表面纹理。这一过程中最大的挑战是还原每个角度能捕捉的每颗像素，于是科研人员采用了一种图形式的多角度立体拍摄方案，特点是仅需捕捉更少的角度，就能重建更多毛发细节。此外，配合lightcode加密方式，解决了毛发像素匹配问题和视角有限的问题。

接着，该方案会继续预测毛发的反光性，考虑到头发整体外观是多角度光线在每根发丝上反光，而综合在一起的效果（每根发丝直径仅80微米），渲染完整的毛发反光度并不容易。于是，通过稀疏采样的数据和BSDF模型，来预测头发在多个角度的反光效果，以及毛发色彩的长度、粗糙度，以及高管的宽度。

经过对比，Facebook研发的逆向渲染方案可重建更多毛发细节，而且即使是翘起的少量毛发也能逼真还原，亮度和色彩接近原始数据。不过，还原卷发等不规则发型比较困难。

此外实验结果显示，该方案可还原的细节几乎不受发色影响。对于色彩比较饱和的发色，渲染的毛发纹理不如原数据粗糙，也就是说缺少原始的自然感。而且，长发的渲染效果不如短发。

总之，考虑到此前Facebook Reality Labs的Codec Avatar方案自2019年公布以来，已经经过多次迭代和完善，因此相信这项毛发渲染技术未来也将继续提升准确性和逼真感等细节，进一步完善AR/VR中的虚拟形象体验。