从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据收集，可用于VR的那种

gnv

原标题：从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据收集，可用于VR的那种  
鱼羊 发自 凹非寺   
量子位 | 大众号 QbitAI   
搞定这样的人脸3D建模需求几步？  


在数据收集的阶段，谜底是：一部手机 + 3.5分钟。  
没错，仅凭这3.5分钟的数据，就足以生成 高保真、 可驱动的实在3D人脸头像。   
这项钻研来自Meta Reality Labs——就是扎克伯格元宇宙方案里的阿谁中心部门。论文曾经被SIGGRAPH 2022接纳。  
作者提到，这一办法合用于VR运用。  
也就是说，在VR的世界里，当前你可能就不用顶着一张卡通脸退场了。  


而是能够便利地与胖友们“真身”相见。  


办法原理   
完成这一后果的办法框架如下图所示：  


详细而言，分为三个部份。  
首先，是要用大型多视角人脸数据集训练一个超网络，这个超网络能够经过神经网络解码器发生专属于集体的头像参数。   
数据集中的人脸由多视角捕获零碎收集，包罗255位不同春秋、性别和种族参预者的脸部图象数据。  


△左为图象捕捉装备；右为收集到的人脸   
这个捕捉3D人脸的巨型安装是Meta在2019年研发的，其中配备171个高分辨率摄像头，每秒能记载180GB数据。收集时间在1个小时摆布。
    值得一提的是，在这个超网络中，解码器的根本组成模块是带有bias map的卷积上采样层。  
这些bias map会被用来生成体积单元，进而经过射线追踪来渲染头像。  
此外，该解码器构造可以将眼帘与其余脸部流动区别开，这在VR运用中象征着可以更间接天时用眼动跟踪零碎。  


其次，是轻量级人脸心情捕获。   
在这项钻研中，收集人脸只需求用到一部带有深度摄像头的智能手机。  
试验中，钻研人员采取的是iPhone 十二。  
收集进程就像这样：  


收集到的数据要进行如下处置：  
获得每一个帧人脸图象中的几何外形和纹理；  对输出的RGB图象进行人脸标记检测和人像联系；  对模板网格进行拟合和变形，以婚配检测到的人脸标记物、联系轮廓和深度图；  对每一个帧图象的纹理进行解包，然后汇总失掉残缺的人脸纹理。   


在进一步完美模型的过程当中，还需求收集65种特定的心情：  


最初，该办法输入的3D人脸头像不只能与用户外观高度婚配，经过全局心情空间，还能对其进行进一步的驱动、管制。  


钻研人员表现，全部收集进程大略要破费 3.5分钟。   
不外需求阐明的是，建模的进程不是实时的，数据处置还要破费数小时的时间。  
试验后果   
说了这么多，成果如何，咱们仍是来看试验后果。  
与Pinscreen提出的“一张照片构建3D数字化身” （CVPR 2021） 的办法比拟，该办法能生成更具实在感的人脸模型。   


而与海德堡大学、慕尼黑工业大学、马普所等钻研机构在 Neural Head Avatars from Monocular RGB Videos一文中提出的办法比拟，该办法能生成保真度更高的后果。   


不外，作者也指出了该办法的局限性：hold不太住长发和眼镜，容易发生伪影。此外，该办法关于光照前提也有一定要求。   


参考链接：   
[1]论文：http://drive.古歌.com/file/d/1i4NJKAggS82wqMamCJ1OHRGgViuyoY6R/view   
[2]Demo：http://www.youtube.com/watch?v=t7_TMD7v0Xs   
— 完—   
「量子位·视点」直播报名  
甚么是“智能决策”？智能决策的症结技术是甚么？它又将如何打造引领企业二次增长的“智能抓手”？  
7月7日周四，参预直播，为你解答～  
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见~