从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据收集，可用于VR的那种

gnv

原标题：从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据收集，可用于VR的那种
鱼羊发自凹非寺
量子位 | 大众号 QbitAI
搞定这样的人脸3D建模需求几步？

在数据收集的阶段，谜底是：一部手机 + 3.5分钟。
没错，仅凭这3.5分钟的数据，就足以生成 高保真、 可驱动的实在3D人脸头像。
这项钻研来自Meta Reality Labs——就是扎克伯格元宇宙方案里的阿谁中心部门。论文曾经被SIGGRAPH 2022接纳。
作者提到，这一办法合用于VR运用。
也就是说，在VR的世界里，当前你可能就不用顶着一张卡通脸退场了。

而是能够便利地与胖友们“真身”相见。

办法原理
完成这一后果的办法框架如下图所示：

详细而言，分为三个部份。
首先，是要用大型多视角人脸数据集训练一个超网络，这个超网络能够经过神经网络解码器发生专属于集体的头像参数。
数据集中的人脸由多视角捕获零碎收集，包罗255位不同春秋、性别和种族参预者的脸部图象数据。

△左为图象捕捉装备；右为收集到的人脸
这个捕捉3D人脸的巨型安装是Meta在2019年研发的，其中配备171个高分辨率摄像头，每秒能记载180GB数据。收集时间在1个小时摆布。
值得一提的是，在这个超网络中，解码器的根本组成模块是带有bias map的卷积上采样层。
这些bias map会被用来生成体积单元，进而经过射线追踪来渲染头像。
此外，该解码器构造可以将眼帘与其余脸部流动区别开，这在VR运用中象征着可以更间接天时用眼动跟踪零碎。

其次，是轻量级人脸心情捕获。
在这项钻研中，收集人脸只需求用到一部带有深度摄像头的智能手机。
试验中，钻研人员采取的是iPhone 十二。
收集进程就像这样：

收集到的数据要进行如下处置：
获得每一个帧人脸图象中的几何外形和纹理；对输出的RGB图象进行人脸标记检测和人像联系；对模板网格进行拟合和变形，以婚配检测到的人脸标记物、联系轮廓和深度图；对每一个帧图象的纹理进行解包，然后汇总失掉残缺的人脸纹理。

在进一步完美模型的过程当中，还需求收集65种特定的心情：

最初，该办法输入的3D人脸头像不只能与用户外观高度婚配，经过全局心情空间，还能对其进行进一步的驱动、管制。

钻研人员表现，全部收集进程大略要破费 3.5分钟。
不外需求阐明的是，建模的进程不是实时的，数据处置还要破费数小时的时间。
试验后果
说了这么多，成果如何，咱们仍是来看试验后果。
与Pinscreen提出的“一张照片构建3D数字化身” （CVPR 2021）的办法比拟，该办法能生成更具实在感的人脸模型。

而与海德堡大学、慕尼黑工业大学、马普所等钻研机构在 Neural Head Avatars from Monocular RGB Videos一文中提出的办法比拟，该办法能生成保真度更高的后果。

不外，作者也指出了该办法的局限性：hold不太住长发和眼镜，容易发生伪影。此外，该办法关于光照前提也有一定要求。

参考链接：
[1]论文：http://drive.古歌.com/file/d/1i4NJKAggS82wqMamCJ1OHRGgViuyoY6R/view
[2]Demo：http://www.youtube.com/watch?v=t7_TMD7v0Xs
— 完—
「量子位·视点」直播报名
甚么是“智能决策”？智能决策的症结技术是甚么？它又将如何打造引领企业二次增长的“智能抓手”？
7月7日周四，参预直播，为你解答～
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见~

华人澳洲中文论坛

热图推荐

从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据收集，可用于VR的那种

发表回复

gnv
关注TA

图文推荐

华人澳洲中文论坛

热图推荐

从1小时到3.5分钟，Meta新算法一部手机搞定3D人脸数据收集，可用于VR的那种

发表回复

gnv 关注TA

图文推荐

gnv
关注TA