只需2张照片就可以2D变3D，这个AI能本人脑补烛炬吹灭进程，一作二作均为华人 | CVPR 2022

kingjone

原标题：只需2张照片就可以2D变3D，这个AI能本人脑补烛炬吹灭进程，一作二作均为华人 | CVPR 2022
明敏发自凹非寺
量子位 | 大众号 QbitAI
2张废片啪地一合！
错过的精彩瞬间立刻重现，还能从2D升到3D成果。
看，小男孩可恶的愁容马上跃然显现：
吹灭生日蛋糕烛炬的瞬间也被复原了出来：

咧嘴笑起来的进程看着也太治愈了吧~

咱就是说，这回相机里熊孩子/毛孩子的废片终于没救了！
并且彻底看不出是前期分解的成果，恍如是原生拍摄的个别。
这就是谷歌、康奈尔大学、华盛顿大学比来联结推出的效果，能只用 2张相近的照片复原出3D瞬间，目前已被CVPR 2022收录。
论文作者一作、二作均为华人，一作小姐姐本科结业于浙大。
用2张照片正反向预测两头场景
这类办法合用于两张十分类似的照片，好比连拍时发生的一系列照片。
办法的症结在于将2张图片转换为一对基于特点的 分层深度图象（LDI），并经过场景流进行加强。
全部进程能够把两张照片分别看作是“终点”和“起点”，而后在这两者之间逐渐预测出每一个刻的变动。
详细来看，进程如下：

首先，将两张照片用单应矩阵（homegraphy）对齐，分别预测两张照片的稀疏深度图。
而后将每个RGBD图象转换为黑白的LDI，经过深度感知修复配景中被遮挡的部份。
其中，RGB图象即为普通RGB图象+深度图象。

之后用二维特点提取器修复LDI的每个色彩层，以获得特点层，从而生成两份特点图层。
下一步就到了 摹拟场景静止部份。
经过预测两个输出图象之间的深度和光流，就可以计算出LDI中每个像素的场景流。
而假如想要两张图之间渲染出一个新的视图、并晋升到3D，在此需求将两组带特点值的LDI晋升到一对3D点云中，还要沿着场景流双向挪动到两头的时间点。
而后再将三维的特点点投影展开，造成正向、反向的二维特点图及对应深度图。
最初将这些映照与时间线中对应时间点的权重线性混合，将后果传给图象分解网络，就可以失掉最初的成果了。
试验后果
从数据方面来看，该办法在一切误差目标上，均高于基线程度。
在UCSD数据集上，这一办法能够保存画面中的更多细节，如（d）所示。

在NVIDIA数据集上进行融化试验标明，该办法在进步渲染品质上表示也很nice。

不外也存在一些问题：当两张图象之间的改动对比大时，会泛起物体错位的景象。
好比下图中酒瓶的瓶嘴挪动了，不应产生变动的羽觞也摇晃了起来。

还有照片假如没有拍全之处，在分解的时分不免会泛起“截肢”的状况，好比下图中喂考拉的手。

团队引见

该钻研的一作为 Qianqian Wang，当初在康奈尔大学读博四。
她本科结业于浙大，师从周晓巍。
钻研兴致为计算机视觉、计算机图形学和机器学习。

二作是 Zhengqi Li，博士结业于康纳尔大学，本科结业于明尼苏达大学，目前在Google Research。
曾获提名CVPR 2019最好论文，谷歌2020博士奖研金，2020年Adobe Research奖学金，入围百度2021年AI华人新星百强榜单。

参预此项钻研的还有华盛顿大学传授 Brian Curless。
他还提出过另外一种办法可以完成相似成果，一样只用到了2张照片，经过新型帧插值模型生成联贯的视频。

论文地址：
http://3d-moments.github.io/
— 完—
「人工智能」、「智能汽车」微信社群邀你参加！
欢送关注人工智能、智能汽车的小火伴们参加咱们，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。
ps.加好友请务必备注您的姓名-公司-职位哦~
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见~

华人澳洲中文论坛

热图推荐

只需2张照片就可以2D变3D，这个AI能本人脑补烛炬吹灭进程，一作二作均为华人 | CVPR 2022

发表回复

浏览过的版块

kingjone
关注TA

图文推荐

华人澳洲中文论坛

热图推荐

只需2张照片就可以2D变3D，这个AI能本人脑补烛炬吹灭进程，一作二作均为华人 | CVPR 2022

发表回复

浏览过的版块

kingjone 关注TA

图文推荐

kingjone
关注TA