一句话就可以魔改视频配角，谷歌新「AI导演」惊呆网友：这画质也太赞了

神奇豌豆

原标题：一句话就可以魔改视频配角，谷歌新「AI导演」惊呆网友：这画质也太赞了  
Alex 发自 凹非寺   
量子位 | 大众号 QbitAI   
谷歌整出了个新 “AI导演”， 一句话乃至能把视频配角给换了。   
你看，青青草地上，一只小熊正在舞蹈。  


莫非当初的熊都这么有艺术细胞了嘛？？  
No，No，No！草地上原本的实际上是只猴子。  


要从猴变熊，只用跟这个AI说一句：  
一只小熊跟着音乐节奏跳着舞，扭动他的全部身子。 （A bear dancing and jumping to upbeat music, moving his whole body）
    一只小熊跟着音乐节奏跳着舞，扭动他的全部身子。 （A bear dancing and jumping to upbeat music, moving his whole body）  
展开全文    除了会“魔改”视频，这个名为 Dreamix的AI还能把动态图片变为动画—— 也是一句话就搞定。   
好比给此AI看一张“海龟游泳照”，再告知它：  
水下拍到一只海龟在游泳，前面有只沙鱼正在凑近。 （Underwater shot of a sea turle with a shark apporching from behind）
    水下拍到一只海龟在游泳，前面有只沙鱼正在凑近。 （Underwater shot of a sea turle with a shark apporching from behind）  


好家伙，一句话不只让海龟游起来了，还平空加了条沙鱼。  
这成果，让不少围观网友都纷纭点赞。  
有人乃至断言，AIGC将在接下的两年时间持续掀起热潮，乃至比千禧年间的开展更为疯狂。  
导演视频，只用一句话   
一经地下就可以遭到盛赞，这个AI到底如何？无妨再看看其更多的“导演”作品来感触一下。  
首先，在 改换视频角色方面，这是本来的原野：   


这是AI纵火烧掉的原野：  


这是人的手在写字：  


这是AI生成的机器人手在写字：  


一样以人写字的视频为原型，假如把提醒句子换成“人的手在画圆”，还会有不同的生功效果：  


而在 动态图变化画方面，原图是雾蒙蒙的丛林：   


而AI给这片林子加了一只奔驰的独角兽，并且镜头还按句子提醒给拉远了。  


还有这样一张河谷景色图：  


AI不只让溪水活动起来，还给岸边加之了来洗澡水牛，给天空加之了翱翔的小鸟。  


看到这里，有人可能会感觉欠点火候：动画倒是做出来了，但画质也就义了挺多啊。  
那无妨多给AI看几张图。   
好比一口吻给AI看7张玩具火警的照片：  


而后再让它按照一句话生成视频，这下画质就会分明得多。  


至于这个”AI导演”是怎么做的，谷歌表现，症结在于“老敌人” 分散模型 （Diffusion Model）。   
分散模型，也是火出圈的AIGC作画神器 DALL·E 2的中心。   
谷歌钻研人员指出，其实以前已有相似的“文字生成视频”AI了，但如果仅仅在输出视频上对视频分散模型进行微调，会限度静止变动的水平。  
而此AI不同凡响的地方在于：  
团队使用了一个 “混合指标”，除了对原始指标进行微调外，还会对无序帧集进行微调。   
他们采取了一种深度学习中专门的留意力机制：Masked Temporal Attention，帮忙模型专一于输出信息的特定部份，疏忽其余有关的部份。  
——这进步了模型处置序列数据的才能，生成视频中的静态更多样化，且成果也对比天然。  


在分散模型和Masked Temporal Attention的加持下，关于改换视频配角来讲，输出其实曾经被省略了——只需进行微调，后果的保真度也至关不错。  
参考链接：  
[1] http://dreamix-video-editing.github.io/  
[2] http://www.youtube.com/watch?v=QWUmk6GuqIQ  
[3] http://www.reddit.com/r/MachineLearning/co妹妹ents/10tovhn/n_r_古歌_announces_dreamix_a_model_that/  
— 完—   
「人工智能」、「智能汽车」微信社群邀你参加！  
欢送关注人工智能、智能汽车的小火伴们参加交流群，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。  
PS. 加好友请务必备注您的姓名-公司-职位噢 ~  
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~