黄家驹演唱会31年后重映，再次带火AI修复，1小时播放破亿

酒芯巧克力

原标题：黄家驹演唱会31年后重映，再次带火AI修复，1小时播放破亿
明敏鱼羊发自凹非寺
量子位 | 大众号 QbitAI
一场没怎么预热的演唱会，在抖音直播间里火了。
收场10分钟，观看人次就冲破 1600万，1小时后飙升到 1亿以上。
而这场演唱会，实际上是从31年前穿梭而来。
1991年，Beyond乐队初次登上红磡体育馆的舞台，首次登台就铸成经典。

如今，时光流转，这场上演在2022年的夏天在直播间里，经过手机屏幕和上亿人见面。
不外使人不测的是，只管演唱会的母带曾经称得上是“老古董”了，然而直播间播放的画面却没有糊成渣。
无论是黄家驹脸上纤细的心情，仍是黄贯中斗琴时上下翻飞的手指，歌迷们都能从手机这样的小屏幕上看得一清二楚。

?
△动图成果略有紧缩
如斯明晰的成果和细节呈现，让不少人恍忽间恍如重回了90年代，引得歌迷直呼“Beyond精力永存！”
???
更值得关注的是，这类精力和情怀面前，提供中心撑持的是正在走向范围化商用的 AI修复技术。
家喻户晓，Beyond这盘演唱会影碟录制于90年代，过后的技术装备都还非常无限。
就拿画面来讲，能达到的程度只要540p、25FPS。
音质方面，也会遭到现场噪声大等要素影响，终究录下的歌声也会大打折扣。
而Beyond的修复，画面和音质都达到了一种新水准。更首要的是，这场看下来工程浩瀚的修复，其实只花 1个礼拜就搞定了，其中绝大部份还都是由AI“ 直出”的。
这类技术和效力，也让更多人潜伏的情怀寄托和需要，失掉释放。
??
是的，AI修复正在从黑科技成为日常，也是时分更明晰地理解面前的技术原理了。
“细节到眼线都看清了”
其实这几年，公众对AI修复曾经再也不生疏。
去年，央视动漫和上海美术电影制片厂的多部经典动画经过AI修复技术，画面明晰度能够达到4K程度。

不外和过来的一些修停工作比拟，这次修复演唱会录相，AI还侧重留意了这3个方面：
多帧去交织  人像修复  亮度、颜色、气氛调理首先来看 多帧去交织。
这里先要遍及一个概念：甚么是去交织？
初期因为装备处置速度或者带宽限度的问题，不少视频录相都是使用交织式信号。
也就是将全部画面均匀分红一定数量的横行，两个场分别显示画面的奇数行和偶数行。
这样一来，装备的缓存和处置速度要求都能减半。
而利用“视觉暂留效应”，两个画面能够在疾速播放过程当中呈现出残缺的画面。

不外，跟着显示装备不停进化降级，如液晶显示器等都只反对逐行扫描。
这就致使老旧影片在新装备上播放时，会泛起十分显著的闪动。
所以，需求使用 去交织的方法，来将隔行扫描的信号转换为逐行扫描信号。
传统常见的去交织办法，个别是把延续的两个场间接拼为一帧，不做任何修正。
然而每个场之间的拍摄时间仍是会存在纤细变动，假如这一刻拍摄物体正在挪动，就会致使去交织后的图象会泛起“ 拉丝”问题。

针对这个问题，AI这次使用的是 基于静止补偿的多帧去交织算法。
和传统办法比拟，这类办法的大抵原理是按照临近场使用静态估量，去预测画面中的物体挪动并失掉静态向量，按照前一个场及静态向量就可以重建出一个新的场，而后将此两个场并实现反交织。
它的特征是 泛化性更强，细节处置才能更好。
从后果来看，修复后吉他手的手部伪影彻底被去除了，轮廓也明晰了起来。

第二个不同的地方，即是对人像的侧重修复。
演唱会录相中必将会存在少量的人像镜头，得多仍是怼脸大特写，歌迷分外关注的镜头往往也是这些部份。
但受限于当年的拍摄装备程度，终究呈现的成果很容易是人和配景糊成一片，五官轮廓也不明晰。
针对这一问题，这次修复中使用了火山引擎自研的 自顺应人像加强算法。
这类办法基于深度学习模型，会在打消人脸总体的隐约和紧缩损伤的同时，进一步对五官进行重建。
好比以前不少网友说，修复后影象里，黄家驹的眼睛都有了光、眼线都能看得一清二楚。
这就是由于算法对眼睛部份进行了重建，并补足了更多细节。

除了五官之外，这一算法还能统筹皮肤纹理、头发丝等方面的细节处置，能够让修复后的人脸更为实在。
另外，斟酌到演唱会中拍摄到扮演者的面部不仅有侧面，算法还斟酌到侧脸、仰望、仰视、被麦克风遮挡等多种状况，能够解决得多 极端状况下的修复问题。

第三方面，体当初 颜色亮度加强上。
据技术提供方火山引擎引见，原片中其实存在少量过曝、死黑场景，颜色复原度也不敷高。
而这些问题不是简略调理亮度或颜色就可以解决的。
就拿 死黑场景举例，由于影片自身还存在很重大的底噪，假如间接把偏暗场景调亮，底噪也会被同时缩小。
至于颜色方面，还需求均衡好修补退色和保存怀旧感两方面要素。
在这方面，火山引擎是按照详细片源的成果，依据美学评分对不同方面进行调剂。
并能按照不同帧的颜色统计信息进行 分区域自顺应亮度加强，从而找到最好的明暗均衡成果。

据技术人员引见，以上几方面任务简直都是由AI实现的，人工参预的只要一些调参部份。
乃至连对画质的评价，AI都参预了一波。
这次使用了一个针对画质的VQScore算法，对影片成果进行评价。
该算法在ICME 2021的“紧缩UGC视频品质评价”竞赛中，获取了“无参考视频品质评估（NR-VQA）MOS赛道” 第一位。
解救古早收音bug
视频修复方面细节拉满，不外既然是 演唱会，光修复画面可不敷，音质体验更是拨动观众心弦的症结。
受限于过后的技术程度和录音装备，在原版影碟中，其实存在各种各样的音质问题。
好比：
噪声搅扰：装备、环境的噪声影响音质  带宽缺乏：装备、紧缩算法等致使音频截止频率低  响度问题：响度问题致使听感不适针对这些问题，此次火山引擎音频技术团队在Beyond演唱会的音质修复方面，次要用到了三种算法。
音频降噪算法
首先，来看看音频降噪算法带来的成果。
这是降噪前演唱会现场的收音：
降噪之后，成果则是这样的：
能够听出来，因为90年代演唱会收音前提无限，现场的环境又对比喧闹，原版音频中噪声是对比显著的。
而修复之后，黄家驹的声响和音乐声变得更为 明晰、洁净。
这一点在频谱图上也表示得很显著：降噪前，音频频谱较为混浊；降噪后，频谱图明晰了不少。

值得留意的是，传统的降噪计划通常针对人声，在演唱会这样的场景里，容易“误伤”音乐自身。
因此，在为演唱会设计降噪算法之初，技术团队就将降噪致使的音乐失真问题斟酌在内，经过在训练时参加音乐数据等形式，完成了对音乐场景和人声场景的兼容。
也就是说，能够在保存人的谈话声、唱歌声以及音乐自身的同时，按捺其余噪声。
音频超分算法
噪声以外，因为演唱会拾音装备、录制硬件以及存储紧缩等技术缘故，声响带宽受损（即带宽变窄）一样会影响听觉体验。
因此，修复团队还引入了音频超分算法。
该算法次要对演唱会中人声的部份进行了 频带拓展，以令人声更为明晰。

从蓝框部份能够看到，通过超分，原始音频的高频部份失掉了拓展和加强。
响度算法
最初，是经过音源别离算法提取演唱会中歌声的部份，而后用响度算法对响度进行调剂。
这是由于演唱会现场拾音的过程当中，可能会泛起人唱歌的声响被乐器、环境声盖住的状况。
独自提取唱歌部份的人声，进行响度调剂，而后再与原音频混合，可以使总体的声响大小听下来更为温馨。

一个幕后小故事是，无论是画质修复仍是音频修复，都需求人工来进行终究品质评价。
而修复团队的顺序员们刚好都是听着《弹丸之地》、《辉煌岁月》长大的一群人。
因此处置Beyond演唱会的旧影象时，修复人员们都是以粉丝的心态，一遍又一遍不停地去听、去看修复成果，力求用算法把当年红馆的热闹气氛在今日重现。
他们的规范说起来也很简略：
我得先感觉身临其境了。

此外，值得一提的是，修复人员谈到，本次修复根本都是AI搞定的。目前，这样的技术才能曾经被集成到火山引擎对外凋谢的智能处置、音频技术两个产品中。
AI修复技术的B/C面
当一场场线上复古演唱会在网上掀起热潮，AI修复技术也再一次成为技术热点。
而且在一次次的“出圈”之中，这种“网红”技术的开展门路和商业化前景，逐步明晰清朗起来。
第一阶段，是新兴技术的探究期。
在这个阶段，老片修复的相干技术伎俩从试验室走向官方。以B站up主大谷的视频为代表的集体修复作品，每每吸足眼球，诱发热议。

△大谷修复作品
伴有着云与AI的进一步结合，各大科技厂商开始把“网红”引入家门，这也就开启了AI修复技术的 第二阶段：技术工业化过程中的实验期。
这时候候，开始有更多工业级的修复名目泛起在公众眼前，但依旧有“单个名目、单点冲破”的特征。
好比此前西瓜视频和火山引擎推出的“经典视频4K修复方案”，就是经过工业化的AI技术伎俩，成批量地修复《哪吒传奇》、《黑猫警长》等百部经典动画。
而当初，你也许不知道的是，这样的技术再也不仅仅停留在公益名目、To B产品的阶段，乃至关上抖音，你也能用上。
好比画质修复的相干算法，就曾经被集成到抖音集体用户的作品公布功用傍边。即便没有专业的拍摄装备，用户投稿的作品通过AI针对明晰度、颜色、瑕疵、失真等问题的自动修复，也能达到不错的成果。
因而可知，在长时间的技术积攒与理论之后，AI修复技术作为一种成熟技术产品的 第三阶段——大范围商用落地，也许曾经拉开帷幕。
尤为关于字节跳动这样的厂商而言，其旗下具有抖音等天天都会发生海量音视频UGC内容投稿的平台。
从修复动画到Beyond演唱会，一系列技术问题的冲破和解决，终究都会间接在产品层面上有所体现。
而且不只在云这一正面向B端，也曾经在C端浮现出潜能。
实际上，这也是AI技术不停普惠、下放过程当中的一个典型案例。
我们作为普通用户，受害其中，天然脍炙人口。
说说你最但愿AI修复的“老货色”吧？
— 完—
「人工智能」、「智能汽车」微信社群邀你参加！
欢送关注人工智能、智能汽车的小火伴们参加咱们，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。
ps.加好友请务必备注您的姓名-公司-职位哦~
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见~

华人澳洲中文论坛

热图推荐

黄家驹演唱会31年后重映，再次带火AI修复，1小时播放破亿

发表回复

酒芯巧克力
关注TA

图文推荐

华人澳洲中文论坛

热图推荐

黄家驹演唱会31年后重映，再次带火AI修复，1小时播放破亿

发表回复

酒芯巧克力 关注TA

图文推荐

酒芯巧克力
关注TA