|
|
原标题：3秒复制任何人的嗓音！微软音频版DALL·E细思极恐，连环境配景音也能模仿
萧箫 发自 凹非寺
量子位 | 大众号 QbitAI
只需3秒钟，一个基本没听过你谈话的AI，就可以完善模仿出你的声响。
例如这是你的一小句聊天语音：
这是AI按照它模仿你谈话的音色：
是否细思极恐？
这是微软最新AI效果——语音分解模型 VALL·E，只需3秒语音，就可以随便复制任何人的声响。
它脱胎于DALL·E，但专攻音频畛域， 语音分解成果在网上放出后火了：
nx4rhhwia0r.jpg
有网友表现，要是将VALL·E和ChatGPT结合起来，成果几乎爆炸：
看来与GPT-4在Zoom里聊天的日子不远了。
看来与GPT-4在Zoom里聊天的日子不远了。
还有网友调侃，（继AI搞定作家、画家之后）下一个就是配音演员了。
所以VALL·E到底怎么做到3秒钟模仿“没听过”的声响？
用言语模型来剖析音频
基于AI“没听过”的声响分解语音，即零样本学习。
语音分解趋于成熟，但以前零样本语音分解成果其实不好。
主流语音分解计划根本是预训练+微调模式，假如用到零样本场景下，会致使生成语音类似度和天然度很差。
展开全文 基于此，VALL·E横空出生，比拟主流语音模型提出了不太同样的思绪。
比拟传统模型采取梅尔频谱提取特点，VALL·E间接将语音分解当成为了 言语模型的工作，前者是延续的，后者是离散化的。
详细来讲，传统语音分解流程往往是“音素→梅尔频谱（mel-spectrogram）→波形”这样的路子。
但VALL·E将这一流程变为了“音素→离散音频编码→波形”：
van32siiwso.jpg
详细到模型设计上，VALL·E也和VQVAE相似，将音频量化成一系列离散tokens，其中第一个量化器担任捕获音频内容和谈话者身份特点，后几个量化器则担任细化信号，使之听起来更天然：
awagnl1r5vo.jpg
随后以文本和3秒钟的声响提醒作为前提，自回归地输入离散音频编码：
k0zdqy1fcbl.jpg
VALL·E仍是个全能选手，除了零样本语音分解，同时还反对语音编纂、与GPT-3结合的语音内容创立。
那末在实际测试中，VALL·E的成果如何呢？
连环境配景音都能复原
按照已分解的语音成果来看，VALL·E能复原的毫不仅仅是谈话人的音色。
不只 语气模仿到位，并且还反对多种不同语速的选择，例如这是在两次说同一句话时，VALL·E给出的两种不同语速，但音色类似度依然较高：
1ywlajksgne.jpg
同时，连谈话者的 环境配景音也能精确复原。
除此以外，VALL·E还能模仿谈话者的多种 情绪，包罗愤恨、困乏、中立、愉悦和恶心等好几品种型。
值得一提的是，VALL·E训练用的数据集不算特别大。
比拟OpenAI的Whisper用了68万小时的音频训练，在只用了7000多名演讲者、 6万小时训练的状况下，VALL·E就在语音分解类似度上超过了通过预训练的语音分解模型YourTTS。
并且，YourTTS在训练时，事前曾经听过108个演讲者中的97人声响，但在实际测试中仍是比不外VALL·E。
fx3wsyoz5fe.jpg
有网友曾经在畅想它能够运用之处了：
不只能够用在模仿本人的声响上，例如帮忙残障人士和他人实现对话，也能够在本人不想谈话时用它替代本人发语音。
固然，还能够用在有声书的录制上。
不只能够用在模仿本人的声响上，例如帮忙残障人士和他人实现对话，也能够在本人不想谈话时用它替代本人发语音。
固然，还能够用在有声书的录制上。
rdcpbbp5si4.jpg
不外，VALL·E目前还没开源，要想试用可能还得再等等。
作者引见
这篇论文一切作者均来自微软，其中有三位独特一作。
fin1cr12o0m.jpg
w1ydceyq4ko.jpg
独特一作Sanyuan Chen，哈工大和微软亚研院联结造就博士生，钻研标的目的包罗自监视学习、NLP和语音处置等。
5ceincphycb.jpg
独特一作Yu Wu，微软亚研院NLP小组钻研员，在北京航空航天大学获取博士学位，钻研标的目的是语音处置、聊天机器人零碎和机器翻译等。
coj3p4z4fnd.jpg
感兴致的小火伴能够戳下方论文地址查看~
论文地址：
http://arxiv.org/abs/2301.02十一1
音频试听地址：
http://valle-demo.github.io/
— 完—
「人工智能」、「智能汽车」微信社群邀你参加！
欢送关注人工智能、智能汽车的小火伴们参加交流群，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。
PS. 加好友请务必备注您的姓名-公司-职位噢 ~
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见 ~ |
|
注册会员