微软亚研院：Language Is Not All You Need

qinggong000

原标题：微软亚研院：Language Is Not All You Need  
鱼羊 发自 凹非寺   
量子位 | 大众号 QbitAI   
还记得这张把谷歌AI搞得团团转的经典梗图吗？  


当初，微软亚研院的新AI可算是把它钻研明确了。  
拿着这张图问它图里有啥，它会回答：我看着像鸭子。  
但若你试图跟它battle，它就会改口：看下来更像兔子。而且还解释得条条是道：  
图里有兔子耳朵。
    图里有兔子耳朵。  


是否有点能看得懂图的ChatGPT内味儿了？  
这个新AI名叫Kosmos-1，谐音Cosmos（宇宙）。AI如其名，本领的确不小：图文了解、文本生成、OCR、对话QA都不在话下。  
     乃至连瑞文智商测试题都hold住了。  


而具备如斯才能的症结，就写在论文的标题里：Language is not all you need。  
多模态大言语模型   
简略来讲，Kosmos-1是一种把视觉和大言语模型结合起来的多模态大言语模型。  
在感知图片、文字等不同模态输出的同时，Kosmos-1还可以按照人类给出的指令，以自回归的形式，学习上下文并生成回答。  
钻研人员表现，在多模态语料库上从头训练，不通过微调，这个AI就可以在言语了解、生成、图象了解、OCR、多模态对话等多种工作上有杰出表示。  
好比甩出一张猫猫图，问它这照片好玩在哪里，Kosmos-1就可以给你剖析：猫猫戴上了一个浅笑面具，看下来就像在笑。  


又好比让它看一眼MSRA用来高效训练大模型的TorchScale工具包的主页，Kosmos-1也能疾速get这个库是用来干啥的。  


Kosmos-1还能了解图象上下文。发一张食品的照片给它，这个AI不只能回答你这是甚么，还能在你诘问如何烹饪时，给出食谱和烹调小倡议。  


Kosmos-1的主干网络，是一个基于Transformer的因果言语模型。Transformer解码器作为通用接口，用于多模态输出。  
用于训练的数据来自多模态语料库，包罗单模态数据（如文本）、跨模态配对数据（图象-文本对）和交织的多模态数据。  
值得一提的是，虽然说“Language is not all you need”，但为了让Kosmos-1更能读懂人类的唆使，在训练时，钻研人员仍是专门对其进行了仅使用言语数据的指令调剂。  
详细而言，就是用（指令，输出，输入）格局的指令数据持续训练模型。  
试验后果   
钻研人员在5大类共10个工作中，测试了Kosmos-1的成果，包罗：  
言语工作：言语了解、言语生成、无OCR文天职类  跨模态迁徙：知识推理  非言语推理：IQ测试（瑞文递进矩阵）  感知-言语工作：图象阐明、视觉QA、网页QA  视觉工作：零样本图象分类、带形容的零样本图象分类    从试验后果下去看，Kosmos-1根本都hold住了。  
零样本图象阐明：  


零样本视觉QA：  


无OCR文本了解：  


钻研人员还提到，Kosmos-1是第一个能实现零样本瑞文智商测试的AI。  


不外，跟成年人类的均匀程度比拟，AI的“智商”还差得有点远。随机选择的正确率为17%，而Kosmos-1通过指令调教之后，精确率为26%。  


钻研人员以为：  
但Kosmos-1证实了多模态大模型有后劲将感知和言语结合起来，进行零样本的非言语推理。
    但Kosmos-1证实了多模态大模型有后劲将感知和言语结合起来，进行零样本的非言语推理。  
此外，钻研人员还展现了Kosmos-1处置繁杂问答和推理工作的进程。症结在于 多模态思惟链提醒。   
钻研人员将感知-言语工作合成为两个步骤。第一步，给定一个图象，疏导模型对图象进行剖析。  
第二步，把模型子集剖析出来的后果再喂给它，并给出工作提醒，以生成最初的谜底。  


这项新钻研来自MSRA的韦福如团队。韦福如是微软亚洲钻研院天然言语计算钻研组主管钻研员。  
三位一作分别是Shaohan Huang、董力和Wenhui Wang。  
论文地址：  
http://arxiv.org/abs/2302.14045  
— 完—   
「中国AIGC产业峰会」启动  
邀您共襄盛举  
「中国AIGC产业峰会」行将在往年3月举行，峰会将约请AIGC产业相干畛域的专家学者，独特讨论生成新世界的过来、当初和将来。   
峰会上还将公布 《中国AIGC产业全景讲演暨AIGC 50》，片面平面描画我国以后AIGC产业的竞争力求谱。点击链接或下方图片查看大会详情：   
寻觅中国版ChatGPT，量子位邀你独特参预中国AIGC产业峰会   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~