小道至简：只靠繁多工作训练的言语模型，成果好到惊呆网友

清凉一夏123

原标题：小道至简：只靠繁多工作训练的言语模型，成果好到惊呆网友  
羿阁 发自 凹非寺   
量子位 | 大众号 QbitAI   
训练工作越多，真的象征着泛化才能越强吗？  
一项最新的钻研告知咱们：No！大漏特漏！  


令大部份人不测的是，其实，专攻一个训练工作的 专家言语模型在这方面的表示更佳！   
数据为证，在十一个不同的、未经训练的数据集上，其均匀精确率乃至比提醒微调模型高出3.20%。  
不只如斯，单个专家模型合并后还能表示出超强的组合才能，既不需求拜候原始数据，还节俭了计算开消。  
有网友看完就表现：十分乏味！果真模型其实不一定越大越好！  
还有网友则感叹：这就是所谓的“简略胜过繁杂”吧。  
效力、精确性都更高   
首先，钻研者先为每个训练工作培训了一个专家模型。  
从下图能够看出，在总结、问答、情绪剖析等“本职工作”上，每个专家模型的表示都很优秀。  
例如，当被问到“咱们在礼拜六晚下去到这里，侥幸地发现没有我想象中那末拥堵，假如从1到5打分，我会给它打几分？”  
该模型精准地拿捏了这段话中“惊喜”的情绪，并回答“4分”。  


     那末问题就来了，只靠繁多工作训练的专家言语模型，泛化才能到底如何？  
为了展现其成果，钻研者找来了一个通过提醒微调的多工作言语模型T0-3B进行比较。  
后果显示，在十一个不同的、未经训练的数据集上，专家言语模型的均匀精确率比T0-3B要高 3.20%。   
在13个BIG-bench基准数据集上，专家言语模型的均匀精确率也要高出1.29%。  


不只如斯，钻研者还进一步剖析了专家言语模型的优点，得出三点论断：  
第一，专一于单项工作的专家言语模型能无效防止指令调剂过程当中常常产生的负迁徙问题，也就是更少受另外一种学习的搅扰。  
第二，专家言语模型可以不停学习新的工作，而不用从新训练之前的工作，以防止灾害性遗忘。  
过来，当遇到学习新工作的要求时，往往需求不停地在原始工作和额定工作的样本上进行指令调剂训练，这类办法既需求拜候原始数据，还会致使额定的计算开消。  
而当初，仅需求为每个额定的工作培训独自的专家言语模型，并将他们简略地添加到专家库中，就可轻松做到这一点。  
试验证实，新办法能够无效地放弃可见工作的机能，不外会轻微升高不成见工作的机能 （- 0.15%）。   


第三，一般专家言语模型在合并后能显示出优胜的组合才能。  
举个例子，当言语模型被要求回答“总结以下英文文本的摘要，并将句子翻译成韩语”时，这其实包孕了“概括”和“翻译”两个工作。  
钻研者分别训练了一个总结模型和5个不同语种的翻译模型，再将它们用散布式训练的办法进行合并，并对它们的组合才能进行了测试。  
后果显示，该办法的机能一样优于通过提醒微调的多工作言语模型，均匀得分高出2.72%。  
不外值得一提的是，在论文最初，钻研者也特别提到，这一论断与模型大小有间接瓜葛，目前的钻研没有包罗参数大于十一B的模型状况。  
钻研团队   
该钻研的团队来自KAIST （韩国迷信技术院）、LG AI Research和伊利诺伊大学芝加哥分校。   
第一作者Joel Jang，目前是KAIST言语与常识试验室的二年级硕士生，本科结业于高丽大学计算机迷信专业。  
该论文是他在LG AI Research实习期间实现。  


论文链接如下，感兴致的小火伴们能够自取～  
论文链接：   
http://arxiv.org/pdf/2302.03202.pdf  
— 完—   
《中国AIGC产业全景讲演暨AIGC 50》调研启动  
谁会是中国的“ChatGPT”？最有竞争力和后劲的AIGC气力位于何方？  
量子位《中国AIGC产业全景报暨AIGC 50》正式启动对外征集，期待有更多优秀的机构、产品、案例与技术可以被公众看到。   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~