AutoML并不是全能神器！新综述爆火，网友：理解深度学习畛域现状必读

东湖边上

原标题：AutoML并不是全能神器！新综述爆火，网友：理解深度学习畛域现状必读  
羿阁 萧箫 发自 凹非寺   
量子位 | 大众号 QbitAI   
如今 深度学习模型开发曾经十分成熟，进入大范围运用阶段。   
但是，在设计模型时，不成防止地会阅历 迭代这一进程，它也恰是形成模型设计繁杂、本钱巨高的中心缘故，此前通常由教训丰硕的工程师来实现。   


之所以迭代进程如斯“烧金”，是由于在这一过程当中，面临少量的 凋谢性问题（open problems）。   
这些凋谢性问题到底会泛起在哪些中央？又要如何解决、能否并行化解决？  
当初一篇论文综述终于对此做出引见，收回后立刻在网上爆火。  
作者谨严地参考了 接近300篇文献，对少量运用深度学习中的凋谢问题进行剖析，力图让读者一文理解该畛域最新趋向。   


     网友们纷纭在评论区留言“码住”、“理解深度学习畛域现状必读”。  


一同来看看内容。  
这篇论文要钻研甚么？   
家喻户晓，当咱们拿到一个机器学习问题时，通常处置的流程分为下列几步：采集数据、编写模型、训练模型、评价模型、迭代、测试、产品化。  


在这篇论文中，作者把上述这些流程比作一个双档次的最好化问题。  
内层优化回路需求最小化权衡模型成果评价的损失函数，面前是为了追求最好模型参数而进行的深化钻研的训练进程。  
而外层优化回路的钻研较少，包罗最大化一个适量选择的机能目标来评价验证数据，这恰是咱们所说的“迭代进程”，也就是寻求最优模型超参数的进程。  
论文顶用数学符号表现如下：  
其中，Mval表现一共性能目标，如精度，均匀精度等。Ltrain表现损失函数，w表现模型参数。  
这样一来，仅用一个明晰一致的数学公式就可以解释迭代的步骤。  
不外，值得留意的是，面对不同的问题，它的解也需求特定剖析，有时分状况乃至会十分繁杂。  
例如，评价度量Mval是一个离散且不成微的函数。它并未被很好地定义，有时分乃至在某些自我监视式和非监视式学习以及生成模型问题中不存在。  
同时，你也可能设计了一个十分好的损失函数Ltrain，后果发现它是离散或不成微的，这类状况下它会变得十分辣手，需求用特定办法加以解决。  
因此，本篇论文的钻研重点就是 迭代进程中遇到的各种凋谢性问题，以及这些问题中能够并行解决优化的部份案例。   
凋谢性问题，不克不及那末等闲地只用一个简略的“是”、“不是”或者其余一个简略的词或数字往返答的问题。
    凋谢性问题，不克不及那末等闲地只用一个简略的“是”、“不是”或者其余一个简略的词或数字往返答的问题。  
论文将凋谢性问题类型分为监视学习和其余办法两大类。  
值得一提的是，无论是监视学习仍是其余办法，作者都贴心肠附上了对应的教程地址：  


假如对概念自身还不理解的话，点击就可以间接学到他传授的视频课程，不必耽心有困惑之处。  
首先来看看 监视学习。   
这里咱们不能不提到AutoML。作为一种用来升高开发过程当中迭代繁杂度的“偷懒”办法，它目前在机器学习中曾经运用普遍了。  
通常来讲，AutoML更着重于在监视学习办法中的运用，尤为是图象分类问题。  
毕竟图象分类能够明白采取精度作为评价目标，使用AutoML十分便利。  
但若同时斟酌多个要素，尤为是包罗计算效力在内，这些办法是不是还能进一步被优化？  
在这类状况下，如何晋升机能就成了一类凋谢性问题，详细又分为下列几类：  
  这些不同的畛域也面临不同的凋谢性问题。  
例如 大模型中的学习率并不是常数、而是函数，会成为凋谢问题之一，比拟之下 小模型却更斟酌机能和内存 （或计算效力）的衡量这类凋谢性问题。   
其中，小模型通常会运用到物联网、智能手机这类小型装备中，比拟大模型需要算力更低。  
又例如关于 指标检测这样的模型而言，如何优化不同指标之间检测的精确度，一样是一种繁杂的凋谢性问题。   
在这些凋谢性问题中，有不少能够经过并行形式解决。如在迁徙学习中，迭代时学习到的特点会对上游工作可泛化性和可迁徙性同时发生甚么影响，就是一个能够并行钻研的进程。  
同时，并行处置凋谢性问题面临的难度也纷歧样。  
再来看看监视学习之外的 其余办法，详细又分为这几类：   
天然言语处置 （NLP）、多模态学习、生成网络、域顺应、少样本学习、半监视&自监视学习、语音模型、强化学习、物理常识学习等。
    天然言语处置 （NLP）、多模态学习、生成网络、域顺应、少样本学习、半监视&自监视学习、语音模型、强化学习、物理常识学习等。   
以 天然言语处置为例，其中的多工作学习会给模型带来新的凋谢性问题。   
像经典的BERT模型，自身不具备翻译才能，因此为了同时晋升多种上游工作机能目标，钻研者们需求衡量各种指标函数之间的后果。  
又如 生成模型中的CGAN （前提GAN），其中像图象到图象翻译问题，行将一张图片转换为另外一张图片的进程。   
这一进程要求将多个独立损失函数进行加权组合，并让总损失函数最小化，就又是一个凋谢性问题。  
其余不同的问题和模型，也分别都会在特定运用上遇到不同类型的凋谢性问题，因此详细问题仍旧得详细剖析。  
通过对各类机器学习畛域进行剖析后，作者得出了本人的一些看法。  
一方面，AI外表上是一种“自动化”的进程，从少量数据中发生本人的了解，但是这其中其实波及少量的报酬操作，有不少乃至是反复行动，这被称之为“迭代进程”。  
另外一方面，这些任务虽然能部份经过AutoML精简，但是AutoML目前只在图象分类中有较好的表示，其实不象征着它在其余畛域工作中会取得胜利。  
总而言之，运用深度学习中的凋谢性问题，仍旧比许多人想象得要更加繁杂。  
作者引见   
本篇论文的作者为Maziar Raissi，目前在科罗拉多大学博德分校运用数学系负责助理传授。  
Raissi在马里兰大学帕克分校获取了运用数学和统计学博士学位，并在布朗大学运用数学系实现了博士后钻研，有过在英伟达做初级软件工程师的任务阅历。  


钻研标的目的是几率机器学习、深度学习和数据驱动的迷信计算的穿插点，以及大数据剖析、经济学和金融学等等。  
论文的链接如下，感兴致的小火伴们能够自取～  
论文地址：   
http://arxiv.org/abs/2301.十一316   
— 完—   
《中国AIGC产业全景讲演暨AIGC 50》调研启动  
谁会是中国的“ChatGPT”？最有竞争力和后劲的AIGC气力位于何方？  
量子位《中国AIGC产业全景报暨AIGC 50》正式启动对外征集，期待有更多优秀的机构、产品、案例与技术可以被公众看到。   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~