|
|
原标题：一文看懂AI数学开展现状，清华校友朱松纯先生一作，还整顿了份必备浏览清单
杨净 发自 凹非寺
量子位 | 大众号 QbitAI
AI学数学，的确有点火。
且不管这两大畛域的大拿纷纭为其站台，就是每次相干停顿一出炉，就遭到泛滥关注，好比AI求解偏微分方程。
iqo3rvqq2xv.jpg
△每一年相干论文估量数量
既然如斯，AI学数学究竟学得怎样了。
当初有团队专门梳理了十年开展历程，回顾了症结工作、数据集、以及数学推理与深度学习穿插畛域的办法，评价现有的基准和办法，并探讨该畛域将来的钻研标的目的。
值得一提的是，他们还很贴心的整顿了相干资源，在Github上放上了浏览清单以供食用。
接上去，就带你一文看尽。
一文看懂AI数学开展现状
在这篇考察讲演中，作者回顾了深度学习在数学推理方面的停顿，次要包罗了几个方面。
工作和数据集； 神经网络和预训练言语模型； 大型言语模型的语境学习； 现有基准和将来标的目的。 首先，作者梳理了目前可用于深度学习数学推理的各种工作和数据集，大体工作次要分为这几个大类。
数学运用题MWP
几十年来，开发自动解决数学运用题的算法，始终是NLP钻研标的目的所在。一个波及人物、实体和数量的冗长表述，可用一组方程来摹拟，方程的解法暴-露了问题的终究谜底。
lc0jkqss53b.jpg
展开全文 MWPs对NLP零碎的应战在于对言语了解、语义解析和多种数学推理才能的需要。
大少数MWP数据集都提供了正文方程来解决。为了进步求解器的机能和可解释性，MathQA用准确的操作顺序进行正文；MathQA-Python则提供详细的Python顺序；还无数据集采取多步骤的天然言语，来对问题进行正文，这样更合适人类的浏览。Lila用Python顺序的原理正文了许多后面提到的MWP数据集。
定理证实TP
即问题是经过一连串的逻辑论证来证实一个数学主意的真谛。比来，人们关于 交互式定理证实器（ITP）中使用言语模型来进行定理证实的关注越来愈多。
为了在ITP中证实一个定理，首先需用编程言语来陈说，而后经过生成 “证实步骤 “来简化，直到它被简化为已知事实。其后果是一个步骤序列，构成一个验证的证实。
其数据源包罗与ITP对接的交互式学习环境，从ITP库证实中失掉的数据集，好比CoqGym、Isabelle、Lean、Lean-Gym、miniF2F等。
几何问题解决GPS
与数学单词问题不同，几何问题解决 （GPS）是由天然言语和几何图组成。多模态输出包罗了几何元素的实体、属性和瓜葛，而指标是找到未知变量的数学解。
2yj2sovlx2l.jpg
基于这样的特性，用深度学习来解决GPS问题就颇具应战，由于它波及解析多模态信息、符号笼统、使用定理常识和进行定量推理的才能。
初期数据集相对于较小或不地下，也就限度了深度学习办法的开展。为应答这一限度，有包罗Geometry3K （由3002个几何问题组成，并对多模态输出进行了一致的逻辑方式正文）、以及新出炉的GeoQA、GeoQA+、UniGeo的引入。
数学识答MathQA
数字推理是人类智力中的一种中心才能，在许多NLP工作中发扬侧重要作用。除了定理证实、数学运用题以外，还有一系列环抱数学推理的QA基准。
近段时间相干数据集少量降生，好比QuaRel、McTaco、Fermi等，但最新钻研标明，最早进的数学推理零碎可能存在推理的脆性，即模型依托虚伪信号来达到看下来使人满意的机能。
为理解决这一问题，在方方面面降生了新基准，好比MATH，由拥有应战性的比赛数学组成，以权衡模型在繁杂状况下的问题解决才能。
除此以外，还有一些其余的数学工作，作者还专门汇总了表格，梳理了各个工作的相干数据集。
qbm4nzstgdo.jpg
三大深度神经网络模型
接着，团队梳理在数学推理工作中，次要使用的几大深度神经网络模型。
Seq2Seq网络，已胜利运用于上述四种症结工作傍边。它使用编码器-解码器架构，将数学推理方式化为一个序列生成工作，根本思绪是将输出序列 （如数学识题）映照到输入序列 （ 如方程式、顺序和证实）。常见的编码器和解码器包罗LSTM、GRU等。
基于图的数学网络。一些特定的数学表白式 （好比AST、图）所蕴含的构造化信息，其实不能被Seq2Seq办法明白地建模。为理解决这个问题， 基于图的神经网络来摹拟表白式中的构造。好比Sequence-to-tree模型、ASTactic等模型。
除此以外，还有CNN、多模态网络等，在这个畛域，视觉输出使用ResNet或Faster-RCNN进行编码，而文本表现则经过GRU或LTSM获取。随后，使用多模态融会模型学习联结表现，如BAN、FiLM和DAFA。
在特定工作中，有使用长于空间推理的GNN，用于几何问题解析；WaveNet被运用于定理证实，因为其可以解决纵向时间序列数据；还有Transformer生成数学方程等。
225eswaubpb.jpg
这其中，频频泛起停顿的，成果惊艳的大言语模型，在数学推理上表示得又是如何呢？
事实上存在一些应战，首先，由于模型训练并不是专门针对数学数据的训练，所以在数学工作的纯熟水平低于天然言语工作。并且相较于其余工作数据，数学数据相对于较少；其次，预训练模型范围的增长，让上游特定工作从头训练本钱很高；最初，从指标来看，模型可能很难学习数学表现或初级推理技巧。
作者剖析了自监视学习、特定工作微调两种表示。
dzbhiopbdmi.jpg
e1fpvxfektl.jpg
而在现无数据集和基准的剖析中，钻研团队看到了一些缺点，包罗对对低资源环境的关注无限、不充沛的数字表现、纷歧致的推理才能。
最初，团队从泛化和鲁棒性、可托的推理、从反馈中学习、多模态数学推理等方面讨论了将来的钻研标的目的。
还整顿了份AI数学浏览清单
这篇对于AI数学的考察讲演，由UCLA、圣母大学、华盛顿大学等机构的钻研人员独特实现。
urzrajj0j0b.jpg
第一作者是来自UCLA的 Pan Lu，目前正读博四，遭到KaiWei Chang、朱松纯等传授指点，此前曾获清华硕士学位。
独特作者还有一样是UCLA的邱亮，往年结业已经是已经亚马逊Alexa AI的运用迷信家，曾受朱松纯和Achuta Kadambi传授的指点，是上海交大校友。
他们还整顿了份数学推理和人工智能钻研课题的浏览清单，放在GitHub上。
uqjznhkucwp.jpg
感兴致的旁友，可戳下方链接理解更多~
http://github.com/lupantech/dl4math
论文链接：
http://arxiv.org/abs/22十二.10535
— 完—
「人工智能」、「智能汽车」微信社群邀你参加！
欢送关注人工智能、智能汽车的小火伴们参加咱们，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。
PS. 加好友请务必备注您的姓名-公司-职位哦 ~
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见 ~ |
|
注册会员