斑马辨认成狗，AI出错的缘故被斯坦福找到了丨开源

寵寵尐老公

原标题：斑马辨认成狗，AI出错的缘故被斯坦福找到了丨开源
Pine 发自凹非寺
量子位 | 大众号 QbitAI
明明是只斑马，AI为何说它是一条狗？
分类模型在归类图象时有时会过错地判别种别。
通过学习的AI，还会搞砸一些预测，确定是在其中的某个环节泛起了纰漏。
斯坦福大学的两位博士生和传授James Zou在一篇论文中，带咱们探索了分类模型出错的缘故。
随后，论文提出一种办法—— 反事实的概念性解释（Conceptual Counterfactual Explanations），并评价了它的成果。
经过这类办法，咱们就可以从新定义模型的分类规范，从而解释AI出错的缘故。
一同来看看吧。
AI为何会出错？
想要进步分类模型后续预测的精确性，就先得整明确这个模型在哪里出了岔子。
个别来讲，AI搞砸预测是下列缘故酿成的：
首先是在模型实际预测的过程当中，分类规范可能会与预训练时有些偏差，使得训练模型在实际预测的过程当中成果欠安，进而升高预测后果的精确性。
好比说，病理学家使用事后训练好的模型来分类组织病理学图象，但成果在他的图象上却不是很好。
这就多是在他的图象中，色调与原始训练数据中不同致使的。
能够看这个例子：

在这个模型训练过程当中，样本里一切狗的照片里都有雪，这致使该模型将雪与狗分割在一同，并过错地预测：没有雪的狗不是狗。
这多是用的数据集，都是在同一场景下采集的，会妨碍模型的泛化。
除此以外，也多是在训练模型时，报酬制作的一些偏差。
例如，某一皮肤科专家利用训练好的AI来分类图象中的皮肤病，但其余共事使用的成果却不尽善尽美。
这多是由于在训练的样本中，皮肤的肤色繁多、且春秋段散布窄。
理解了AI“出错”的缘故后，咱们要怎么样能力精确地判别模型哪里泛起了过错呢？
AI出错，它来解释
James Zou在论文中提出了一种叫 反事实的概念性解释（CCE）的办法。
详细来讲，就是经过这类办法，来探索 输出数据与预测后果之间的分割，终究找到模型的过错的地方。
那CCE是怎么来解释的呢？
定义概念库
首先要做的，就是设置并细化一个概念库C，即制造一个分类规范。
详细来讲，概念库C中的各个概念能够用来分类图象，如安装c1 （街道、雪等）、图片品质c2 （明晰、隐约等）······
这样，就可以获取一组可解释的概念库C={c1，c2，…}。
而后，需求给其中的每个概念找对应训练数据。
详细的，就是采集与其相符（Pci）和不符（Nci）的例子，个别来讲数量上要同样（Pci=Nci=100）。
关于每个概念，CCE都要学习它们的分类办法和“思惟形式”。
分别经过两种办法：
一个是经过学习反对向量机（SVM），来寻觅能够区别两种事物最优形式的算法（线性分类器）。
另外一个是学习相应的概念激活向量（CAV），它能够用来解释图象被过错分类的详细缘故。
就像下图，都是斑马的图象，归类过错的缘故却纷歧样。

这一步只需求对每个想要评价的模型做一次，之后CAV即可以用来解释恣意数量的过错分类。
给定过错分类规范
咱们能够经过改动不同概念在模型中的比重，对其分类规范进行相应的调剂，这些调剂要知足下列准则：
1、正确性：假如一个分类规范达到了预期的后果，那末它就被以为是正确的。
2、无效性：分类规范不克不及违反人类的根本认知。
3、稠密性：终究指标是向用户转达模型的过错的地方，太多的变量无益于无效转达信息。
咱们的目的是尽量地使预测后果贴近训练后果，即最小化穿插熵损失。
因此就要不停优化模型预测的规范，经过调剂待修正的规范，对其进行加权，终究达到纠正过错分类的成果。
理解之后，咱们经过一个实际例子来看看，怎么用CCE“探测”分类模型犯错之处。

而后，对这些规范进行评分，假如评分为正，则代表在图象中减少这个概念，将会进步正确分类的几率，反之亦然。
在c）图中，经过CCE剖析也能够直观地看到，“Polka Dots” （黑点）和“Dog” （狗）是致使模型预测过错的缘故。
CCE成果怎样？
看到这里，想必大家对CCE的原理都有了初步的意识。
那它判别失掉底准不许确，成果到底如何呢？
CCE的目的，次要是暴-露模型在训练过程当中学习到的“伪相干性”，用它就能捕捉图象中泛起的其余“有关因素”和图象的伪相干性。

除此以外，CCE也有用在医学畛域的后劲。
像Abubakar Abid等人就使用CCE，在皮肤病学（皮肤情况分类）、胸片图象中的心脏病学（气胸分类）中都做了相干测试。

CCE使用学习到的偏差和图象品质前提来解释模型出错，也已被专业的皮肤科医生证明——这些要素，的确很大水平上是致使皮肤图象难以分类的缘故。
另外，CCE的速度也很快。
概念库只需求使用简略的反对向量机学习一次，每个测试示例在单个CPU上破费的时间小于 0.3s。
首要的是，它能够很简略地运用就任何深度网络，在不需求训练数据的状况下检测到模型出错的缘故。
假如你对这类办法感兴致，想亲身试试的话，能够戳下文链接查看。
作者引见

James Zou，论文通信作者，是斯坦福大先生物医学数据迷信系的助理传授，计算机迷信与电气工程系的助理传授。
于 2014 年获取哈佛大学博士学位，曾是微软钻研院成员、剑桥大学盖茨学者和加州大学伯克利分校西蒙斯钻研员。
他的钻研失掉了 Sloan Fellowship、NSF CAREER Award 以及 Google、Amazon 和腾讯 AI 奖项的反对。

Abubakar Abid（前）、 Mert Yuksekgonul（后）论文第一作者，均为斯坦福大学博士生。
参考链接：
— 完—
「人工智能」、「智能汽车」微信社群邀你参加！
欢送关注人工智能、智能汽车的小火伴们参加咱们，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。
ps.加好友请务必备注您的姓名-公司-职位哦~
点这里 ?关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿停顿日日相见~

华人澳洲中文论坛

热图推荐

斑马辨认成狗，AI出错的缘故被斯坦福找到了丨开源

发表回复

寵寵尐老公
关注TA

图文推荐

华人澳洲中文论坛

热图推荐

斑马辨认成狗，AI出错的缘故被斯坦福找到了丨开源

发表回复

寵寵尐老公 关注TA

图文推荐

寵寵尐老公
关注TA