Transformer模仿大脑，在预测大脑成像上超出42个模型，还可以摹拟感官与大脑之间的传输

gj168

原标题：Transformer模仿大脑，在预测大脑成像上超出42个模型，还可以摹拟感官与大脑之间的传输  
Pine 发自 凹非寺   
量子位 | 大众号 QbitAI   
当初得多AI运用模型，都不能不提到一个模型构造：  
Transformer。   
它丢弃了传统的CNN和RNN，彻底由Attention机制组成。  
Transformer不只赋与了各种AI运用模型 写文作诗的功用，并且在 多模态方面也大放异彩。   
尤为是ViT （Vision Transformer）出来之后，CV和NLP之间的模型壁垒被打破，仅使用Transformer一个模型就可以够处置多模态的工作。   
（谁看完不得感慨一句它的弱小啊）  
虽然一开始Transformer是为言语工作而设计的，但它在 模仿大脑方面也有着很大的后劲。   
这不，有位迷信作家写了篇博客，就是对于Transformer是如何进行大脑建模的。  

v2lu5guqmle.jpg

来康康他是怎么说的？  
Transformer：做大脑做的事   
首先，还得梳理一下它的演化进程。  
Transformer机制在5年前初次泛起，它可以有这么弱小的表示，很大水平上归功于其 Self-attention机制。   
至于Transformer是如何模仿大脑的，持续往下看。  
展开全文    在2020年，奥天时计算机迷信家Sepp Hochreiter的钻研团队利用Transformer重组了 Hopfield神经网络（一种记忆检索模型，HNN）。   
其实，Hopfield神经网络在40年前就曾经被提出，而钻研团队之所以时隔数十年选择重组这个模型缘故如下：  
其一，这个网络遵守一个广泛的法则： 同时活泼的神经元之间彼此会建设很强的分割。   
其二，Hopfield神经网络在检索记忆的过程当中与Transformer履行Self-attention机制时有一定的类似的地方。  
所以钻研团队便将HNN进行重组，让 各个神经元之间建设更好的分割，以便存储和检索更多的记忆。   
重组的进程，简略来讲，就是把 Transformer的留意力机制融会进HNN，使原来不延续的HNN变成可延续态。   

semaarmtwf3.jpg

△图源：维基百科   
重组之后的Hopfield网络能够作为层集成到深度学习架构中，以允许存储和拜候原始输出数据、两头后果等。  
因此，Hopfield自己和麻省理工学院沃森人工智能试验室的Dmitry Krotov都称：  
基于Transformer的Hopfield神经网络在生物学上是公道的。
    基于Transformer的Hopfield神经网络在生物学上是公道的。  
虽然说这在一定水平上与大脑的任务原理相像，但在某些方面还不敷精确。  
因此，计算神经迷信家Whittington和Behrens调剂了Hochreiter的办法，对重组后的Hopfield网络做出了一些修改，进一步进步了该模型在神经迷信工作中 （复制大脑中的神经放电模式）的表示。   

qpqbexggqfo.jpg

△Tim Behrens （左） James Whittington（右） 图源：quantamagazine   
简略来讲，就是在编码-解码时，模型再也不把记忆编码为线性序列，而是将其编码为 高维空间中的坐标。   
详细而言，就是在模型中引入了TEM （Tolman-Eichenbaum Machine）。   
TEM是为了模仿海马体的空间导航作用而构建的一个 关联记忆零碎。   
它可以概括 空间和非空间的构造常识，预测在空间和关联记忆工作中视察到的 神经元表示，并解释在海马和内嗅皮层中的 从新映照景象。   
将具有这么多功用的TEM与Transformer合并，组成TEM-transformer （TEM-t）。   
而后，再让TEM-t模型在 多个不同的空间环境中进行训练，环境的构造如下图所示。   

dcrwvd5ifne.jpg

在TEM-t中，它仍旧具有Transformer的Self-attention机制。这样一来，模型的学习效果便能迁徙到新环境中，用于预测新的空间构造。  
钻研也显示，相较于TEM，TEM-t在进行神经迷信工作时效力更高，并且它也能在更少学习样本的状况下处置更多的问题。  

1gqxryevyuf.jpg

Transformer在模仿大脑模式的路途上愈来愈深化，其实换句话说，Transformer模式的开展也在不停增进咱们了解大脑功用的运作原理。  
不只如斯，在某些方面，Transformer还能 进步咱们对大脑其余功用的了解。   
Transformer帮忙咱们了解大脑   
好比说，在去年，计算神经迷信家Martin Schrimpf剖析了 43种不同的神经网络模型，以视察它们对人类神经流动丈量后果：功用磁共振成像 （fMRI）和皮层脑电图 （EEG）讲演的预测才能。   
其中，Transformer模型 简直能够预测成像中发现的一切变动。   
倒推一下，也许咱们也能够从Transformer模型中预见大脑对应功用的运作。  
除此以外，比来计算机迷信家Yujin Tang和 David Ha设计了一个模型，能够经过Transformer模型以 随机、无序的形式无意识地发送少量数据，摹拟人体如何向大脑传输感官视察后果。   
这个Transformer就像人类的大脑同样，可以胜利地 处置无序的信息流。   
虽然Transformer模型在不停提高，但也只是朝着准确大脑模型迈出的一小步，抵达起点还需求更深化的钻研。  
假如想具体理解Transformer是如何模仿人脑的，能够戳下方链接～  
— 完—   
百度钻研院、阿里达摩院、量子位智库  
年度十大科技讲演  
总结2022，预见2023。来自百度钻研院、阿里达摩院和量子位智库的年度十大科技讲演均已公布， 点击下方图片便可跳转查看。   
百度钻研院  
阿里达摩院  
量子位智库  
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~