大脑视觉信号被Stable Diffusion复现图象！“人类的谋略和谣言不存在了” | CVPR2023

qinqunvren

原标题：大脑视觉信号被Stable Diffusion复现图象！“人类的谋略和谣言不存在了” | CVPR2023  
丰色 萧箫 发自 凹非寺   
量子位 | 大众号 QbitAI   
“当初Stable Diffusion曾经能重建大脑视觉信号了！”  
就在昨晚，一个听起来细思极恐的 “AI读脑术”钻研，在网上掀起轩然大波：   


这项钻研宣称，只需用fMRI （功用磁共振成像技术，比拟sMRI更关注功用性信息，如脑皮层激活状况等）扫描大脑特定部位获得信号，AI就可以重建出咱们看到的图象！   


例如这是一系列人眼看到的图象，包罗戴着胡蝶结的小熊、飞机和红色钟楼：  
AI看了眼人脑信号后，立马就给出这样的后果，失实把该抓的重点全都捉住了：  
再开展一步，这不就约等于哈利波特里的读心术了吗？？  
更有网友感到惊叹：假如说ChatGPT凋谢API是件小事，那这几乎称得上疯狂。  
     所以，这到底是怎么一回事？  
用Stable Diffusion可视化人脑信号   
这项钻研来自日本大阪大学，目前曾经被 CVPR 2023收录：   


钻研但愿能从人类大脑流动中，重建 高保真的实在感图象，来了解大脑、并解读计算机视觉模型和人类视觉零碎之间的分割。   
要知道，此前虽然有不少脑机接口钻研，努力于从人类大脑流动中读取偏重建信号，如意念打字等。  
但是，从人类大脑流动中重建视觉信号——拥有实在感的 图象，依然应战极大。   
例如这是此前UC伯克利做过的一项相似钻研，复现一张人眼看到的飞机片断，但计算机重建出来的图象却简直看不出飞机的特点：   


  
△图源UC伯克利钻研Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies   
这次，钻研人员重建信号选用的AI模型，是这一年多在图象生成畛域位置飞升的 分散模型。   
固然，更精确地说是基于潜伏分散模型 （LDM）——Stable Diffusion。   
总体钻研的思绪，则是基于Stable Diffusion，打造一种以人脑流动信号为前提的去噪进程的可视化技术。  
它不需求在繁杂的深度学习模型上进行训练或做精密的微调，只需求做好fMRI （功用磁共振成像技术）成像到Stable Diffusion中潜伏表征的简略线性映照瓜葛就行。   
它的概览框架是这样的，看起来也十分简略：  
仅由1个图象编码器、1个图象解码器，外加1个语义解码器组成。  


详细怎么work？  
如下图所示，第一部份为本钻研用到的LDM示用意。  
其中ε代表图象编码器，D代表图象解码器，而τ是一个文本编码器 （CLIP）。   


重点是解码剖析，如下图所示，模型挨次从大脑初期 （蓝色）和较高 （黄色）视觉皮层内的fMRI信号中，解码出重建图象 （z）和相干文本c的潜伏表征。   
而后将这些潜伏表征当做输出，就能失掉模型终究复现出来的图象X zc 。   


最初尚无完，如编码剖析示用意，作者还构建了一个编码模型，用来预测LDM不同组件 （包罗图象z、文本c和z c ） 所对应的fMRI信号，它能够用来了解Stable Diffusion的外部进程。   


能够看到，采取了z c 的编码模型在大脑后部视觉皮层发生的预测准确度是最高的。 （z c 是与c进行穿插留意的反向分散后，z再添加噪声的潜伏表征）   
比拟其它二者，它生成的图象既拥有高语义保真度，分辨率也很高。  


还有用GAN重建人脸图象的   
看完这项钻研，曾经有网友想到了细思极恐的货色：  
这个AI虽然只是复制了“眼睛”所看到的货色。
  然而否会有一天，AI能间接从人脑的 思惟、乃至是 记忆中重建出图象或文字？
    这个AI虽然只是复制了“眼睛”所看到的货色。  
然而否会有一天，AI能间接从人脑的 思惟、乃至是 记忆中重建出图象或文字？   
“言语的用途再也不存在了”  
因而有网友进一步想到，假如能读取记忆的话，那末 目睹证人的证词似乎也会变得更牢靠了：   
还别说，就在去年真有一项钻研基于GAN，经过fMRI采集到的大脑信号重建看到的人脸图象：  


不外，重建出来的成果似乎不怎样……  
显然，在人脸这类对比精密的图象生成上，AI“读脑术”还有很长一段路要走。  
关于这类大脑信号重建的钻研，也有网友提出了质疑。  
例如，是不是只是AI从训练数据集中提掏出了类似的数据？  
对此有网友回复表现，论文中的训练数据集和测试集是离开的：  


作者们也在名目主页中表现，代码很快会开源。能够先期待一下~  
作者引见   
本钻研仅两位作者。  
一名是2021年才刚刚成为大阪大学助理传授的Yu Takagi，他次要从事计算神经迷信和人工智能的穿插钻研。  
比来，他同时在牛津大学人脑流动核心和东京大学心思学系利用机器学习技术，来钻研繁杂决策工作中的静态计算。  
另外一位是大阪大学传授Shinji Nishimoto，他也是日本脑信息通讯融会钻研核心的首席钻研员。  
钻研标的目的为定量了解大脑中的视觉和认知处置，谷歌学术援用3000+次。  


那末，你感觉这波AI重建图象的成果如何？  
名目地址：  
http://sites.古歌.com/view/stablediffusion-with-brain/  
— 完—   
「中国AIGC产业峰会」启动  
邀您共襄盛举  
「中国AIGC产业峰会」行将在往年3月举行，峰会将约请AIGC产业相干畛域的专家学者，独特讨论生成新世界的过来、当初和将来。   
峰会上还将公布 《中国AIGC产业全景讲演暨AIGC 50》，片面平面描画我国以后AIGC产业的竞争力求谱。点击链接或下方图片查看大会详情：   
被ChatGPT带飞的AIGC如安在中国落地？量子位邀你独特参预中国AIGC产业峰会   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~