芯片巨头正在偷偷研发这些新AI技术，不比拍照无意思

啊哟

原标题：芯片巨头正在偷偷研发这些新AI技术，不比拍照无意思  
明敏 萧箫 发自 凹非寺   
量子位 | 大众号 QbitAI   
不知道你们有无这样一种觉得，芯片机能要赶上瓶颈了。  
光就芯片制程来看，从7nm卷到5nm再卷到3nm，曾经愈来愈迫近摩尔极限。  
因而，不少厂商开始试着用AI给芯片机能提供灵感，从 神经拟态到用 AI设计芯片，各种技术线路都有人在尝试。   
这类状况下，哪些新AI技术最可能被运用到下一代芯片傍边？  
对此，咱们采访了一下高通工程技术副总裁 侯纪磊。   
侯纪磊博士结业于加州大学圣迭戈分校，在高通曾经任务了19年，目前是高通公司AI钻研名目担任人，担任高通AI钻研 （Qualco妹妹 AI Research）的技术翻新布局。   


在采访中，侯博士分享了高通AI钻研在根底、平台和运用三个钻研标的目的的一些 独创技术效果。   
其中， 根底钻研次要针对前沿性、根底性的AI技术进行钻研，例如神经紧缩和AI+量子计算相干畛域的探究；   
平台钻研则次要是从平台才能和翻新的角度，推进AI技术的开展并晋升能效、进行端侧学习，例如量化技术和联邦学习；   
运用钻研包罗挪动端视频AI技术和3D+AI技术等，涵盖智能手机、XR、自动驾驶等各个行业运用畛域的技术钻研。   
同时，侯博士还分享了不少“AI落地狂魔”高通，将AI技术疾速运用到芯片上的秘诀。一同来看看。  
芯片厂商暗暗研发这些新AI   
虽然高通最广为人知的AI技术是量化，不外要看最新的技术，还得从高通AI钻研的顶会论文中去找。  
从论文来看，高通相对于侧重的AI根底技术多是下列四个标的目的： 神经加强、 弱监视学习、 神经推理和 量子AI。   


先来看看 神经加强（neural augmentation） 技术，目前高通曾经将之用到了无线通讯中。   
平时处置无线通讯信号次要有两种办法，一种是用传统滤波器搞一套公式出来，另外一种是用AI间接训练并预测后果，前者精度不高，后者训练数据量太大。  
高通选择将两者结合起来，在保存传统滤波器的根底之上，让AI本人学习调参。  
没错，就是教会 AI本人当调参侠，纯熟运用并掌握那些看起来艰涩难懂的公式，相似于运用卡尔曼滤波器的场景中，让AI本人学会调剂其中的QR参数。   


再或者以麦克斯韦方程为例，高通选择保存y=x*H模型的线性，同时采取AI学习H的散布：   
要是相似的技术能用于手机无线通讯基带上，信号说不定还能再进一步加强。  
而神经加强还只是高通神经推理钻研的一部份。假如AI真的同时具备了逻辑思惟和笼统才能，那间隔芯片机能冲破也不远了。  
再说到 弱监视学习，这个标的目的始终是解决长尾问题、以及AI技术落地新场景的一大趋向之一。   
就像是“让AI本人学习”同样，这项技术旨在防止数据标志过错致使的AI精度降落、以及升高标志本钱等，来利用大量标志数据，完成与监视学习接近乃至超过监视学习的精度成果。  
侯博士引见了在去年MWC，高通做的一个演示，用弱标志的办法，训练出相对于准确度高的定位的模型。  
并且最使人诧异的是，这类定位的模型它不是经过视觉的形式，而是经过 射频信号来进行定位的学习，使用了弱监视和自监视的学习办法。   


室内定位场景所需的信号数据标志对比繁杂，经过射频感知的办法，使用弱监视学习能对比无效地节俭本钱、晋升效力。  
嗯，当初老板只需求经过无线信号，就知道你在哪一个办公室和共事摸鱼聊天了 （手动狗头）。  


再来看看 神经推理（Neural Reasoning）技术。   
那末，神经推理和芯片有甚么瓜葛，能够运用在哪些标的目的，高通又停顿到哪一步了？  
据侯博士引见，神经推理是一种将符号推理和神经网络劣势结合起来的思绪，让模型兼具并行性和串行性，而这个思绪关于计算硬件而言一样拥有鉴戒性，目前高通曾经利用自回归言语模型做出了一些独创效果。  
最初来看看 量子AI技术。   
目前高通次要有进行两个方面的钻研，一个是基于AI减速构建量子计算机，另外一个是让AI更快在量子计算机上运转的新办法。  
其中，基于AI减速构建量子计算，次要钻研标的目的在群等变卷积神经网络上。  
钻研人员经过引进群等变卷积神经网络，提出了一种新的解码形式，比传统解码器运转效力更高、机能也更好。  
而高通登上ICML 2021的一项新钻研，还提出了一种基于量子场论，在光学量子计算中运转神经网络的新思绪。  
假如将来真的能用量子计算运转AI，那大模型疾速运算也不是梦了。  
所以问题来了，高通正在进行的这些根底钻研，到底有无落地的可能？  
间隔咱们用上还有多久？   
技术之终极意义，仍是要看向运用。  
实际上，高通AI钻研关注前沿科技面前，更为注重的是这些技术详细如何落地。  
例如在早些年AI畛域还在关注图象处置的时分，高通就曾经在规划视频AI技术的落地了，并发生了不少相应的独创效果。  
包罗在挪动端将视频超分到4K 100+FPS，就是高通率先完成的。  
那末在这个过程当中，高通是如何完成将AI论文落地到芯片运用中的呢？  
这就得说回高通AI钻研的 三大规划：   
根底钻研，波及量子AI、强化学习、群等变卷积神经网络等，着眼于边远的将来，通常更拥有根底性。  平台钻研，包罗软硬件协同设计、AI模型效力工具包以及模型量化、紧缩和神经架构搜寻等，来完成最好的能效、机能和时延。     


一方面，高通始终以平台钻研技术带动运用钻研的落地。   
以模型量化为例。  
这是高通AI钻研这几年研究的中心技术之一，目的就是给AI模型做个“瘦身”。  
在实际运用场景中，因为电量、算力、内存和散热才能受限，手机使用的AI模型和PC上的AI模型有很大不同。  
在PC上，GPU动辄上百瓦功率，AI模型的计算能够使用16或32位浮点数 （FP16、FP32）。而手机SoC只要几瓦功率，也难存储大体积AI模型。   
这时候候就需求将FP32模型放大成8位整数 （INT8）甚至4位整数 （INT4），同时确保模型精度不克不及有太大损失。   
以AI抠图模型为例，咱们以电脑处置器的算力，通常能完成非常精准的AI抠图，但比拟之下，假如要用手机完成“差未几成果”的AI抠图，就得用到模型量化的办法。  
值得一提的是，基于模型量化疾速部署，高通在2020年开源的AI模型增效工具包 （AIMET）。   
这其中包孕了同年以及上年被ICML、ICCV收录的技术办法。  


量化的后果之一就是，更多运用标的目的的AI模型被“紧缩”并优化，而后减速部署到芯片中。  
好比视频语义联系上，初次在挪动端上以FHD分辨率完成实时街景；神经视频紧缩方面，初次在挪动端完成了实时高清解码……  
从这些行业初次落地的效果中能够直观感触到，高通AI钻研在结合前沿学术、运用需要上的考量。  
侯纪磊博士在采访中表现，高通的AI技术从最后发现到造成开源或商业化生态，只需求 2-3年时间。   


另外一方面，从运用战争台需要上反过去push根底钻研技术的停顿，催生出更多穿插畛域。   
好比联邦学习、图象预内核优化，就是根底与平台钻研相穿插发生的畛域；音视频紧缩、面向无线畛域和射频感知的AI等，则是根底和运用钻研相结合的体现。  
也就是说，高通在根底、平台、运用三方面上的钻研，残缺地将AI技术落地所需的算法模型、数据、软硬件、运用场景几大因素囊括其中，以反对边沿AI，走的是 全栈AI钻研的线路，并初次在挪动终端演出示了概念验证。   
以此，高通但愿能经过钻研“能够运用并落地的AI”，疾速推进技术落地的过程。  
侯博士表现，其实高通自身在平台和运用上投入比重就会更大，另外在根底研发过程当中，产品团队还会深度参预，便利技术人员更为理解运用需要。从AI钻研到落地往往十分繁杂，需求斟酌更多理想世界中的问题（如长尾场景等）。  
高通AI钻研的目的不只在于技术翻新，也是实际场景运用中的翻新。  
目前，高通光是完成落地的AI独创钻研效果，就有这么多：  


因而可知，高通AI钻研在独创技术以外，更努力于将这些效果胜利运转到终端上。  
例如前段时间公布的 骁龙X70，就是通过这样的历程问世的。作为寰球首款引入AI处置器的5G调制解调器及射频零碎零碎，骁龙X70预计后续汇集成到骁龙年度的8系旗舰平台上。   
猜猜，下一代5G手机的信号、图象、音视频处置等技术会不会更强？  
你最期待哪些顶会AI技术运用得手机上呢？  
参考链接：   
[1] http://www.youtube.com/watch?v=Tavl2nWHKU8&t=938s   
[2] http://www.qualco妹妹.com/research/artificial-intelligence/ai-research   
— 完—   
「人工智能」、「智能汽车」微信社群邀你参加！  
欢送关注人工智能、智能汽车的小火伴们参加咱们，与AI从业者交流、切磋，不错过最新行业开展&技术停顿。  
ps.加好友请务必备注您的姓名-公司-职位哦~   
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见~