技术生态异军崛起，昇思MindSpore进入AI框架第一梯队

myth12

原标题：技术生态异军崛起，昇思MindSpore进入AI框架第一梯队  
作者：Alter  
ChatGPT掀起的新一轮人工智能狂欢下，暗藏在面前的“大模型”正进入愈来愈多开发者的视野。  
诚如几年前开始盛行的一种说法：数据是燃料、模型是引擎、算力是减速器。ChatGPT的泛起，恰到好处地诠释了数据、模型和算力的“化学反映”。而在其中表演“桥梁”角色的，偏偏是上承运用、下接芯片的AI框架。  
恰是在这样的配景下，市场调研机构Omdia经过对AI开发者进行调研，在日前公布了《中国人工智能框架市场调研讲演》，向外界暴-露了国际开发者关于AI框架的认知，以及不停变动的行业格式。  
01 开发者眼中的AI框架市场  
跟着ChatGPT的热度愈来愈高，不少人坦言：“人工智能畛域正在诱发新一轮科技比赛”，其实AI的学术比赛在2020年先后就曾经开始。  
OpenAI在这一年推出了著名的GPT-3，具有1750亿参数量；DeepMind的AlphaFold2在第14届国内蛋白质构造预测比赛中夺冠；同时寰球AI论文颁发量逐年增长，来自中国的论文比例愈来愈高...... 顶会论文、大模型、迷信智能代表的技术生态，达到了史无前例的热度。  
一样是在2020年，以昇思MindSpore等为代表的中国AI框架纷纭开源，开始了追逐TensorFlow、PyTorch等先辈们的追赶赛，中国AI框架的突起和技术生态的繁华，不成防止地泛起了穿插。  
就像Omdia在《中国人工智能框架市场调研讲演》中给出的观念：在大模型运用的趋向下，国际开发者关于AI框架的认知产生了一些奥妙的变动。  
好比“关于超大范围模型训练才能，您感觉哪一个人工智能框架最佳？”的问题中，36%的开发者投票给了TensorFlow/JAX，15%的开发者选择的是PyTorch，昇思MindSpore以10%的占比排名第三。  
需求阐明的是，开发者的谜底在某种水平上遭到了认知习气的影响，天然而然地给“老牌框架”打了高分。譬如谷歌的TensorFlow并不是原生反对大模型，经过新推出的另外一个重生框架JAX作为TensorFlow的简化库融入；PyTorch则是靠第三方并行算法库增补了大模型反对才能。昇思MindSpore正依靠原生反对大模型的才能疾速突起。  
再好比“您以为最合适做AI for Science名目的人工智能框架是？”的问答下，TensorFlow和重生框架JAX收到了45%的开发者反对，昇思MindSpore在这个问题下超过了PyTorch，以37%的反对率排名第二。  


     而在人工智能框架使用率的排名中，TensorFlow和PyTorch的先发劣势仍然存在，但昇思MindSpore以十一%的份额进入第一梯队。TensorFlow早在2015年就曾经开源，PyTorch的历史也能够追溯到2017年，昇思MindSpore比“先辈”们晚了三到五年，但表示出了疾速赶超老牌AI框架的态势，表演了“应战者”的角色。  
假如说Omdia的讲演次要是基于开发者的认知，可能与实际状况存在一定出入，那硬核的技术生态与行业生态的协作，则以板上钉钉的数字左证着昇思MindSpore等中国AI框架突起态势：  
在技术生态方面，昇思MindSpore曾经与200多所高校、科研机构展创始新协作；外行业生态方面，仅在2022年获取昇思技术认证的企业就超过800多家，涵盖制作、金融、电信经营商等国计民生行业；在开源生态方面，昇思MindSpore在Gitee AI开源名目综合排名TOP1，软件下载增速第一，总量已超过370万……  
02 昇思MindSpore越级的时与势  
一个严酷但有理想意义的景象是，2020年AI框架市场仍是一幅百花怒放的现象，目前却泛起了典型的虹吸效应。  
根据Omdia的调研数据，在中国人工智能框架的使用率方面，TensorFlow、PyTorch、昇思MindSpore和飞桨算计占了86%的市场份额，大少数AI框架的使用率缺乏1%，已经申明鹊起的Caffe、CNTK等已逐步掉出主流队伍，只要昇思MindSpore一家逆势进入了AI框架的第一梯队。  
想要弄清问题的谜底，昇思MindSpore能够说是最佳的钻研对象。过来近三年时间里，昇思MindSpore究竟做对了甚么？  
第一个参考谜底是大模型的“时”。  
2021年9月的华为全联接大会上，昇思MindSpore迭代至1.5版本，最间接的变动就是原生反对AI大模型训练，经过全自动并行、可视化智能调优等大幅晋升了大模型的开发效力。  
其中在大模型并行训练上，昇思MindSpore反对数据并行、MoE并行、优化器并行、多正本并行等7大并行计算才能，将训练千亿模型的代码量升高了80%、调优时间降落60%；和TensorFlow、PyTorch等框架比拟，昇思MindSpore是反对模型构造最全的AI框架，包孕稀疏、稠密MoE、卷积构造、高维稠密等。  
第二个参考谜底是运用翻新的“势”。  
2022年十一月公布的2.0版本中实现了AI与HPC的融会，经过神经网络摹拟的非线性拟合，让迷信家无需再解高维方程，进一步晋升了科技翻新效力。特别是在产业运用翻新方面，昇思MindSpore构建了流体仿真、电磁仿真、份子摹拟在内的迷信计算套件，继续使能运用翻新。  
和PyTorch的衰亡不约而同，昇思MindSpore也将技术生态作为“先手棋”。印证昇思MindSpore “线路正确”的案例，毫不止Omdia的讲演和开发者的认同，还有一份轻飘飘的成就单。  


权衡翻新才能的一个首要规范恰是论文数量。根据Papers with Code网站的统计数据，2022年使用昇思MindSpore的顶级会谈论文曾经超过600篇，在国际AI框架中排名第一，在寰球规模内仅次于PyTorch。  
而在大模型的翻新中，目前国际科研院所和高校曾经公布了10多个基于昇思MindSpore的大模型。其中紫东.太初是寰球首个三模态大模型，可以完成视觉、文本、语音三个模态间的高效协同，曾在2022世界人工智能大会上斩获“卓着人工智能引领者”奖；西方.御风是业界首个工业级流体仿真大模型，在进行飞机流场摹拟仿真时，比较传统的迷信计算，在精度同样的状况下，西方.御风的仿真时间只需求原来的1/25。  
假如把人工智能产业生态比方成森林的话，人工智能框架就像是森林中的土壤，追求翻新的开发者天然会“择水土而居”。  
03 不该被无视的可托AI问题  
在全民“调戏”ChatGPT的风潮中，ChatGPT有时会“一本正派地胡言乱语”，这其实袒露了存在事实性过错、常识盲区和知识偏差等诸多问题。  
Omdia在《中国人工智能框架市场调研讲演》中向开发者讯问了相似的问题，终究的谜底似乎超越了一些人的猜想：在一切主流人工智能框架中，国际的开发者广泛以为TensorFlow 与 昇思MindSpore 对“担任任的人工智能”提供的反对最佳。  


个中缘故并不难解释。为了消除开发者耽心的平安隐衷等问题，谷歌经过Model Cards等工具让框架更为通明、更具备可解释性，同时TensorFlow也提供了一系列反对数据平安和隐衷的功用、库和培训工具。  
昇思MindSpore之所以可以在可托方面超出PyTorch，离不开对AI平安技术体系的规划，提供了涵盖AI训练、AI测评、AI部署的一整套端到真个平安可托体系，包罗联邦学习、模型水印、模型加密等内界所熟知的可托机制。  
好比联邦学习是一种常见的隐衷维护形式，能够在不采集数据的状况下协同进行模型的训练，完成数据的“可用不成见”，继而维护隐衷信息。但是联邦学习和大模型的结合也发生了诸多应战，波及到计算代价、通讯开消、隐衷泄漏、模型平安等等，需求解决隐衷维护与效力的两难课题。  
昇思MindSpore的回答是跨域可托训练。  
以鹏城.盘古大模型为例，昇思的联邦学习才能助力盘古超大模型协同训练，按照各地算力状况将大模型拆分，以AI计算核心超大算力完成盘古骨干网络的正反向训练，同步在银行等计算机房做数据处置，模型Embedding、TOP层算Loss正反向训练，完成了敏感数据不出当地，并让联邦学习的训练时延升高了30%、通讯和计算开消升高了40%。  


就像Omdia在讲演中的评论：“担任任的人工智能”便是一套品德原则，又是一套技术体系， 是以平安、牢靠和符合品德的形式开发、评价、部署和范围化人工智能零碎的办法，对人工智能的可继续开展十分首要。  
大模型、迷信智能等技术生态在过来三年时间里深化影响了开发者对AI框架的选择，把时间再拉长一些的话，能否在可托AI方面有所作为，能否消除开发者的疑虑，无疑将摆布AI框架下一个三到五年的市场排位。  
04 写在最初  
人工智能的星星之火能否燎原，AI框架有着不成或缺的作用。  
一座城市的繁华，不在于有多高的摩天大楼，而是无处不在的修建群。沿循这样的逻辑，AI框架的价值在于赋与不同的开发者“建造高楼”的才能，让人工智能的前沿才能进入每一个个行业、每一个家企业。  
最少，以昇腾AI为首的中国人工智能产业建立者早已开始发力。  
不仅是昇思MindSpore在技术生态上的异军崛起，Atlas系列硬件、异构计算架构CANN、昇腾运用使能MindX等软硬件也在继续翻新，为开发者打造了“端、边、云”的全场景AI根底设施，让人工智能在千行百业不停分散。