文心一言算力从哪来？自家最大智算核心：算力范围4EFLOPS，base李彦宏老家

sunblack731

原标题：文心一言算力从哪来？自家最大智算核心：算力范围4EFLOPS，base李彦宏老家  
明敏 发自 凹非寺   
量子位 | 大众号 QbitAI   
百度版ChatGPT底层算力反对，李彦宏老家 阳泉助一臂之力！   


量子位得悉， 百度阳泉智算核心从2月底开始就布设了 两个新机房，专门为自家大模型产品 文心一言提供计算推理的算力需要。   
一样功用的机房，在百度保定计算集群， 还有两个。   
北京、华南的云计算资源也会为文心一言提供反对。  
其中，阳泉智算核心是亚洲单体最大的智算核心，算力范围可达 4EFLOPS（每秒400亿亿次浮点计算）。   
而就在比来，微软也表现为ChatGPT专门打造了超算集群，由 上万块英伟达A100组成，并专门为此调剂了办事器架构。   
那末百度的算力根底设施程度如何？  
量子位刚刚从阳泉智算核心探寻归来，给大家来波揭秘~  
每秒400亿亿次浮点计算   
据百度引见，阳泉智算核心在3月份刚刚实现降级。  
它是目前亚洲最大单体智算核心，算力范围达 4EFLOPS（每秒400亿亿次浮点计算），全部修建面积约十二万平方米。   
一共包罗13个模组，可承载约 28万台办事器。   


     智算核心采取 CPU+GPU+XPU三种计算架构。   
其中XPU应该次要指百度自家的 昆仑芯，其产品一代二代均已完成量产，落地范围在2万片以上。   
计算才能上，基于天蝎机柜办事器、“冰山”冷存储办事器和X-MAN超级AI计算平台等，可反对 10G、25G的通用计算网络接入和 100G的AI高速无损网络的替换机。   
每秒可实现 2000万亿次深度神经网络计算。   
节能低碳方面，阳泉智算核心 PUE能够低至1.08。（这一数值大于1、越接近1表现能效程度越好）   
在供电上，阳泉智算核心去除了传统的UPS（不中断电源），采取HVDC offline（低压直流离线）技术、散布式锂电池（BBS）供电技术，把供电效力从90%晋升到 99.5%。   
同时采取太阳能光伏发电（阳泉日照对比短缺），在顶楼铺设太阳能光伏面板，间接并网发电给办事器使用。  
散热方面，因为阳泉年均匀气温在8-十二度，日夜温差大，智算核心能够间接利用本地气象前提散热。  
据引见，全年96%的时间能够使用室外冷空气完成收费冷却，换算过去一年里有14.6蠢才需求整个开冷水机组制冷，从而节俭了少量的动力。  
技术人员表现，智算核心会按需发电和散热，日常运维也是基于AI来完成的。  


自21年4月以来，阳泉智算核心正式投入使用。在去年十二月起，开始对外凋谢办事。  
过后名目方案投资为47.08亿元。  
云计算要借大模型的西风   
无独有偶，微软也在近日地下了为ChatGPT专门打造的超算集群，包孕了 上万张英伟达A100。   
微软表现，他们给OpenAI提供这台超算曾经有3年之久，而ChatGPT也恰是基于这台超算提供的算力训练的。  
此举面前，微软有两方面考量。  
其一，吸引更多企业来使用Azure训练本人的大模型。微软履行副总裁Scott Guthrie表现：  
虽然它是OpenAI的定制版，但一样具备某种通用性，任何企业均可以基于这类形式来训练本人的大言语模型。
    虽然它是OpenAI的定制版，但一样具备某种通用性，任何企业均可以基于这类形式来训练本人的大言语模型。  
其二，间接在Azure中提供OpenAI模型办事（Azure OpenAI Service）。  
此前包罗GPT-3、Codex和DALL·E 2等模型，都曾经接入Azure。  
至于纳德拉1月份立的“要把ChatGPT参加Azure办事”flag，目前也曾经完成。  

类最近看，百度想打的算盘，也许也不会局限在文心一言自身。  
据引见，为了反对文心一言的大范围智能算力需要， 百度智能云曾经实现了三大配套云办事。   
3月份降级阳泉智算核心；  2月，百度智能云降级了AI研发经营一体化（MLOps）才能；  去年十二月，百度公布了全栈自研的AI根底设施“AI大底座”（阳泉智算核心搭载了这一底座）。    前段时间李彦宏外部信中还提到：  
文心一言将经过百度智能云对外界提供办事，基本性地改动 云计算市场的游戏规定。
    文心一言将经过百度智能云对外界提供办事，基本性地改动 云计算市场的游戏规定。   
这里的意思是，大模型浪潮将改动传统云计算办事看 算力、存储的旧习气，而是进入到看框架好欠好、模型好欠好，以及模型、框架、芯片、运用之间的协同的新游戏规定。   
由此也可推理，百度寄但愿于文心一言，向市场验证自家云计算才能，并吸引更多企业用户。  
据引见，百度搭建的“AI大底座”包罗了百舸异构计算平台和AI中台两大部份。  
百舸异构计算平台能够在AI计算、存储、减速、容器方面进行零碎优化，承载数据处置、超大模型的推理和训练。  
AI中台整合了飞桨深度学习框架和百度文心大模型，完成了从数据存储到模型训练、出产、部署、测试的全链路、批量化出产。  
而百度智能云更详细的才能如何？  
也许从文心一言上线后的表示就可以略知一二了。  
— 完—   
3月29日「中国AIGC产业峰会」  
抢票开启  
「中国AIGC产业峰会」定档3月29日，线下会场抢票开启！  
百度 袁佛玉、智源 林咏华、澜舟科技 周明、小冰 徐元春、科大讯飞 高建清、启元世界 袁泉、云舶科技 梅嵩、特赞 王喆、微软 关玮雅、源码资本 黄云刚、元语智能 朱雷、无界Ai 马千里、Tiamat 青柑、峰瑞资本 陈石等来自产学研界大咖佳宾，还有重磅佳宾陆续确认中。   
扫描下方二维码，报名峰会线下会场啦～  
点这里 ?关注我，记得标星哦～   
一键三连「分享」、「点赞」和「在看」  
科技前沿停顿日日相见 ~