华人澳洲中文论坛

热图推荐

    地表最强AI智算来了,12EFLOPS中国选手击败谷歌,最强AI智算易主(图)

    [复制链接]

    2022-8-30 21:15:26 29 0

    “寰球最强智算”王座,刚刚易主。
    来自中国河北省张北县的“中国选手”,一举击败谷歌。

    图:张北县草原
    而其所凭借的算力值,每秒浮点运算次数曾经高达十二EFLOPS(百亿亿次)。

    比拟之下,谷歌单集群算力峰值是9EFLOPS,特斯拉也仅有1.9EFLOPS。
    那末张北县的这个“速度”,究竟有多快?
    举个例子。
    之前要训练一个自动驾驶的模型,大略需求破费的时间是7天。
    而在“寰球最强算力”加持之下,这个时间间接缩短到了1小时以内,整整提速了将近170倍!

    智算,即为人工智能专门提供的AI算力。这个“寰球最强智算”的庐山真面目,恰是来自位于河北省张北县的阿里云飞天智算平台所启用的张北智算核心。

    并且这个智算核心不只是在AI算力上取得第一这么简略,据理解,这个智算核心还“解锁”了如下才能:
  • 千卡并行效力达90%以上,计算资源利用率可晋升3倍
  • 最高可将存储IO机能晋升10倍,将零碎时延明显升高90%
  • 至多可晋升AI训练效力十一倍,推理效力6倍
  • PUE最低降至1.09,建立占高空积节俭90%
    并且这些AI算力,正在带来一个更为智能化的日常。
    如斯智算都用在了哪里?
    首先就是方才提到的自动驾驶。

    此前,阿里云便和小鹏汽车打造了中国最大的自动驾驶智算核心“扶摇”。
    而这也是国际第一个投入实际经营的,专为自动驾驶办事的超大智能算力集群。
    也正如其名,“扶摇”之意,是指阿里云提供的超大算力和AI研发工具链,能让小鹏汽车的自动驾驶技术的迭代效力“直上九天”。
    整体而言,“扶摇”具备两大特点。
    首先就是以超大范围GPU算力作为AI模型迭代的根底。
    这是由于自动驾驶、或者说智能汽车上的中心功用,其实都是AI,是大范围的深度学习算法。
    而无论是训练,仍是测试这样的模型,表演配角的再也不是传统CPU的逻辑推理才能,而是以AI减速器为主的浮点计算才能,GPU则是以后AI减速器的主流。
    其次,即是提供了针对自动驾驶运用特点的计算集群、机能减速软件和AI大数据一体式平台,使得模型训练速度、GPU资源利用率和算法研发效能都大大晋升。
    据理解,目前曾经建成交付的扶摇智算核心,总算力达到600PFLOPS,即每秒进行6×1017次浮点运算。
    总体计算效力上,扶摇完成了算力的线性扩展。存储吞吐比业界20GB/s的广泛水准晋升了40倍,数据传输才能至关于从送快递的微型面包车,换成为了20多米长的40吨集装箱重卡。
    这也就是自动驾驶中心模型训练时间,可以由7天缩短至1小时内的次要缘故。
    而自动驾驶,只是飞天智算核心运用的场景之一。
    在科研畛域,也早已处于“上岗”形态。
    北大化学与份子工程学院方便用阿里云的智能算力,将靶向药钻研数据集计算效力晋升了100倍。
    此前算法依赖的是单机式算力,受限于软硬件的限度,往往零碎总体机能偏低,无奈知足疾速增长的算力需要。而经过集群进行并行计算,能让算力范围再也不成为掣肘。

    不外有一说一,算力这个货色,其实经过自行购买GPU搭建集群的形式即可以获得,并且此前行业内广泛的做法也是如斯。
    那末为何诸多畛域当初都开始时髦采取智算核心了呢?
    这是由于近些年来,不管是自动驾驶、元宇宙,亦或是生命迷信天文学,各类科研和产业运用的开展,都愈加具备数智驱动的趋向,这类状况下算的更快往往就是中心劣势,算力成了绝对的出产力。
    基于如斯现状,智能计算能够提供更为多元化的算力办事,逐步成了主流选择。
    但智能计算不同于通用型计算,需求海量数据对AI模型进行训练,算力往往在模型参数更新、数据迁徙等环节被损耗,千卡以上范围仅有40%的无效算力输入,乃至泛起计算卡越多,整体机能越差的状况。
    这便致使了范围化的算力的获得难题,不只硬件本钱低廉,并且还需求专业的技术从零碎架构、软件等方面进行深度重构和优化,自建智算核心,本钱和时间便成了最大的朋友。
    以自动驾驶为例,繁杂路况下的繁杂决策才能,包罗辨认红绿灯、路口、行车车辆等等,其实曾经进入L3-L4级规模。
    根据如斯迭代速度,将来3-5年,自动驾驶研发很快会进入较为成熟的L4级乃至是L5级,迭代所需算力范围也会疾速回升到只要“智算核心”能力知足。
    算力需要的指数级收缩,形成目前自动驾驶玩家的“算力”焦虑愈来愈重大。
    因此,当下自动驾驶关于智算核心的需要,实际上是为放弃继续的技术当先劣势做贮备。
    而飞天智算核心便在拿下寰球第一速度以外,还规避了诸多传统高机能计算固有的疑问杂症。
    为理解开这些疑问,阿里连顶会最好论文都没少拿。
    “寰球最强”面前的一套功法
    机密就藏在面前的飞天智算平台:
    一个能够继续进化的智能算力零碎。


    换句话说,做智算核心不克不及仅斟酌根底设施和硬件,也要斟酌其上运转的软件平台、算法和办事。
    这其中最首要的是做到软硬一体,经过“打磨”让软件和硬件在一个平台中真正互相融会。
    首先,要做到单集群十二EFLOPS的算力峰值,仅靠单块芯片无奈实现,就需求斟酌并行效力的问题。
    假如在一台普通电脑里装两张相反的游戏显卡,大略只能获取75%的机能,也就是花了两份钱只享用到一份半的成果。
    相似的问题在智算核心也存在,并且更重大。由于要用到上千张GPU做并行计算,算力输入最低往往仅有40%摆布。花一千份的钱,只享用四百份的成果,亏大了。
    那末在飞天智算平台,千卡并行的效力能够做到多少呢?
    90%。
    要做到这一点,最症结的就是增加非计算部份的开消——上图里的阿里云灵骏智能计算就是干这事的。

    △采取浸没式液冷的灵骏智能计算,Pue低至1.09另外,还需求散布式并行计算框架、混合精度、数据通讯的优化、I/O的优化等,都需求在业务虚践中重复打磨、互相配合能力做到极致的优化。
    除了GPU以外,构建如斯大范围算力也少不了异构计算。
    飞天智算平台适配多种芯片架构,反对X86、ARM、GPU、NPU等多种处置器混合部署和一致调度。
    据灵骏产品研发担任人曹政透露,为了反对国产化芯片的生态开展,在云办事的畛域他们乃至做到了比厂商更好的机能调优。
    那末,这类“打磨”的才能从何而来?
    源于阿里多年的业务虚践。
    拿淘宝来讲,商品搜寻、智能客服、千人千面的共性化保举等,均匀天天需求处置10亿张图象、十二0万小时视频、55万小时语音和5000亿句天然言语。
    每逢618、双十一大促,更是要面对峰值负载的考验,多年来已积淀出顺应实际需要的技术体系和最好工程理论。
    在AI开发层,阿里云还有两个杀手锏:PAI-EPL和PAI-Blade。
    前者可以撑持万亿级参数的大模型训练,提供了包罗数据并行、模型并行、流水并行在内的丰硕的散布式训练才能。
    在外部测试中,PAI-EPL只用了5十二张 GPU就实现了M6万亿模型的训练,大幅升高了超大模型训练的本钱,将训练效力晋升了十一倍以上。
    PAI-Blade则为用户提供了一站式的通用推理优化工具,对算法模型进行量化、剪枝、稠密化、蒸馏等操作,尽可能防止用户改模型代码,可将推理效力晋升6倍以上,极大中央便用户使用。
    这些综合技术整合到一同,就成为了飞天智算平台软硬一体才能的来源。

    除了智算核心本身软硬件以外,其上运转的算法和智能办事也是飞天智算平台中的首要才能。
    全链路AI开发工具与大数据办事,包罗阿里云大数据+AI一体化产品体系,聚拢了机器学习平台PAI、大数据开发与治理平台DataWorks、MaxCompute、Hologres、Flink等计算引擎完成架构一致。
    如斯一来,可合用于多种AI场景的计算和开发需要,包罗迷信钻研、精准医学、气候预告、数字孪生、自动驾驶等多种场景。至多可晋升AI训练效力十一倍,推理效力6倍。
    此外说到智能算法也别忘了达摩院。据引见,达摩院开源的M6大模型从降生之初就与飞天智算平台一同成长,互相配合起来更能发扬出彼此的实力。
    最初,绿色低碳也是飞天智算核心的劣势之一。
    关于大型算力核心来讲,权衡绿色化水平的一个首要目标是动力利用效力(PUE, Power Usage Effectiveness)。
    按照《2021年中国数据核心市场讲演》,2021年全国数据核心均匀PUE为1.49,华北地域均匀约为1.40。
    这象征着IT装备每损耗1度电,就有额定的0.9度电用于散热、供配电零碎自身的损耗、照明等其余用处。
    而张北智算核心采取了行业特有的单相浸没式液冷解决计划,将办事器泡在特殊冷却液里,PUE最低能够达到1.09,行业当先。

    阿里云浸没式液冷办事器
    另外,AI调温和模块化设计等都起到了症结作用。
    不只如斯,智算核心选址在张北还能够利用起本地短缺的光伏和风电资源,做到100%使用清洁动力。
    不外为了战胜光伏和风力发电不不乱的问题,也需求更弱小的供配电技术来保障。
    如何评估寰球智算王座易主?
    纵向看时间。
    两年前,阿里初次地下自研AI集群细节,那篇论文还被计算机体系构造顶级会议HPCA 2020收录。
    不外在多年来始终参预平台建立的曹政看来,当年团队把留意力单纯的集中在了技术上。
    如今降级扩展到智算平台,除了范围扩张,技术进化之外,还更看重产品、办事,看重智算平台能否真正顺滑的与出产流程相结合。
    横向看比较。
    建立大范围智能算力有几类玩家,云计算公司、AI算法公司、硬件公司。
    阿里在其中是一种对比特别的存在,既有自研云计算技术体系,又有外部AI业务的少量理论,比来又开始涉足自研芯片。
    如斯打造出来的智算平台高度自主可控,既能以此为底本不停复制出新的智算核心,又能在办事不同行业时低本钱迁徙。
    如专为小鹏汽车定制打造的乌兰察布智算核心即是很好的例证。
    假如把眼光拉远,更大的图景在于数字化降级、智能化转型。
    这些年来,智算核心的办事对象从大型技术公司、AI算法初创公司,逐步扩展到自动驾驶、AI for Science等穿插行业。
    跟着智能化转型逐步深化,不久的未来还要办事于农业、制作业、动力、物流这些离IT技术更远的行业,而越是这样的行业就越是需求端到真个解决计划。
    从这一点来看,强调“打磨”、“顺滑”的飞天智算平台,再一次“侥幸地”引领了时期趋向。
  • 发表回复

    您需要登录后才可以回帖 登录 | 立即注册

    返回列表 本版积分规则

    :
    注册会员
    :
    论坛短信
    :
    未填写
    :
    未填写
    :
    未填写

    主题7

    帖子43

    积分179

    图文推荐