火山引擎：凋谢字节跳动同款AI基建，一套零碎解决多重训练工作

胸口碎大石中

原标题：火山引擎：凋谢字节跳动同款AI基建，一套零碎解决多重训练工作  
7月20日的火山引擎原能源大会上，火山引擎公布全新Slogan“云上增长新能源”，并推出以云为底座的一系列产品解决计划，包罗企业上云和智能营销通用计划，以及掩盖金融、汽车、消费、娱乐、医疗、通讯传媒六大行业的云上增长计划。    火山引擎机器学习零碎担任人项亮在大会上正式公布并引见了机器学习与保举平台多云部署解决计划。项亮引见，抖音团体旗下不同业务的不同保举零碎，都是基于一个一致的训练平台提交，由一致的训练零碎训练。当初，这类模式由火山引擎对外凋谢，为企业提供凋谢的AI基建，帮忙企业更专一于业务。   


抖音、头条、西瓜等业务使用了保举、广告、搜寻、创作和VR等技术。这些技术都对比重地运用到了AI。从零碎的角度看，AI是一个定义的对比纯正的问题。因此，如何让AI技术在不同业务中失掉充沛的复用，就变得很首要。  
以保举为例，抖音、头条、番茄等业务的不同保举零碎的训练工作，都基于一个一致的训练平台提交，由一致的训练零碎训练。次要的区分只在于特点的定义、网络构造的定义和训练超参的定义。这样的益处是让常识的同享变得容易，好比，在抖音无效果的办法能够很容易地推到其余业务。不同任务的比较也很容易，由于在工程上是打平的，独一的差别就来自算法层面。  


此次，火山引擎正式公布机器学习与保举平台多云部署解决计划，也是承袭上述理念。火山引擎但愿，向内部企业凋谢AI基建，能够让企业解放休息出产力，更为专一于业务翻新。  


关注开发者体验，打造0碎片、高弹性的机器学习平台  火山引擎机器学习平台具备0碎片和高弹性的特征。作为资源调度平台，机器学习长时间以来最大的痛点就是碎片和弹性。火山引擎的0碎片才能很大水平上是基于字节跳动体系对比充沛的表里复用。另外，火山引擎也在计算/通讯/网络上对平台进行了优化：在计算上，提供手工优化算子和编译才能；在通讯上，开源了BytePS的散布式训练库和veGiantModel模型并行化的库；在存储方面，火山引擎提供TOS对象存储和vePFS散布式文件零碎。  


同时，火山引擎机器学习平台十分关注开发者体验。传统公司往往是给研发每人几块GPU卡，在开发者不任务时，这些卡处于闲置形态，这也是企业GPU利用率低的一个首要缘故。对此，火山引擎提供了开发机模块。这一在线开发机模块对齐了以前物理开发机的体验。开、关机环境都能保存。同时很好地集成为了容器，便利不同环境的开发切换；火山引擎机器学习平台在监控、试验tracking等方面也提供了不错的工具，开发实现后，能够一键提交工作到集群进行job化训练。  


据英伟达中国区工程及解决计划总经理赖豪杰引见，火山引擎和英伟达在过来几年里已发展了深化协作，从NVIDIA A100 到 H100，火山引擎始终放弃第一时间迭代更新实例产品，使弹性计算实例与机器学习平台始终放弃着最具竞争力的算力与机能。  
单方此前与轻舟智航协作推出自动驾驶工具链轻舟矩阵，以仿真为中心，可买通从研发到测试经营的全流程，完成自动驾驶技术研发的高效迭代。依靠火山引擎AI开发平台，轻舟矩阵上的自动驾驶模型训练GPU利用率可晋升30%。  
“跟着AI模型范围不停增大，关于算力的需要也以指数级别疾速晋升。” 赖豪杰说，“火山引擎基于H100的全新一代弹性计算HPC实例和机器学习平台，将为企业客户提供更好的AI算力机能。”  
深度凋谢的保举平台，反对企业积淀保举才能  


在智能保举平台方面，火山引擎能够完成：只需一个平台，就可以帮忙企业完成从数据接入到保举后果输入，这一残缺的端到端保举办事的搭建；在特点工程/模型开发模块，火山引擎既能经过简略的配置提供入门级的功用，同时也提供了低代码的开发才能，让工程师能够结合本人的教训深度参预到成果的优化中；与此同时，模型反对实时训练，用户的行动和偏好能很快体当初保举后果中。另外，火山引擎智能保举平台还反对深度的行业定制。目前，火山引擎已在电商、内容、视频等多个畛域办事了得多客户，并将积攒的行业教训，积淀成行业模板，能够为不同畛域的企业提供更专业的保举办事；对企业而言，更加首要的一点是，火山引擎智能保举平台反对灵敏的彩色盒功用，能够让企业积淀本身的保举才能。  


行业内对保举零碎的广泛认知是十分繁杂，波及的功用模块十分多：首先要对数据进行处置，以包管数据品质；处置后的数据进入到特点工程环节，对特点进行抽取——特点和样本会运用到模型的训练中；在线办事会对召回/排序/规定进行编排，还需求做少量的AB试验来验证保举的成果，最初能力验证保举是不是无效。  
在火山引擎保举零碎上，企业不需求跨多个零碎，能够间接在成熟的保举平台上实现一整套保举零碎的搭建。  
以后，得多企业都想要积淀研发才能，但愿零碎不要太黑盒。火山引擎特点工程模块兼具彩色盒功用：黑盒是让平台间接办理两头的进程，企业能够间接使用；白盒的功用能够知足工程师做深度开发的需要。与火山引擎机器学习平台同样，火山引擎保举平台也提供得多数据抽取和特点处置的算子，完成高效灵敏的特点自定义。  


在模型开发方面，平台也兼具彩色盒功用预置模型，提供10+种模型构造，企业只需求设定好优化指标，就能训练使用。自定义模型则是经过低代码的形式完成模型的开发，平台内置多种代码示例，提供了代码比较、成果比较、训练日志等多种工具，便利工程师更快上手。  
无论是预置模型仍是自定义模型，底层都是基于一套字节跳动自研的training和serving的计划-monolith，可完成万亿级参数的模型训练，以全方位的容错机制包管不乱性，反对流式训练和实时模型调参等特征，包管模型训练的机能和成果。  
项亮指出，不同行业拥有不同的业务特征，关注的业务指标也不同，好比电商更关注商品的点击率、转化率和成交金额；旧事资讯行业则对实时性要求对比高，但愿晋升内容点击率和用户的停留时长；广告更关注每千次点击转化率。不同行业还会有新用户、新内容的冷启动这种的问题，火山引擎保举平台结合行业特征，积淀成行业模版，能够让不同行业的企业疾速地接入使用。  
OPPO数智工程零碎总裁刘海锋引见，火山引擎助力OPPO构建了寰球当先的保举零碎混合云，在保障用户体验的条件下，帮忙OPPO在多个运用散发、信息流、同盟等办事场景中晋升商业化价值。据理解，OPPO数智技术框架包罗计算、网络、两头件和数据库的混合云根底设施层；面向海量跨零碎数据进行存储与处置的云原生数据湖层；包罗端侧推理、模型紧缩、大范围训练、AutoML的端云一体机器学习零碎；包罗语音、NLP、常识图谱、CV、保举搜寻等根底才能的AI才能层；跨终端、多场景落地的业务运用层；以及为企业提供平安可托的AI平安才能层。  
火山引擎也经过对OPPO的保举算法进行专属云底座降级，重点晋升了模型的响应速度和离线保举任务才能为OPPO提供了更为弹性的矫捷资源、更为不乱的工程品质、更为高效的运维办事，为商业化业务价值晋升发明了更为松软的根底。  


最初，项亮表现，由于数据隐衷等缘故，得多客户但愿平台能反对多种部署计划。此次，火山引擎公布的机器学习与保举平台多云部署解决计划，可以反对私有云部署，公有云部署，VPC部署和专属AZ部署。  
字节跳动副总裁杨震原以为，技术和业务是一个互构的瓜葛，技术和业务相互塑造、独特生长。他表现：“火山引擎积淀了字节外部业务的技术理论，但愿也可以帮忙内部客户晋升业务价值”。  
— 完 —  
量子位 QbitAI  
关注咱们，第一时间获知前沿科技静态