ChatGPT有多烧钱？大模型训练一次200-十二00万美元

公主面具

原标题：ChatGPT有多烧钱？大模型训练一次200-十二00万美元  
ChatGPT 风行寰球后，科技巨头们纷纭入局，生成式 AI 其面前以大模型为根底的人工智能成为业界投入的标的目的。  
IT之家理解到，所谓“大模型”，一般为在无标注的大数据集上，采取自监视学习的办法进行训练。之后在其余场景的运用中，开发者只需求对模型进行微调，或采取大量数据进行二次训练，就能知足新运用场景的需求。  
但是，训练通用大模型十分“烧钱”。据国盛证券讲演《ChatGPT 需求多少算力》预算，GPT-3 训练一次的本钱约为 140 万美元，关于一些更大的 LLM（大型言语模型），训练本钱介于 200 万美元至 十二00 万美元之间。以 ChatGPT 在 1 月的独立访客均匀数 1300 万计算，其对应芯片需要为 3 万多片英伟达 A100 GPU，初始投入本钱约为 8 亿美元，逐日电费在 5 万美元摆布。  
假如将以后的 ChatGPT 部署到谷歌进行的每次搜寻中，需求 5十二820.51 台 A100 HGX 办事器和总共 4102568 个 A100 GPU，这些办事器和网络的总本钱仅资本收入就超过 1000 亿美元。  
国盛证券以为，在私有云上，关于以谷歌等寰球科技大企业而言，百万至千万美元级别的训练本钱其实不廉价，但尚在可承受规模内、并不是低廉。  
来源：IT之家