AI大模对型算力基础设施的需求驱动如何？

以下内容都是根据相关报告总结的，如果有兴趣了解更多相关的内容，请下载原报告阅读。

数据、算力及模型是人工智能发展的三要素。以GPT系列为例： 1. 数据端：自OpenAI于2018年发布GPT-1，到2020年的GPT-3，GPT模型参 数数量和训练数据量实现指数型增长。参数数量从GPT-1的1.17亿增长到GPT-3的 1750亿，训练数据量从5GB增长到的45TB； 2. 模型端：ChatGPT在以往模型的基础上，在语料库、计算能力、预训练、自 我学习能力等方面有了明显提升，同时Transformer架构突破了人工标注数据集的不 足，实现与人类更顺畅的交流； 3. 算力端：根据OpenAl发布的《Language Models are Few-Shot Learners》， 训练13亿参数的GPT-3 XL模型训练一次消耗的算力约为27.5 PFlop/s-dav，训练 1750亿参数的完整GPT-3模型则会消耗算力3640 PFlop/s-dav（以一万亿次每秒速 度计算，需要3640天完成）。

在人工智能发展的三要素中，数据与算法都离不开算力的支撑。随着AI算法突 飞猛进的发展，越来越多的模型训练需要巨量算力支撑才能快速有效实施，同时数 据量的不断增加也要求算力配套进化。如此看来，算力成为AI突破的关键因素。 AI大模型的算力需求主要来自于预训练、日常运营和模型微调。 1. 预训练：在完成完整训练之前，搭建一个网络模型完成特定任务，在训练网 络过程中不断调整参数，直至网络损失和运行性能达到预期目标，此时可以将训练 模型的参数保存，用于之后执行类似任务。根据中国信通院数据，ChatGPT基于 GPT3.5系列模型，模型参数规模据推测达十亿级别，参照参数规模相近的GPT-3 XL 模型，则ChatGPT完整一次预训练消耗算力约为27.5 PFlop/s-dav。

2. 日常运营：满足用户日常使用数据处理需求。根据Similarweb的数据，23年 1月份ChatGPT月活约6.16亿，跳出率13.28%，每次访问页数5.85页，假设每页平均 200 token。同时假设：模型的FLlops利用率为21.3%，与训练期间的GPT-3保持一 致；完整参数模型较GPT-3上升至2500亿；以FLOPs为指标，SOTA大型语言在在推 理过程中每个token的计算成本约为2N。根据以上数据及假设，每月日常运营消耗算 力约为6.16亿*2*（1-13.28%）*5.85*200*2500亿/21.3%=14672PFlop/s-day。 3. 模型微调：执行类似任务时，使用先前保存的模型参数作为初始化参数，在 训练过程中依据结果不断进行微调，使之适应新的任务。

ChatGPT引发新一轮AI算力需求爆发。根据OpenAI发布的《AI and Compute》分析报告中指出，自2012年以来，AI训练应用的算力需求每3.4个月就回会翻倍，从 2012年至今，AI算力增长超过了30万倍。据OpenAI报告，ChatGPT的总算力消耗约 为3640PF-days（即假如每秒计算一千万亿次，需要计算3640天），需要7-8个算力 500P的数据中心才能支撑运行。上海新兴信息通信技术应用研究院首席专家贺仁龙 表示，“自2016年阿尔法狗问世，智能算力需求开启爆发态势。如今ChatGPT则代 表新一轮AI算力需求的爆发”。

全球算力规模将呈现高速增长态势。根据国家数据资源调查报告数据，2021年 全球数据总产量67ZB，近三年平均增速超过26%，经中国信息通信研究院测算，2021 年全球计算设备算力总规模达到615EFlops，增速达44%。根据中国信通院援引的 IDC数据，2025年全球算力整体规模将达3300EFlops，2020-2025年的年均复合增 长率达到50.4%。结合华为GIV预测，2030年人类将迎来YB数据时代，全球算力规 模达到56ZFlops，2025-2030年复合增速达到76.2%。