ChatGPT及生成式AI对英伟达业绩贡献是什么？

以下内容都是根据相关报告总结的，如果有兴趣了解更多相关的内容，请下载原报告阅读。

ChatGPT 模型训练成本：预计单次成本约 151 万美元。因为单次模型训练耗时较长， 一般情况下不太会反复预训练大语言模型，因此我们在测算训练环节成本时，假定预训练 单次，且训练过程中没有出现错误时的成本。实际情形中，考虑到训练过程中出现工程类 错误的可能性，实际成本会高于我们计算的理想情况成本。假设参数量为 175B、训练数 据 500B Tokens 的情况下，根据 OpenAI 公司发表的论文《Scaling Laws for Neural Language Models》，我们在使用 256 个英伟达 HGX A100 服务器(包含 2048 个 A100 GPU 卡）的情况下，模型 FLOPs Utilization（MFU）假设为 Megatron-LM 的 51.04%，我们推 测单次训练时长约为 30.7 天，对应约 151 万 GPU 小时。假设训练使用成本价约为 1 美元 /GPU 小时的情况下，耗费服务器端成本约为 151 万美元。

Chatgpt 模型推理成本：综合成本远高于训练环节，预计目前单次用户调用成本理论 最高 2.7 美分。用户每请求一次 ChatGPT 的生成都需要耗费大量的算力资源，这是目前 ChatGPT 的主要成本项。关于推理端成本测算的参考内容较少，主要是因为模型构成的细 节变化会较大程度的改变模型推理每一个 Token（Token 可以理解为单词的一部分，常用 的单词一个词即为一个 token，而复杂的单词可能由几个 token 共同组成）所需要的时间。 继承上部分在训练端测算所做的假设，ChatGPT 基于 GPT3.5 Dense Davinci 模型。此外 对于模型细节我们做进一步假设，模型使用了 96 层、12288 Hidden Dimension、FP16 和 INT8 混合精度并使用最大 4096 的 Sequence Length。实际推理速度主要由两部分组 成：一部分是通信延迟，另一部分是硬件内存带宽,考虑到实际推理时 Batch 一般较小以及 会做相应的优化，我们寻求简便忽略掉通信延迟的影响。根据 OpenAI 的“Scaling Laws for Neural Language Models”论文中的公式，我们可以推算出模型生成每一个 Token 总共需 要的 GPU 内存约为 0.25TB。考虑到 HGX A100 服务器（8*A100）进行推理时的性能参 数，ChatGPT 推理在小 Batch Size 的情况下是一个访存限制的任务，而在大 Batch Size 的情况下是算力限制任务。这里我们假设极端情况，认为 ChatGPT 推理是一个完全访存 限制的任务，且不对存储做额外优化（并行优化等）。假设每次生成的长度平均为 200 个 tokens，问题长度小于 500tokens，我们推算每次生成的成本约为 2.7 美分。而在现实情 况下，执行推理任务时会对存储方式以及硬件并行进行额外的优化，以降低带宽延迟影响， 但具体优化程度缺少对实现细节的了解时难以量化。因此单次生成 2.7 美分是理论情况下 最高成本，实际成本视优化手段可能在理论最高成本 10%-60%之间浮动。

ChatGPT 对英伟达业绩贡献测算：在模型训练环节，我们估算，采用 256 个英伟达 HGX A100 服务器(包含 2048 个 A100 GPU 卡），单次训练时长约 30.71 天，这是一个市 场相对容易接受的时长，我们假定市场实际情况亦和此类似。模型推理环节，我们假定企 业会在推理环节对通信延迟、内存带宽等进行必要优化，因此假定用户访问 ChatGPT 的 单次成本为理论最高成本（2.7 美分/次）的 30%，也即 0.8 美分，假定目前 ChatGPT 目 前 2000 万日活跃用户，用户每天调用次数为 10 次，单次调用成本 0.8 美分，我们采用英 伟达 HGX 服务器进行算力承载，并假定 HGX A100 服务器的价格为 8 美元/小时，实际使 用率为 70%，则我们估算每天算力成本为 160 万美元，对应英伟达 A100 卡 9.5 万张，假 定每张 A100 卡售价 1.5 万美元，对应英伟达收入 14.3 亿美元，加上训练端的成本，则对 应英伟达收入约为 14.6 亿美元。

生成式 AI 对英伟达的业绩贡献分析：显然，ChatGPT 仅仅是目前大语言模型在人机 对话领域的重要应用场景，目前以 LLM 等为代表的生成式 AI 已经广泛应用或即将应用于 于文字生成&归纳、商用搜索、图像&音视频生成、智能客服等领域。同时在算力成本上， 参考 Sunyan 的论文《The Economics of Large Language Models》关于 LLM 的简化测算 框架，我们简化假定所有的大模型算力成本基本遵类似于 LLM 的逻辑，不考虑算法架构、 工程优化、数据质量等因素，大模型算力成本主要受到模型参数规模、训练数据集规模的 影响，并呈现严格的正相关关系。我们尝试探讨在大模型主导的生成式 AI 领域，AI 对算 力的消耗，以及对英伟达的业绩拉动，我们继续沿着模型训练、模型推理两个主要环节展 开。

1）生成式 AI 模型训练：基于上文的分析，我们假设大模型的构建、维护将主要由少 数科技巨头&科研机构主导，大部分技术公司将主要聚焦于模型的 fine-tune，以及和下游 应用场景的对齐。我们简化假定每个大模型的算力消耗、时间约束和 ChatGPT 基本一致， 即采用 256 个英伟达 HGX A100 服务器(包含 2048 个 A100 GPU 卡），模型单次训练时间 30 天左右。考虑到底层大模型在 AI 领域的重要性，我们相信每个具有相关技术&资金能 力的国家地区、企业机构基本都倾向于构建一套自己的大模型，因此我们做出如下敏感度 分析（表 12），保守情形下，假定全球范围内维护的大模型数量为 50 个，则对应英伟达 A100 卡需求为 10.24 万张，对应收入 15.4 亿美元。

2）生成式 AI 模型推理：为简化讨论，我们主要聚焦于文字生成&归纳、代码编写、 商用搜索、聊天机器人等几种主要应用场景，调用成本及主要假设和针对 ChatGPT 的测 算完全一致，并假设推理计算动作（用户请求响应）均主要通过云端集中计算完成，我们 的简化测算过程如下：

1） 文字生成&归纳、代码编写：我们以微软的软件产品为测算样本，并假定其占据 市场整体 80%份额，目前微软旗下办公套件、代码编写等产品付费用户合计超过 10 亿，假定中期 AI 在其中实现 20%的渗透率，用户平均每天调用 2 次，则文字 生成&归纳、代码编写对英伟达的收入拉动为 31.3 亿美元。

2） 商用搜索市场：根据微软数据，目前全球商用搜索市场每天用户请求次数约为 100 亿次，我们假定搜索中 10%的结果由语言模型生成，则对应英伟达的收入贡献约 为 71.4 亿美元。

3） 对话机器人：目前 ChatGPT 按照 2000 万 DAU 计算，我们测算对英伟达的营收 拉动约为 14.3 亿美元，聊天机器人可被应用于智能客户等多个广泛的领域，我 们简化假设聊天机器人对应的整体应用场景需求量约为当前 ChatGPT 的 5 倍， 则对应的英伟达收入拉动约为 71.5 亿美元。

生成式 AI 对于英伟达业绩潜在增量测算：FY2023 财年英伟达数据中心 GPU 收入为 116.3 亿美元，占公司整体收入比重 43%，我们估算利润占比在 50%左右。同时我们估算，目前英伟达数据中心 GPU 收入中，训练环节占比 90%，推理环节占比 10%左右。在上文 中，我们以英伟达 A100 卡作为测算基础，并假定英伟达能够在训练、云端推理环节分别 获得 80%、60%市场份额，静态估算 ChatGPT 及相关生成式 AI 对英伟达潜在业绩贡献为： 训练端 15.4*80%=12.3 亿美元（保守情形）、推理端 174.2*60%=104.5 亿美元，对于英伟 达潜在业绩贡献显著。