2023年英伟达分析报告 关于AI产业的几个关键判断

报告缘起

OpenAI 团队最新公布的语言模型 ChatGPT 于 2022 年 11 月 30 日向社区发布测试， 并迅速在全球市场获得了极高的关注度。根据 Similarweb 统计数据，ChatGPT 在上线两 个月不到的时间内，就拥有了超过 1,000 万 DAU，近日来该数据更是逼近 4,000 万。 ChatGPT 的出现带来的对 AI 产业可能的影响和改变，以及背后算力消耗规模、英伟达可 能受益逻辑等，亦是近期资本市场讨论最为热烈的话题和内容之一。在本篇内容中，我们 将基于对一系列相关问题进行依次深入分析的基础上，尝试量化测算 ChatGPT 以及全球 AI 产业的发展，对英伟达短期、中期的可能业绩贡献：

1. ChatGPT 将为全球 AI 产业的技术发展、底层算力需求、产业化进程等带来何种 影响？ 2. 英伟达在 AI 加速（训练、推理）领域的竞争力如何？如何看待其在该领域的短 期、中期竞争优势，以及相对份额变化？ 3. 基于上述问题（AI 产业、英伟达综合竞争力）的综合分析，如何量化测算英伟达 在 AI 领域的短期、中期可能业绩表现？

关于AI产业的几个关键判断

ChatGPT 在工程实践（高质量小数据集、人类反馈强化学习等）领域的创新，以及在 产业领域带来的鲶鱼效应，有望在技术、产业化等层面对全球 AI 产业带来显著的影响，而 这些产业层面的分析和判断，将是我们形成一系列细粒度分析和判断的基础和前提。AI 产 业宏观层面，我们主要有如下几个核心判断。

1. ChatGPT 带来了 AI 领域的军备竞赛。过去数年，受制于 AI 带来的潜在伦理&道德风险，以及商业化成本等因素考虑，科技巨头在 AI 领域的诸多理论&技术创新更多停留于实验室阶段，在商业化推广过程中亦保持非常谨慎的态度。OpenAI 作为科技领域的初创企业，相对较小的 AI 伦理&道德包袱，以及极强的产品工程化思维，推动了ChatGPT在全球市场的快速流行，亦给科技巨头带来了显著的压力，逼迫他们不得不仓促应战，谷歌、 百度、Meta、阿里巴巴等科技巨头的近期动作便是较好的证明。科技巨头在大语言模型等 AI 领域的大幅、积极投入，以及由此形成的示范效应，料短期将带来全球 AI 领域的军备 竞赛。

2. ChatGPT 大幅加速 AI 产业化落地，推动 AIGC 时代的全面到来。以 ChatGPT 为 代表的生成式 AI 具有广泛的应用场景，可被广泛应用于文字归纳&生成、代码编写、智能 客服、图像&音视频合成等领域，目前微软正将 openAI 的能力全面导入自身的软件产品当 中，以推动用户办公效率的改善。我们判断，科技巨头在 AI 领域的军备竞赛，以及生成式 AI 本身清晰的下游应用场景，将使得全球范围内 AI 产业化进程大幅加快，而以 ChatGPT 为代表的相关产品，作为人类在内容生成领域的理想助手，有望实现内容生产从“人类为 主”向“机器+人类协同”过渡，从而推动 AIGC 时代的全面到来。

3. 大模型大概率为中短期主流技术路线，带来更多底层算力消耗同时，亦推动形成 更为高效的产业分工协作安排。全球 AI 技术的发展，先后经历小模型、大模型等主要发 展阶段，小模型主要在早期用于解决计算机视觉、推荐系统等分析型 AI 工作；而自 2017 年谷歌在论文中提出 transformer 架构以来，研究人员持续通过模型参数增加、更大的训 练数据集等方式，在 NLP 等生成式 AI 领域取得了不断的进步，而基于 transformer 的 CV （计算机视觉）也在不断成为市场研究的重点。大模型是否代表着 AI 产业的未来，产业、 学术界本身存在极大分歧，当前亦很难做出判断，但我们认为中短期维度：

大模型大概率是中短期 AI 主流技术方向。目前大模型在 NLP 等生成式 AI 问题 领域的求解能力很难被取代，同时借助模型参数规模、训练数据规模的持续扩展， 叠加模型架构优化、工程方法改进等层面的配合，在可见的技术范畴内，大模型 仍将是我们不断逼近通用人工智能的最理想技术路线。著名学者 Rishi Bommasani，Drew A. Hudson，李飞飞等人在 2021 年的学术论文《On the Opportunities and Risks of Foundation Models》中，亦对所谓的基础模型（理 想的大模型）进行了展望，文章观点认为，基础模型具有五个关键特性，包括： 表现能力（expressivity）、可扩展性（scalability）、多模态（multimodality）、记忆能力（memory storage)、组合性(compositionality)等，同时能够灵活地捕获和 表示各种信息、连接各种模式和领域的知识和数据、可以储存大量积累的知识， 并可以很好地泛化到新的环境、任务和环境中。

大模型涌现、泛化能力等，本身需要模型足够“大”。依赖于大模型参数体量、 训练数据集的不断扩大，大模型的泛化问题求解能力能够持续提升，同时目前研 究表明，在 NLP 领域，大模型具有涌现能力，但涌现能力无法使用 scaling law 来从较小模型上进行预测，模型尺寸在某个阈值之前的效果接近随机，但是超过 该阈值后效果将大大高于随机。大规模语言模型的涌现能力可以简单表述为，在 小模型上没有，但是会出现在大模型上的能力，这也意味着，该能力不能通过简 单的对小规模模型的改善获得。虽然我们可以通过模型架构优化、工程方法等方 式不断改善模型的效果，但更大的模型参数、训练数据仍可能是最为根本的办法。 更大的模型带来更好的问题求解能力同时，本身也意味着更多的算力消耗。

大模型推动形成 AI 产业更为高效的分工协作安排。在过去的小模型阶段，研究 人员需要承担从数据采集&标注、模型训练&优化到模型部署的完整阶段，同时小 模型主要针对于特定问题的求解，更多为“小作坊”模式，产业各环节之前紧密 耦合，缺乏有效的分工协作安排。大模型带来更好的问题泛化求解能力，底层算 力设施、模型算法理论创新、模型工程实践、应用部署等主要环节之间可实现有 效解耦，比如少数科技巨头&科研机构专注于算法理论创新，大多数技术公司则 聚焦于基础模型之上的 fine-tune，以及和特定应用场景的适配。高效的产业分工 协作安排，亦将推动 AI 产业化进程的大幅加速。

英伟达AI芯片竞争力分析

产品布局：端到端、训练推理一体、软件全栈。目前在 AI 领域，英伟达的对应业务 主要包括数据中心、自动驾驶两个领域，自动驾驶属于针对特定应用场景的边缘推理范畴， 我们暂不做讨论，我们主要聚焦于英伟达的数据中心业务。而在数据中心的业务布局，英 伟达基本遵从：端到端、训练推理一体、软件全栈的业务布局思路，相关产品从底层向上， 主要包括 AI 芯片（训练、推理）、网络（芯片互联、设备互联）、基础软件框架&应用软件 等。在完成了行业层面的分析之后，在本部分内容中，我们将主要对英伟达在 AI 芯片领域 的综合竞争力进行系统分析和探讨。

AI 芯片：工艺、DSA、新数据精度类型等，实现系统级最优。目前 AI 模型对算力的 需求增速远远高于摩尔定律，以及芯片自身的性能提升速度，芯片的设计，是一个系统性 工程，需要算法模型、软件和硬件层面的共同协同，以实现系统效率的最大化。目前英伟 达 GPU 产品，从 2018 年的图灵、到 2020 年的安培，以及 2022 年的霍普，芯片架构保 持每两年一次的更新迭代节奏，并通过制程、DSA、新的数据精度引入等系列手段提升芯 片的计算性能。以英伟达 Hopper 架构为例：1）工艺提升带来计算频率提升，以及同等 Die 面积下计算单元数增加；2）领域专用架构（DSA）设计带来性能提升，Hopper 架构 引入 Transformer 计算单元；3）引入新数据精度类型，用低精度来代替高精度单元, 比 如 Hopper 引入 FP8 等。系列的举措亦使得英伟达芯片，无论是在训练，抑或是推理环节， 均在若干主流的基准测试中，性能参数持续领先主要竞争对手。

计算芯片组合：GPU+CPU+DPU。GPU 本身并非图灵完备的产品，需要依赖于和 CPU 等计算芯片的配合，目前全球主要逻辑芯片厂商（英特尔、AMD 等）均倾向于在数 据中心领域提供一体化的芯片解决方案，英伟达亦不例外。目前英伟达整合 Mellanox 技 术之后形成的网络芯片 DPU 已经量产上市，同时基于 ARM 架构的高性能计算 CPU（主 要和 GPU 配合使用）也有望在 2023H2 大规模量产上市，CPU+GPU+DPU 的产品组合， 叠加英伟达在网络、软件层面的突出优势，有望进一步强化英伟达在数据中心 HPC 领域 的竞争优势。

网络技术：NVLink、InfiniBand。面向复杂 AI 模型的训练、推理，需要更多依赖于 GPU 卡、硬件集群，因此，低延时&高速的芯片互联、设备互联显得尤为重要，在芯片互 联环节，英伟达具有引以为傲的 NVlink 技术，目前该技术已经进化到第四代，芯片间能够 实现超过 800GB/S 的数据吞吐。设备间互联部分，英伟达 2020 年完成对网络芯片&技术 提供商 Mellanox 的收购，Mellanox 作为全球 InfiniBand 网络的领导者，相较于以太网， IB 网络能够在数据中心内部实现设备间的高速、低延时互联，是 HPC 的最理想承载者。

软件堆栈：从底层框架到应用场景、训练推理一体。目前英伟达在软件领域中的产品 布局相对较广，涵盖了从最底层的驱动程序，到最上层的行业应用程序、算法库等。可简 单分类为：底层套件、应用工具&应用框架两大部分。1）底层套件，主要用于帮助用户降 低芯片&硬件使用门槛，提升易用性、通用性等，主要产品包括：面向 GPU 领域的 CUDA、 面向 DPU 领域的 DOCA 等，本身旨在提升芯片本身的通用性、易用性，同时在推理环节， 英伟达亦具有 tensorRT 等框架，实现训练、推理的端到端部署。2）应用工具，为英伟达 面向各细分领域、应用场景推出的应用解决方案，包括 Omniverse（元宇宙）、AI Enterprise （企业 AI 框架）、Drive（自动驾驶）等。CUDA 等构建的生态优势，以及从训练到推理的 端到端软件产品解决方案，预计中短期仍将持续构成英伟达最为主要的护城河之一。

小结：英伟达有望在 AI 训练、推理（云端）环节持续保持主导性地位。依托产品性 能、芯片组合、网络技术、软件产品等层面的综合优势，以及由此形成的端到端、训练推 理一体、全栈式的解决方案，使得英伟达持续引领全球 AI 市场。据 Liftr Insights 数据，目 前在 AI 技术进展最为前沿的北美数据中心 AI 芯片市场，英伟达份额占比超过 80%，且在 训练、推理环节均保持持续领先。

英伟达在训练环节的综合优势，市场本身没有太多分歧， 市场当前分歧主要在于推理环节，主要理由在于：1）推理环节相较于训练环节更低的门 槛，主要体现在计算精度、算力消耗量等方面；2）英伟达 GPU 本身在功耗、延时等层面 并不占优。AI 推理主要包括云端推理、边缘推理（边缘节点或终端）两种情形，英伟达在 边缘推理环节的确不具备压倒性优势，但在云端推理环节，从基本的认知逻辑出发，英伟 达大概率仍将是最具有竞争力的参与者。同时我们看到，在商业操作上，英伟达亦在采用 更为务实的策略，即通过和云计算厂商的合作，为企业客户提供 AI 算力服务，该种合作模 式类似于数据仓库领域的 Snowflake 和 AWS 等云计算平台的合作。

ChatGPT及生成式AI对英伟达业绩贡献分析

在上文内容中，我们对 AI 产业的一些关键趋势、英伟达在 AI 芯片领域的竞争力等进 行了分析探讨，为我们进一步探讨 AI 对英伟达业务的业绩弹性建立了一般基础。ChatGPT 以及 AI 产业的发展，如何通过对算力需求的拉动而影响英伟达自身的业绩弹性，本身是一 个非常较为复杂的问题，同时受到技术、产业等层面诸多因素的影响。在本部分内容中， 我们尝试从 ChatGPT 出发，并基于若干简化的假设量化测算英伟达的业绩弹性，当然 ChatGPT 作为一个典型的 LLM 模型，对于当下以大模型为主的 AI 产业，本身亦具有较好 的代表和参考意义。ChatGPT 的计算过程主要涉及：模型 Pre-training、模型 fine-tune、 模型推理等三个环节，其中模型 fine-tune 环节算力消耗相对有限（否则直接把大模型推倒 重来就可以了），我们不做展开讨论，我们主要聚焦于模型预训练、模型推理两个环节。

ChatGPT 模型训练成本：预计单次成本约 151 万美元。因为单次模型训练耗时较长， 一般情况下不太会反复预训练大语言模型，因此我们在测算训练环节成本时，假定预训练 单次，且训练过程中没有出现错误时的成本。实际情形中，考虑到训练过程中出现工程类 错误的可能性，实际成本会高于我们计算的理想情况成本。假设参数量为 175B、训练数 据 500B Tokens 的情况下，根据 OpenAI 公司发表的论文《Scaling Laws for Neural Language Models》，我们在使用 256 个英伟达 HGX A100 服务器(包含 2048 个 A100 GPU 卡）的情况下，模型 FLOPs Utilization（MFU）假设为 Megatron-LM 的 51.04%，我们推 测单次训练时长约为 30.7 天，对应约 151 万 GPU 小时。假设训练使用成本价约为 1 美元 /GPU 小时的情况下，耗费服务器端成本约为 151 万美元。

Chatgpt 模型推理成本：综合成本远高于训练环节，预计目前单次用户调用成本理论 最高 2.7 美分。用户每请求一次 ChatGPT 的生成都需要耗费大量的算力资源，这是目前 ChatGPT 的主要成本项。关于推理端成本测算的参考内容较少，主要是因为模型构成的细 节变化会较大程度的改变模型推理每一个 Token（Token 可以理解为单词的一部分，常用 的单词一个词即为一个 token，而复杂的单词可能由几个 token 共同组成）所需要的时间。 继承上部分在训练端测算所做的假设，ChatGPT 基于 GPT3.5 Dense Davinci 模型。此外 对于模型细节我们做进一步假设，模型使用了 96 层、12288 Hidden Dimension、FP16 和 INT8 混合精度并使用最大 4096 的 Sequence Length。实际推理速度主要由两部分组 成：一部分是通信延迟，另一部分是硬件内存带宽,考虑到实际推理时 Batch 一般较小以及 会做相应的优化，我们寻求简便忽略掉通信延迟的影响。

根据 OpenAI 的“Scaling Laws for Neural Language Models”论文中的公式，我们可以推算出模型生成每一个 Token 总共需 要的 GPU 内存约为 0.25TB。考虑到 HGX A100 服务器（8*A100）进行推理时的性能参 数，ChatGPT 推理在小 Batch Size 的情况下是一个访存限制的任务，而在大 Batch Size 的情况下是算力限制任务。这里我们假设极端情况，认为 ChatGPT 推理是一个完全访存 限制的任务，且不对存储做额外优化（并行优化等）。假设每次生成的长度平均为 200 个 tokens，问题长度小于 500tokens，我们推算每次生成的成本约为 2.7 美分。而在现实情 况下，执行推理任务时会对存储方式以及硬件并行进行额外的优化，以降低带宽延迟影响， 但具体优化程度缺少对实现细节的了解时难以量化。因此单次生成 2.7 美分是理论情况下 最高成本，实际成本视优化手段可能在理论最高成本 10%-60%之间浮动。

ChatGPT 对英伟达业绩贡献测算：在模型训练环节，我们估算，采用 256 个英伟达 HGX A100 服务器(包含 2048 个 A100 GPU 卡），单次训练时长约 30.71 天，这是一个市 场相对容易接受的时长，我们假定市场实际情况亦和此类似。模型推理环节，我们假定企 业会在推理环节对通信延迟、内存带宽等进行必要优化，因此假定用户访问 ChatGPT 的 单次成本为理论最高成本（2.7 美分/次）的 30%，也即 0.8 美分，假定目前 ChatGPT 目 前 2000 万日活跃用户，用户每天调用次数为 10 次，单次调用成本 0.8 美分，我们采用英 伟达 HGX 服务器进行算力承载，并假定 HGX A100 服务器的价格为 8 美元/小时，实际使 用率为 70%，则我们估算每天算力成本为 160 万美元，对应英伟达 A100 卡 9.5 万张，假 定每张 A100 卡售价 1.5 万美元，对应英伟达收入 14.3 亿美元，加上训练端的成本，则对 应英伟达收入约为 14.6 亿美元。

生成式 AI 对英伟达的业绩贡献分析：显然，ChatGPT 仅仅是目前大语言模型在人机 对话领域的重要应用场景，目前以 LLM 等为代表的生成式 AI 已经广泛应用或即将应用于 于文字生成&归纳、商用搜索、图像&音视频生成、智能客服等领域。同时在算力成本上， 参考 Sunyan 的论文《The Economics of Large Language Models》关于 LLM 的简化测算 框架，我们简化假定所有的大模型算力成本基本遵类似于 LLM 的逻辑，不考虑算法架构、 工程优化、数据质量等因素，大模型算力成本主要受到模型参数规模、训练数据集规模的 影响，并呈现严格的正相关关系。我们尝试探讨在大模型主导的生成式 AI 领域，AI 对算 力的消耗，以及对英伟达的业绩拉动，我们继续沿着模型训练、模型推理两个主要环节展 开。

1）生成式 AI 模型训练：基于上文的分析，我们假设大模型的构建、维护将主要由少 数科技巨头&科研机构主导，大部分技术公司将主要聚焦于模型的 fine-tune，以及和下游 应用场景的对齐。我们简化假定每个大模型的算力消耗、时间约束和 ChatGPT 基本一致， 即采用 256 个英伟达 HGX A100 服务器(包含 2048 个 A100 GPU 卡），模型单次训练时间 30 天左右。考虑到底层大模型在 AI 领域的重要性，我们相信每个具有相关技术&资金能 力的国家地区、企业机构基本都倾向于构建一套自己的大模型，因此我们做出如下敏感度 分析（表 12），保守情形下，假定全球范围内维护的大模型数量为 50 个，则对应英伟达 A100 卡需求为 10.24 万张，对应收入 15.4 亿美元。

2）生成式 AI 模型推理：为简化讨论，我们主要聚焦于文字生成&归纳、代码编写、 商用搜索、聊天机器人等几种主要应用场景，调用成本及主要假设和针对 ChatGPT 的测 算完全一致，并假设推理计算动作（用户请求响应）均主要通过云端集中计算完成。1） 文字生成&归纳、代码编写：我们以微软的软件产品为测算样本，并假定其占据 市场整体 80%份额，目前微软旗下办公套件、代码编写等产品付费用户合计超过 10 亿，假定中期 AI 在其中实现 20%的渗透率，用户平均每天调用 2 次，则文字 生成&归纳、代码编写对英伟达的收入拉动为 31.3 亿美元。

2） 商用搜索市场：根据微软数据，目前全球商用搜索市场每天用户请求次数约为 100 亿次，我们假定搜索中 10%的结果由语言模型生成，则对应英伟达的收入贡献约 为 71.4 亿美元。3） 对话机器人：目前 ChatGPT 按照 2000 万 DAU 计算，我们测算对英伟达的营收 拉动约为 14.3 亿美元，聊天机器人可被应用于智能客户等多个广泛的领域，我 们简化假设聊天机器人对应的整体应用场景需求量约为当前 ChatGPT 的 5 倍， 则对应的英伟达收入拉动约为 71.5 亿美元。

生成式 AI 对于英伟达业绩潜在增量测算：FY2023 财年英伟达数据中心 GPU 收入为 116.3 亿美元，占公司整体收入比重 43%，我们估算利润占比在 50%左右。同时我们估算，目前英伟达数据中心 GPU 收入中，训练环节占比 90%，推理环节占比 10%左右。在上文 中，我们以英伟达 A100 卡作为测算基础，并假定英伟达能够在训练、云端推理环节分别 获得 80%、60%市场份额，静态估算 ChatGPT 及相关生成式 AI 对英伟达潜在业绩贡献为： 训练端 15.4*80%=12.3 亿美元（保守情形）、推理端 174.2*60%=104.5 亿美元，对于英伟 达潜在业绩贡献显著。

测算局限性说明：上述的测算，出于实际可操作性考虑，我们在前置条件做了较多简 化处理，且更多基于当前芯片算力、模型参数等静态情形，但全球 AI 产业是一个快速变化 的领域。动态的视角，模型参数规模、训练数据集规模、模型架构&工程实践优化，以及 芯片、软件等层面的进步，都可能导致模型对算力需求的急剧增长，以及单次调用成本的 大幅降低。 算法架构：长期维度，大模型可能并非是 AI 的终极答案，同时推理环节，针对 特定应用场景，可以通过、稀疏模型、模型压缩等方式简化复杂性，但中短期技 术人员对大模型的追逐仍将是高确定性趋势。

芯片&硬件：英伟达和诸多芯片企业自身也快速进步，并通过芯片、软件等系统 级的创新推动单位算力成本的不断降低，就像现在的苹果手机算力已经超越最早 的超级计算机一样，算力成本的下降速度可能远超乎我们想象。例如从英伟达 V100 显卡到 A100 显卡的代际提升，将成本从 2020 年的 460 万美元下降到了 2022 年底的 150 万美元。根据英伟达公布的最新一代高性能计算显卡 Hopper 系列的数据，内存带宽以及算力均有 2-3 倍的提升，此外新增加的对 int8 精度的 支持，以及允许更多硬件通过英伟达 NVLink、IB 网络连接，预计都将进一步降 低推理端所需要的成本。 应用场景：算力成本的下移可能带来应用场景的大范围铺开，而应用场景的扩展 亦会推动 AI 产业本身的快速进步，从而带来更多的底层算力消耗。

盈利预测

我们判断 ChatGPT 将大概率加速全球 AI 产业化进程，同时大模型、AIGC 等关键词 亦将成为 AI 产业中期主流趋势，并带来 AI 算力消耗、英伟达业绩的显著增长。考虑到短 期量化测算准确性相对有限，方向性的结论判断可能更为重要，我们暂不计入 ChatGPT 及 AI 相关算力消耗给公司中期带来的新增业绩贡献。我们维持公司 FY2024/25/26 年收入 预测为 318.7/372.3/435.0 亿美元、净利润（Non-GAAP）预测为 115.9/146.7/177.1 亿美 元，公司当前股价对应 FY2024/25/26 年 PE（Non-GAAP）估值分别为 50/40/29x，作为 典型的成长&周期股，目前公司正逐步进入业绩上行通道，公司股价亦有望获得来自业绩 增长、估值扩张的双重支撑，ChatGPT、生成式 AI 则有望在现有财务模型基础上贡献显 著的业绩弹性，我们持续看好公司的短期、中长期投资价值。

（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）