2025年AI算力行业跟踪深度报告：算力互连复盘与展望——网络互连带宽的增速来自哪里？

23Q2：从应用到算力，Scale Out网络需求凸显

我们认为大模型显现之初市场认知的 AI算力有以下特点：通用计算切换至GPU加速计算。模型参数量、算力、数据量均指数 级提升。 胖树（Fat-Tree）架构成为首选， Scale out网络需求激增。

传统云计算数据中心流量以“南北向”（用户到服务器）为主，网络架构多呈收 敛型（如金字塔形），带宽逐层收敛。 AI大模型训练则以“东西向”（服务器之间，即GPU之间）流量为主，要求在庞 大的计算集群内部实现高带宽、低延迟的无阻塞互联。为此，胖树（Fat-Tree）架 构成为AI首选。该架构理论上“无收敛”，从“叶”到“根”的各层级网络带宽 保持充裕，以满足LLM训练中数据并行、流水线并行等产生的大量内部通信需求。

在典型的Fat-Tree架构下，为了实现GPU间的无阻塞通信，所需的高速光 模块数量与GPU数量存在高配比关系。以一个由128台H100服务器（1024 个H00GPU）组成的集群为例，总共需要1536个800G光模块和1024个400G 光模块。相比之下，传统云计算的算力需求不仅总量较低，且光模块多为中低速率， 因此光通信，特别是800G及未来更高速率的产品，已从过去的辅助角色转 变为AI基础设施的核心高价值组件。

24Q1-Q2：英伟达业绩+GB200新品拉动景气度

Sora推高多模态推理需求预期。2024年Q1OpenAI推出全新的生成式人工智能模型“Sora”，文 生视频的效果令人惊艳，Sora所需推理算力相比GPT-4等文本模型呈现数量级的提升，Sora输 出一段 1 分钟长的视频所需浮点算力大约是GPT-4输出 1,000 个tokens的1000倍。

英伟达业绩持续验证AI算力高景气度。自23Q1以来，英伟达营收与净利润 逐季高速增长，持续超出市场预期，英伟达的高增长验证了AI训练与推理 的需求，及海外AI玩家为支持AI模型及应用推广，正进行着积极的算力扩 容和基础设施升级。下游云厂商资本开支持续提升。23Q2开始亚马逊、谷歌、微软、Meta四大 云厂合计资本开支稳步提升。

25Q2起：逻辑深化产业链增速高于Capex&芯片增速

资本开支向AI算力倾斜，AI投资内生增长同样强劲。根据英伟达业绩 会披露的数据中心（DC）业务中来自云厂的收入占比、以及各相关公 司财报，我们估算出自23Q1至24Q4两年间各季度区间英伟达来自云厂 的DC收入与五家云厂资本开支的比值，这一比值从23Q1的5%逐渐增 长至24年下半年的30%左右，我们认为云厂资本开支向AI算力倾斜是 这一数值逐季度增长的主要原因，AI投资在资本开支分配中也有强劲 的内生增长。

ASIC出货逐渐增加，AI投资内部价值有望重分配。ASIC相比GPU单 卡性能略差但性价比更高，“单位美元”能够买、需要买的算力卡及 配套增加，云厂资本开支投向或在产业链再分配，产业链相关硬件需 求增速有望高于云厂资本开支增速。 资本开支结构优化对产业链增速的贡献已经显现。基于四家供应链头 部公司的季度营收与北美四大云厂资本开支，可以测算出前者营收总 和以及后者资本开支总和的单季度同比增速，虽然有老产品ASP年降 影响，但自24Q1起营收总和增速持续高于资本开支总和增速。

Token规模的指数级增长。以谷歌和字节跳动为例，谷歌AI月度Token 量在一年内激增约50倍，达到480万亿Tokens；豆包大模型5月日均处理 量也已突破16.4万亿，同比增长超120倍。新应用场景涌现，驱动高价值Token消耗，进一步提升算力需求。随着 深度推理和视觉理解等先进模型投入使用，高价值应用场景的Token消 耗量正迅猛增长，从去年12月到今年5月，火山引擎各高价值场景处理 Token数发生了显著变化，AI搜索增长10倍，AI编程增长8.4倍，K12教 育场景Token消耗增长了12倍，智能巡检、视频检索等新线下场景也突 破日均百亿Token。我们认为Token数在整个AI生态中向上关联推理的算力需求，向下形成 AI增量和收入， 成为了目前AI生态的闭环点。

AI训推需要分布式并行计算，基于对计算效率不断提升的追求，并行计算方 式有数据并行（Data Parallelism）、流水线并行（Pipeline Parallelism）及张量并行（Tensor Parallelism）。 数据并行：将输入数据分配给各个负载，各负载上基于不同数据进行同一模 型的训练/推理； 流水线并行：将模型分为若干层分配给各个负载，各负载分别进行不同层的 计算； 张量并行：将模型参数运算的矩阵拆分至各个负载，各负载分别进行不同的 矩阵运算。

并行计算催生Scale Up网络需求： 几类并行计算方法各有优劣，大模 型训练采用集合了多种并行方式的 混合并行计算，如3D并行计算。与数据并行、流水线并行相比，张 量并行矩阵运算后需要同步，因此 需要更高频、更低延时的数据传输， 传输数据量也高出一到两个数量级。通常数据并行、流水线并行基于容 纳卡数更高的Scale Out网络，张量 并行基于单卡带宽更高的Scale Up 网络。

训推计算的“内存墙”催生出通过Scale Up网络将显存池化的需求： 单一大模型的参数量与单卡显存的差距（即模型内存墙）、单卡算力与 单卡显存间的差距（即算力内存墙）均逐代放大。除模型参数外，推理计算生成的KV Cache（关键中间值的缓存，用于简 化计算）占用显存大小也可达模型的50%甚至以上 。因此单卡运算时需从多张卡的显存读取所需参数、数据，为了尽可能减 少数据传输时延，目前产业化应用最优解是使用Scale Up网络将显存池化， 如NVL72。

通信带宽是推理速度的瓶颈。GPU“卡内通信带宽 > 卡间通信带宽 > 机间通 信带宽”，由于“木桶效应”，模型部署时跨的设备越多，受设备间通信带 宽的“拖累”就越大，因此通过 Scale up 提升推理效率尤为重要，通信是重 要瓶颈。推理场景中P/D 分离架构利于整体效率和推理体验提升。P/D将推理过程拆分为两个阶段以优化资源利用和效率：一是处理用户初始请求，属于计算密集 型的Prefill阶段；二是读取缓存后生成后续内容，属于访存密集型的Decode阶段。P/D分离增加了对高性能硬件和复杂网络的需求，其硬件扩展需求与训 练阶段形成了显著差异。

若干超节点（SuperPod，如NVL 72）组成集群（Cluster，如万卡、十万卡 集群）； Scale Out网络实现集群内所有GPU卡互联，亮点在于网络内连接GPU 数量大，与传统数据中心网络类似； Scale Up网络实现超节点内所有GPU卡互联，亮点在于网络内单卡通信 带宽高，为AI算力场景下新兴的网络架构。

英伟达的第一次扩展Scale Up超节点的尝试是从 H100 NVL8到GH200 NVL256，但由于GH200采用 一层全光交换连接，互连成本较高，因此采用度不 高。英伟达在GB200中采用铜缆进行连接降低成本，实 现Scale Up超节点首次大范围推广；在Rubin对应 超节点方案中有望采用PCB+铜缆实现Scale Up。 NVLink已经迭代至5.0版本，单卡总带宽7.2T

Scale Up超节点容量和带宽增长均可提升集群性能。 GB200、B200、H200集群分别用于1.8T GPT-MoE模型推理时，三者的单张GPU每秒 输出Token数依次递减，差距随着单一用户每秒输出Token数增长而扩大，在单一用 户每秒输出20Token时，GB200集群的单卡推理性能达到H200的30倍，而GB200则是 B200的7.5倍左右。我们认为GB200与B200、H200较大的性能差除了FP4与FP8精度带来的2倍左右提升 外，Scale Up超节点容量（NVL72）和带宽（NVLink 5.0）的提升也有明显贡献。 随着用户消耗Token速度提升，更大的Scale Up超节点具备的推理性能优势会越放越 大，我们认为PCB+铜互连+光互连扩张Scale Up超节点的方案是潜在最优解之一。

云厂AISC服务器同样采用高带宽Scale Up网络，单芯片带宽显著提升： 亚马逊Trn2-Ultra64超级服务器使用AEC做柜间互联，DAC做柜内互联， 单个芯片基于NeuronLinkv3（对标NVLink）可实现640GB/s，即5120Gb/s 带宽的Scale Up网络，与超服务器内6枚芯片实现互联。 Meta Minerva机柜把Scale Out、Up机柜都放在柜内，带宽51.2T、204.8T， 单卡带宽3.2T、12.8T。

通过以上复盘与展望，我们认为AI算力互连的成长逻辑认知有四大变化趋势： 算力硬件需求从锚定云厂商CapEx到锚定处理Token数。 算力芯片从依赖GPU到GPU+ASIC并存 。技术迭代从光模块、PCB、交换机、网卡等产品级别的升级，转为网络架 构级别整体升级。网络互连升级重心从Scale Out拓展至Scale Up，两类网络共同提升，单芯片 带宽提升。

报告节选：