AI算力行业专题报告：从英伟达的视角看算力互连板块成长性，Scale Up 网络的“Scaling Law”存在吗？.pdf

AI算力行业专题报告：从英伟达的视角看算力互连板块成长性，Scale Up 网络的“Scaling Law”存在吗？

我们认为Scale Up网络存在Scaling Law，Scale Up柜间第二层网络会逐渐出现，光+AEC连接多出与 芯片1:9的配比需求，交换机多出与芯片4:1的配比需求，相较Scale Out网络均倍增：

1.英伟达持续扩大Scale Up规模：英伟达正通过两大路径持续扩大Scale Up网络规模。2）提升单卡带 宽：NVLink持续迭代，NVLink 5.0单卡带宽达7200Gb/s；2）扩大超节点规模：Scale Up超节点规模 不断扩大，从H100 NVL8到GH200再到GB200等，NVL72等机柜方案可以提高训推效率，但并不是 Scale Up的上限， NVL72等机柜后续会作为最小的节点（Node）存在，像积木一样在柜与柜之间进 一步拼出更大的Scale Up超节点，届时需要光连接等进行通信。

2.为什么需要Scale Up网络：“内存墙”问题和AI计算范式演进推动Scale Up网络升级。 “内存墙”：单一大模型的参数量与单卡显存的差距（即模型内存墙）、单卡算力与单卡显存间的差距（即算力内 存墙）均逐代放大，通过Scale Up将显存池化。计算范式：为了提升计算效率，在进行数据并行、流 水线并行的同时也采用张量并行与专家并行，后者对通信频次、容量的要求都跨越数量级。

3.为什么需要更大的Scale Up网络：TCO、用户体验、模型能力拓展。随着单用户每秒消耗的Token 数（Tokens Per Second，TPS）提高，包括NVL72在内的现有服务器单卡性能都会逐渐坍缩，在用户 体验持续提升、模型能力拓展的趋势下，单用户TPS必然增长，采用更大规模的Scale Out能提高单 卡有效性能，TCO也更具经济性。我们认为Scale Up规模与预期单用户TPS、单卡实际性能间存在 Scaling Law，前者会随后者非线性增长。

4.怎么组建更大的Scale Up网络：网络结构层面，在柜间搭建第二层Scale Up交换机；端口连接层面， 光与AEC有望在第二层网络中并存，按照最新的NVLink与IB标准测算，1颗GPU需要9个额外的等效 1.6T连接，为Scale Out网络的3-4.5倍，每4颗GPU需要额外1台交换机，为Scale Out网络的7.5-12倍。