英伟达光模块领域有什么进展？

英伟达推出Blackwell系列GPU，提振高速率光模块需求。

1.英伟达发布新一代Blackwell GPU，算力大幅提升

英伟达于24年3月发布了新一代人工智能芯片Blackwell GPU，新的 B200 GPU拥有2080亿个晶体管，可提供高达20petaflops的FP4算力，而GB200将两个GPU和 一个Grace CPU结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率，与 H100 相比，它的成本和能耗最多可降低 25 倍。 

英伟达声称，训练一个1.8万亿个参数的模型以前需要8000个Hopper GPU和15兆瓦的电力。如今，2000个Blackwell GPU就能完成这项工作，耗电量仅为4兆瓦。 在具有1750亿个参数的GPT-3 LLM基准测试中，GB200的性能是H100的7倍，而英伟达称其训练速度是H100的4倍。

2.英伟达第五代NVLink和NVL 72

AI 和 HPC 工作负载的一大限制因素是不同节点之间通信的多节点互连带宽。随着GPU数量的增加，通信成为严重的瓶颈，占用的资源和时间高达60%。通过B200， 英伟达推出了第五代NVLink 和NVLink Switch 7.2T。新的NVLink芯片具有1.8 TB/s的全对全双向带宽，支持576个GPU NVLink域。

在Blackwell这一代采用了224G Serdes，即sub-link的传输速率为200Gbps * 4（4对差分线)/8 =100GB/s，从网络来看单向带宽为400Gbps。B200总共有18个 sublink，因此构成了100GB/s*18=1.8TB/s的带宽，而从网络的视角来看等同于9个单向400Gbps的接口。同理，在NVSwitch的介绍中声明的是Dual 200Gb/sec SerDes构成一个400Gbps的Port。

整个NVL 72系统由Compute Tray和Switch Tray构成，一个Compute Tray包含两颗GB200子系统，累计4颗Blackwell GPU。一个Switch Tray则包含两颗NVLINK Switch芯片，累计提供72 * 2 = 144个NVLINK Port，单颗芯片结构如下，可以看到上下各36个Port，带宽为7.2TB/s。每个B200有18个NVLINK Port，9个Switch Tray刚好共计18颗NVLINK Swtich芯片，因此每个B200的Port连接一个NVSwitch芯片，累计整个系统单个NVSwitch有72个Port，故整个机器刚好构成NVL72，把 72颗B200芯片全部连接起来。

3.英伟达不同GPU集群和交换机网络所需光模块的数量情况

搭建DGX H100和NVL 72集 群，搭配交换机Quantum-2 QM9700 （ ConnectX-7网卡）和Quantum-2 X800 （ ConnectX-7网卡），不同GPU集群光模块 的使用情况。  若使用Nvidia Quantum-2 QM9700交换机， 这些交换机总共有25.6Tbps的带宽，通过32 个OSFP插槽上——即每个端口800G。在512 个节点的网络中——每个节点都连接到一个 叶交换机，因此需要16个叶交换机（512个 节点除以每个交换机32个端口）。  Nvidia的新144端口800G Quantum-X800 Q3400-RA 4U交换机，它使用72个OSFP端口， 每个端口1.6T（ 144个800G端口），总带宽 为115.2T——即其25.6T前身的4倍。使用144 端口交换机的胖树网络可以包括多达10,368 个GPU节点，同时仍然保持2层网络拓扑，比 使用旧的64端口交换机的2层网络多出近5倍 的节点。

4.NVL576将应用于未来万亿参数大模型，其高速率光模块需求极大

英伟达还推出了NVL576组网方式，该系统连接了576个通过 NVLink连接的NVIDIA Blackwell GPU，以创建一个巨大的共享内存池，为内存密集型工 作负载（如推荐系统、图神经网络（GNNs）以及万亿参数规模的专家混合（MoE）大型语言模型（LLMs））提供显著的速度提升。  在NVL72的机柜中，所有的交换机已经没有额外的接口互联构成更大规模的两层交换集群了，英伟达将采用双机柜版本（NVL36）进行576组网。双机 柜版本每个Compute Tray只有一个GB200子系统，两个机柜的版本有18个NVSwitch Tray，可以背靠背互联构成NVL72，虽然交换机多了一倍，但是 为以后扩展到576卡集群，每个交换机都提供了36个对外互联的Uplink，累计单个机柜有36 * 2 * 9 =648个上行端口，构成NVL576需要有16个机柜， 则累计上行端口数为 648 * 16 = 10,368个，实际上可以由9个第二层交换平面构成，每个平面内又有36个子平面，由18个Switch Tray构成。在该种组 网方式下，GPU与1.6T光模块的比例为1:9。

5..Blackwell系列GPU，提振高速率光模块需求

综上，不同英伟达GPU产品以及不同互联方式下，光模块和GPU的比例关系如下表格。即使新一代B200和GB200产品在 ConnectX-7网卡规格下，跟上一代光模块用量相同，但未来搭配ConnectX-8的GB200产品将大幅提升对于1.6T光模块的需求， 且在B系列GPU的生命周期中，搭配ConnectX-8的NVL72将会是主力产品。

此外，随着大模型的不断迭代，未来向通用型人工智能迈进，NVL576这种大规模高速互联的组网方式需求也将不断攀升，从而 拉动1.6T光模块需求（ GPU与1.6T光模块的比例为1:9 ）。