1.0 行业背景：大模型驱动算力需求

本轮AI浪潮由ChatGPT掀起，并引发中外科技企业展开对大语言模型及生成式AI的追逐和对算力的军备竞赛。无论是传统互联网企 业还是新进入者都在加大算力投资，积极推出大模型。  我们认为多模态大模型与应用生态圈将成为2024年生成式AI的关键词，生成式AI依然处于行业发展的初期，多模态大模型训练与推 理需求双驱动加速算力基础设施建设。

1.1 多模态大模型，AI感知能力更加丰富

11月6日，OpenAI公布GPT-4 Turbo，平台提供多模态功能，包括视觉、图像创造（DALL.E3）和文本转语音（TTS）。  12月7号，谷歌发布AI多模态模型Gemini 1.0。Gemini 1.0根据不同尺寸进行了优化，分别是Ultra、Pro和Nano。Gemini Ultra适 用于高度复杂的任务，Gemini Pro是通用版，而Gemini Nano则被用于各种客户端设备。Gemini 1.0可以同时理解并识别本文、图 形、音频等。  伴随着大模型处理数据的类型持续扩展，多模态大模型（LMMS）成为主流，这使得未来大模型参数与训练集规模将持续扩大。当前 多模态系统主要处理文本、图片和语音。伴随行业发展，大模型将可以处理视频、音乐、3D等内容。这也意味着大模型训练算力需 求的增长将超预期。

1.2 应用生态圈趋于成熟，推理算力需求显著增长

OpenAI发布了GPTs，让用户们无需代码，结合自己的需求、外部知识和能力创造自定义版本的GhatGPT，满足了用户的定制化需求。 此外，OpenAI在11月底上线GPT store，让开发者们能够分享、发布自己创建GPTs。GPTs和GPT Store的上线满足了客户的特色化需 求，有望加速GPT引用生态建设，进一步提高用户黏性。  GPTs降低了制作大模型应用门槛，用户无需编程基础，用自然语言就能做出专属GPTS，从而加速大模型向个人用户和垂直行业渗透。 GPT应用量的增长，也意味着“杀手级”应用出现的可能性提升。大模型应用所带来的推理算力需求将会超出预期。

2.0 AI算力中心发展趋势

大模型算力需求支撑AI服务器产业上行周期。算力芯片技术迭代加速，传统芯片厂商（英伟达、AMD、谷歌）以及新进入者 （Amazon、Meta、微软）都在持续推出新品去抢占市场份额。服务器性能加速迭代对数据通信能力提出了更高的要求。 ⚫ 技术迭代单个服务器数据吞吐需求提升。 ⚫ 服务器之间组网结构变化驱动光模块、交换机需求提升。

2.1 GPU互联适应大模型应用需求

以GTC SPRING 2022 发布的DGX H100为例，H100 分为SXM和PCIe两个版本。主流大模型依赖多卡协同，GPU之间的带宽要求较 高，Nvlink全互联的GPU更加适合大模型应用场景。 ⚫ SXM版本中8张H100芯片通过4张NVLink Switch芯片实现全互联。GPU之间带宽高达900GB/s（双向链路25GB/s*2*18条 =900GB/s），相较于PCIE 5.0x16双向带宽128GB/s，互联速度得到快速提升。 ⚫ PCIe版本中4张H100芯片通过PCLe Switch PEX4：1连接到CPU，2张H100芯片通过Nvlink Bridge互联。PCIE机型更加灵 活，GPU卡的数量以及PCIE的拓朴可以进行调整。

NVLink技术、NVSwitch芯片提升芯片互联带宽

Nvlink 4代的总带宽可达到900GB/s,为PCIe 5.0总线带宽的7倍，对比下一代PCIe 6.0的256GB/s也有显著优势。  NVSwitch是英伟达的节点交换架构，通过连接多个NVLink，在单节点内和节点间实现多GPU的拓展。第三代NVSwitch能在带点服务器 节点中支持8-16个完全链接的GPU，支持以900GB/s的速度互联每个GPU。  英伟达H100使用第四代 NVLink 和第三代 NVSwitch ，具有八个 NVIDIA H100 Tensor Core GPU 的系统具有 3.6TB/s的二等分带宽 和450GB/s 的缩减操作带宽。与上一代相比，这两个数字分别增加了1.5倍和3倍。英伟达摆脱了PCIe在原始带宽、延迟以及缓存一直 性方面的限制。通过NVLink和NVSwitch实现多个GPU大规模集群的传输，实现更快和更可拓展的计算系统。

计算网络设计持续优化

DGX H100在内部构架中就可以看出和传统服务器的不同。相较于DGX A100，DGX H100 正在放弃传统的PCIe网卡，转而使用“Cedar”的模块进行GPU与GPU之间的互联。DGX H100通过2个Cedar7模组，每个模组包含4个ConnextX-7 ICs，通过Densilink电缆连 接到服务器的对外接口。虽然8张GPU配备了8张400G的网卡模块，但接口合成成了4个 800G接口，会带来大量800G的需求。  优势：1.使用Cedar模块可以提升服务器空间效率，同时有助于服务器内部空气流通。 2.Cedar模块直接通过电缆对外连接，有助于降低PCB设计复杂度与成本。

NVIDIA Grace Hopper超级芯片

Grace Hopper架构中，CPU与GPU互通从原本的PCIe转变为了Nvlink技术，是 英伟达的第一个异构加速平台，适用于HPC和AI工作负载。  NVIDIA NVLink-C2C是一种内存连贯、高带宽和低延迟超级芯片互联。它允 许定制芯片可以便利的连接到NVIDIA芯片。解决AI和HPC问题需要高容量和 高带宽内存（HBM）。此项互联技术可以提供统一、缓存一致性的内存地址 空间，后者将系统和HBM GPU显存结合在一起，能够优化可编程性。CPU和 GPU之间这种一致性、高宽带的连接是解决复杂AI和HPC问题的关键。

产品迭代加速，数据I/O性能提升

2023年11月14日，NVIDIA HGX H200发布，采用HBM3e高宽带内存（H100 SXM是HBM3,H100 PCIe HBM2e）,可以做到单H200芯片显存高达141GB （理论144G，由6个24GB堆栈组成），显存带宽达到4.8TB/s。对比H100的80G，提升76%。  为满足市场需求，以及服务器产品竞争加剧，英伟达产品加速迭代。基于新架构Blackwell的B100将在2024年上半年发布。基本可以预期B100 相较于H200的性能将显著增长。单体服务器性能由算力（芯片）、数据读取（内存、显存）、数据吞吐（网卡、光模块）三项指标决定，三 个方面需要同步发展。这也意味着芯片算力提升的同时，显存与网络带宽也需要同步提升。

2.2 叶脊网络成为HPC组网主流架构

随着大数据、云计算以及AI等技术发展，数据中心采用更多的虚拟化技术，以实现区域内资源的动态调配，“东西向”流量也就是 服务器之间的流量传输需求加大。为满足服务器之间的流量传输，数据中心向扁平化的叶脊网络架构演进。  叶脊架构是一种全连接的组网方式，单机柜需要配置的光模块数量显著增加，同时交换机需要连接服务器数量增加，光模块传播速 率也需要升级。 ⚫ 优点：成熟的拓扑结构；可灵活配置为非组赛线路或1/N线速；容易保证网络延迟和带宽性能。 ⚫ 缺点：规模越大，网络成本增加较快（交换机数量越多）。

IB网络为计算网络提供高带宽与低延时

HPC网络架构中包含计算网络、存储网络、管理网络。根据需求配置不同的交换机。 ⚫ 计算网络肩负这HPC集群各节点间高效通信业务，对于带宽延时要求很高。 ⚫ 存储网络和管理网络，相较于算力网络来说，对网络带宽和延迟方面要求较低。  面对高性能计算、大数据分析、AI等I/O高并发、低延时应用，现有的以太网架构不能满足应用的需求。远程直接内存访问 （RDMA）就是为了解决网络传输中服务器端数据处理延时而产生的。RDMA技术可以直接通过网络接口访问内存数据，无需操作系 统内核介入。其中Infiniband是RDMA原生的网络协议，通过专业硬件实现最优的性能，提供更高的带宽和更低的延时。但成本高， 需要支持IB网卡和交换机。

网络架构演进光模块与交换机需求提升

英伟达推出的DGX SuperPOD超级计算机，是一套软硬协同的完整解决方案，在满足AI模型算力的基础上，又能帮助企业快速部署AI数 据中心。DGX SuperPOD 采用模块化的设计，支持不同规模大小的设计。以127个DGX H100为例，整体网络分为计算网络，存储网络， 带内管理网络和带外管理网络。计算网络中，1016张显卡对应32台IB叶交换机、16台IB脊交换机、1020条计算+UFM电缆与1024条叶脊 电缆。  二层无收敛的胖树网络架构互联的网卡数量是受限的。伴随数据中心规模提升，超算数据中心的网络架构会向三层无收敛的胖树网络 架构演进。这意味着光模块和交换机的需求将进一步提升。云服务器的有收敛大二层叶脊架构，切换到AI模型训练的三层无收敛胖树 架构，这意味整个集群单位显卡所需要光模块比例将显著提升。

3.0 算网枢纽带宽大幅增加，传输容量存在瓶颈

AI算力集群、东数西算等对长距离数据传输流量需求旺盛。东数西算八大枢纽预计到2027年，骨干传输网累计新增流量将达到 1900Tbps。目前省干、本地网系统速率为100G为主，距离规模商用已经过去近10年。骨干传输网推动400G OTN规模商用势在必行， 长途光传输技术迭代将驱动相关设备及零部件需求快速释放。

3.1 400G OTN规模商用步伐加快

中国移动方面，在2023年 3月，正式发布世界最长距离400G光传输现网技术试验网络，并提出加快推进400G高速光传输产业发展的 倡议。试验网横跨浙江、江西、湖南、贵州四省的400G全光试验网并完成400G QPSK实验，明确了400G QPSK作为长距骨干技术方案。  2023年11月24日，中国移动省际骨干传送网400G OTN新技术试验网设备集中采购项目公布中标结果。超30亿订单落地也意味着400G OTN 规模商用更进一步。

3.2 400G OTN骨干传输网升级带来硬件设备投资

QPSK技术属于相干技术的一种，利用光波在被干涉时始终加强或始终减弱的特性，去实现大容量长距离的传输。相干技术的核心在 于相干调制与相干解调。其中传输部件技术壁垒较高，产品单机远高于非相干传输。  400G QPSK作为骨干传输网的技术方案，可直接利用现有的光纤网络，在原有OTM站点直接更换OTN设备。并在长距离传输时，每 80KM配备光纤放大器EDFA。此种方案无需升级现有的光纤，具有较高的经济性。  伴随骨干传输网规模商用，400G OTN 设备中相干光模块以及光放大器等部件需求将持续提升。

4.0 投资建议：

在算力集群中，光模块需求数量影响因素：网卡型号、交换机型号、单元数量，不同架构所需要的光模块数量有所差异。 ⚫ 以A100 SuperPOD为例，英伟达官方推荐网卡为ConnectX-6（200b/s），交换机型号为QM8700（40路200Gb/s传输速率），每个单元包括 20个节点，最大支持7个单元组成集群，超过5个单元需要三层交换架构，那么每张A100所需要6个200G光模块。 

以H100 SuperPOD为例，英伟达官方推荐网卡为ConnectX-7（400b/s），交换机型号为QM9700（64路400b/s传输速率），每个单元包括 32个节点，最大支持4个单元组成集群，两层交换架构，那么每张H100所需要1个400G和1.5个800G光模块光模块。  根据《中国人工智能大模型地图研究报告》，截至2023年5月，美国已发布100个参数规模10亿以上的大模型，中国发布79个大模型左右。以 在OpenAI为例，他们训练GPT3用了1万张A100显卡，训练GPT4大约3万以上的A100显卡。那我们假设1万张显卡作为入门门槛，2-3万张显卡作 为头部大模型厂商存量显卡，考虑到大模型迭代算力需求。我们假设24年英伟达A100和H100的出货量大致在180万-250万张，对应800G光模块 数量在400万只左右。

光通信板块：我们对光模块24年增长保持乐观，我们预计24年100G以上数通光模块行业规模增速在45%左右。相较于200/400G光模块驱动的周 期中，是由单个或少数几个厂商驱动，此次800G光模块驱动的周期是所有厂商参与。23年800G光模块是验证阶段，少量光模块企业有出货。 24年是伴随着英伟达H100的交付，800G光模块出货量将快速释放。伴随着800G光模块的出货，光模块企业业绩持续释放，估值得到消化。并 伴随AI应用落地，推理算力需求预期提升，驱动光模块板块周期上行。

ICT主设备厂商：AI超算与算力网络建设，骨干传输网络升级等因素驱动主设备厂商业绩稳步增长。数通市场，主设备厂商受益于三大运营商 算力网络资本开支提升，通用算力市占率持续提升，再次基础上主设备厂商也在积极拓展AI服务器业务。电信市场，5G建设相对平稳，叠加 骨干传输网升级驱动OTN设备出货，业绩具有成长性。

 

编辑：520中国