2025年数据中心互联技术专题报告：CSP云厂AI军备竞赛加速，智算中心架构快速发展

CSP军备竞赛持续，AI算力基建呈现高景气度

各大科技公司发展AI竞争激励，Tokens调用消耗量日益增长

大模型持续迭代，训练需求持续增长。  爆发起点：2023 年，ChatGPT3.5 点燃 “大模型革命”，海外巨头率先发力。万模大战：2024 年，ChatGPT4-o1模型能 力进入60指数，其他模型能力进入“平台 期”。竞争白日化：2025年，各大科技公司持续 迭代大模型，中国DS异军突起，行业竞争 白日化。 大模型未来发展有可能再分化：复杂任务解 决能力、多模态、解决模型幻觉等，或持续 提升算力需求。 AI推理的token量出现爆发式增长。 （1）AI agent：Token 消耗从 “单次交互” 转向 “任务链条式累积”，token用量也呈 现爆发式增长。 （2）多模态模型：图像、视频、音频转换为 模型可理解的 Token，会产生海量 Token。 （3）AI的渗透和生态发展：例如，Google的 token用量从5月的月均480e增加到7月980e， Gemini app月活超过4.5亿，Google Cloud新 增客户量环比+28%。

CSP互联网云厂进入AI军备竞赛状态，持续加大投入建设智算中心

海外CSP云厂的资本开支持续增加，景气度持续。 Google:2025年全年capex从750亿美元上调至850亿美元。月均Tokens达到 980万e，AI Overviews 20+亿的月度用户，Gemini app月活4.5+eGoogle Cloud新增客户量环比+28%。Meta: 25年全年capex上调至660-720亿美元。宣布启动 Prometheus 与 Hyperion 集群 项目，重金组建44人超级智能实验室，.Family of Apps 生 态月活34.8亿，Meta AI月活超10亿. u 微软：FY2025全年资本开支800亿美元，预计FY26Q1资本支出超300亿。过去 一年数据中心新增超2吉瓦容量，数据中心数量超400个。 AWS: 预计25年全年capex 1000亿美元。 Alexa+用户数超过10万。 国内五大CSP厂商资本开支持续攀升。 u2025年Q1阿里资本开支增长126.7%，腾讯同比增长91%，百度预计2025年不断 增加资本支出，字节、华为也有大幅投入，且多用于 AI 基础设施建设。

CSP互联网云厂开启自研ASIC算力芯片之路

CSP加速了ASIC研发，每家都有自研AISC芯片并发展数据中心，数 通行业持续受益。AWS目前以与Marvell协同设计Trainiumv2为主力， 其主要支持生成式 AI与大型语言模型训练应用，AWS也和Alchip合 作Trainium v3开发。Google已于2024年底推出TPU v6 Trillium， 主打能效比和针对AI大型模型的最佳化，官方称相比上一代训练能 力提升4X，推理吞吐量提升3X。Meta已部署首款自研AI加速器MTIA 后，正与Broadcom共同开发下一代 MTIA v2。

AI底层互联技术：Serdes单通道速率升级，推动传输带宽升级到1.6T

Serdes技术升级。电信号传输能力核心是SerDes技术，是芯片与外界交换数据的 基本单元，光端口带宽为Serdes带宽整数倍。SerDes的全称是SERializer(串行 器)/DESerializer(解串器)，是一种高速的时分多路复用（TDM）、点对点(P2P) 的串行通信技术。224G SerDes产品在2024年开始逐步成熟，Marvell在FQ4 2024 业绩电话会上表示，其下一代单通道200Gb/s速率的1.6T PAM DSP产品已经在客户 侧进行认证。以太网、InfiniBand、PCIe等技术也在不断升级。

英伟达等AI芯片厂商推动智算中心快速升级

英伟达AI芯片加速迭代，目前H200是主流产品

英伟达芯片架构每2年左右升级一次，芯片之间的网络连接同步迭代，速率不断提升，目前采用H200方案较多。单个GH200集群（256张GPU互联），2层fat-tree网络（NVLink Switch：32*800G端口）结构。L1:96台，L2 36台。由于NVLink4.0双向速率900GB/s，总上行带宽为115200GB/s，800G光模块总需求为2304块。因此，GH200集群内，GPU:光模块=1:9。若考虑多个GH200互联，参考H100架构，3层网络架构下，GPU:800G光模块需求=1:2.5；2层网络架构下，GPU:800G光模块=1:1.5。即多个GH200互联情况下，GPU:800G光模块上限=1:（9+2.5）=1:11.5。

展望B系列发展，拉动光模块和铜连接需求

GB200 NVL72架构: 18个1U计算托盘和9个NVSwitch托盘组成。每个计算托盘包含2个Bianca板。每个Bianca板是1个GraceCPU和2个Blackwell GPU。NVSwitch托盘有两个28.8Tb/s NVSwitch5 ASIC。每个 B200 GPU 支持 1.8 TB/s 双向带宽。每个计算托盘（4个GPU）提供 7.2 TB/s 总带宽，所有计算托盘合计 129.6 TB/s 双向带宽。 铜连接：NVLink 5.0 1800GB/s速率对应4DP（4*200Gb/s）*18通道=72DP，则总差分线数量=72*72=5184条。GPU：400GDAC=1:36u 光模块：GB200集群(576GPU)：2层架构8Rack，GPU:800G=1:1.5~2.5；GB300集群： GPU:1.6T=1:1.5~2.5；DGX-B300集群(4096GPU)：GPU:800G=1:4~4.5。

展望B系列发展，传输速率升级以及独立冷板方案

传输速率升级，采用CPO交换机。GB300 NVL72架构: 和GB200架构类似，采用NVSwitch 5.0, 每个 GPU 支持 1.8 TB/s 双向带宽，每个GPU配备CX-8网卡（800Gb/s）。散热设计全面升级，从大面积冷板方案改为独立冷板设计。每个GPU单独配备冷板，单个Compute tray配套6块水冷板（4个GPU+2个CPU），同时使水冷管线更密集。水冷快接头（UQD）用量大幅增加，从GB200一个 compute tray 需要6对 UQD，提升到 GB300 的 14 对。

展望Rubin系列发展，正交背板成为未来互联核心技术

NVIDIA Rubin NVL576网络方案升级，Scale up采用正交背板方案。 Compute to NVLink switch，PCB 板背板取代铜缆背板，简化互连链路。 同时，采用第六代|第七代 NVLink技术（3600GBps）、CX9网卡（1.6Tbps）以及 Spectrum6 CPO交换机（102T）。机柜散热和布局升级：机柜采用全液冷方案，Kyber 机架将风扇和电源移出了机架，以提高计算板密度。 Feynman系列规划持续升级网路速率，预计采用第八代NVLink技术和CX10网卡，以及204T的Spectrum7 CPO交换机。

CSP云厂在研ASIC芯片和数据中心网络

Google一直引领自研ASIC芯片，TPU已经研发到第七代

从2015年开始，Google发布第一代TPU，并保持1-2年更新一代产品节奏。 4月9日，谷歌在拉斯维加斯举办的Google Cloud Next 2025大会上正式发布 了第七代TPU芯片——Ironwood。

Google在机柜内设计三维环面网络互联

TPU芯片连接主要采用2D-Torus和3D-Toru互联方式，扭曲拓扑可以改进负载均衡，对分带宽，数据包路由更短。一个TPU 机架包含64个TPU 芯片，通过 4x4x4 三维环面网络互联。 TPUv4集群：每个托盘有4颗芯片，以4*400Gbps速率连接跨板的GPU，目前机柜内主要采用DAC进行机柜内连接，TPU: 400G DAC=1:4。

Google在机柜间使用全光OCS互联

TPUv4集群（超节点架构）: 64个机架通过48个OCS交换机组成的4096芯片网络，每个4*4*4的机柜，需要连 接6面*16条/面=96条，总计需要64*96=6144个光模块。TPU : 400G光模块=4096：6144=1:1.5。同理，在 TPUv4相同架构下，TPU v5p和v5e对应800G，TPU v6和v7对应1.6T光模块。 Apollo架构（Scale out）：2022年，谷歌引入OCS交换机替代Spine层的电交换机来降低功耗和传输时延。 假如两层fat-tree网络下，TPU:400G光模块=1:4.5。

AWS在2024年底发布基于Trainium2的架构，AEC成为亮点

机柜内互联主要采用铜连接。芯片和CPU互联（JBOG to CPU）：Compute Tray和CPU Tray通过 PCIe 5.0 x16 互联。芯片互联（Neuronlinkv3）：机柜内芯片互联，每个芯片通过3个背板连接器连接到其他计算托 盘，32DP*32Gbps = 128GBps，Trainium2 : 400GDAC=1:9。每个Tr2 ultra中，机柜间的互联采用AEC, Trainium2:400GAEC=1:1。 ScaleOut（EFAv3 集群网络）：compute Tray到Tor交换机，采用2*200G转400G的DAC连接计算托盘的NFAV3 到Tor交换机。假设使用双层fat-tree网络架构，Trn2 SKU中，GPU: 400G光模块=1:4；假设单层网络，GPU: 800G光模块=1:2。Trn2 SKU ultra中，两层网络，GPU:400G光模块=1:2；单层网络，GPU:400G光模块=1:1。

前沿技术发展趋势

Scale-out：高密度光连接器由MPO向MMC发展

随着MPO从基础的12芯向24芯甚至更多芯数演进，单连接器可集成更多光纤成为趋势。 MMC是一种支持多芯光纤集成的连接器，更高布线密度是核心优势。 MMC采用精密光 纤排列与封装技术，优化插芯结构、缩小连接器间距，在单位面积集成更多光纤触点， 实现“更小体积、更高芯数”。如MMC-16每1RU可容纳3456根光纤，约为MPO-16的3倍， 紧凑的机械设计与光纤排列技术，MMC在单位空间内集成更多光纤，其低插入损耗、 高可靠性特性，更适配1.6Tbps等超高速率场景。

报告节选：

编辑：火腿肠