2025年智算网络架构分析：扁平化架构将成十万卡集群关键技术

随着大模型训练需求的爆发式增长，智算网络正面临前所未有的规模扩张压力。根据开放数据中心委员会（ODCC）最新发布的《扁平化智算网络架构研究报告》，大模型训练已成为史上规模最大、计算与通信密集度最高的并行计算应用。从2020年千卡集群尚属罕见，到2025年最大集群规模已突破20万XPU，五年间规模增长约690倍。在这一背景下，传统网络架构面临成本与性能的双重挑战，扁平化智算网络架构应运而生，成为解决十万卡量级集群组网需求的关键技术路径。

一、智算业务场景驱动网络架构变革

大模型训练对算力的巨大需求持续推动集群规模扩张，而模型稀疏化的演进趋势又驱动着更大规模的局部大带宽互连需求。根据epoch.ai的测算，过去五年间，前沿大模型的算力需求每年增加5倍，而单个XPU的算力仅增加1.35倍，供需之间存在3.7倍的差距，这一差距直接催生了持续扩大的智算集群规模需求。

从业务场景角度分析，训练场景需要重复执行训练迭代轮次，每一轮迭代包含前向传播计算损失值、反向传播确定梯度，以及通过优化器调整模型参数。为充分利用分布式算力，大模型训练通过多种并行策略将数据、模型和激活张量分割至数万块XPU。在每个迭代轮次内，XPU之间需要频繁交换数据以分发输入数据、同步激活值及梯度等。随着训练系统规模扩大，数据移动成为整个系统中最耗资源的环节。如果缺乏强大的通信能力，训练过程极易被"通信墙"制约。

推理场景则呈现出不同的技术特征，业界近期的显著变化是PD分离和AE分离部署策略。PD分离将推理过程拆解为Prefill和Decode两个独立阶段，分别部署在不同的XPU上。Prefill阶段处理用户输入的整个Prompt上下文，计算所有Token的KV Cache，硬件需求为计算密集型，适合部署在高算力XPU。Decode阶段基于KV Cache逐个生成输出Token，硬件需求为访存密集型，适合部署在大显存/高带宽XPU。实测数据显示，PD分离可以大幅提升推理的TPS性能。

AE分离则将MoE模型推理解耦为Attention与Expert两个独立阶段。Attention阶段执行Transformer主干中的自注意力计算，涉及大量关于激活值的运算，适合部署在大显存/高带宽XPU。Expert阶段根据路由权重，将Token动态分配至多个专家，执行稀疏计算并返回加权输出，适合部署更大的batchsize以提高计算效率，适合部署在高算力XPU。仿真结果表明，在超节点（1.2T）下实施AE分离，能够在限制TPOT<20ms的条件下获得显著性能提升。

从通信模式分析，不同并行技术产生的数据流量存在显著差异。以Deepseek模型为例，专家并行（EP）占据总通信量中的绝对多数，达到97%以上占比，而其余并行技术通常占比不足2%。这种流量特征决定了网络带宽供给的架构设计需优先采用分层优化策略，为扁平化架构的创新提供了业务依据。

二、现有网络架构的技术瓶颈与成本挑战

当前智算集群主要采用胖树拓扑建设，但在相同的拓扑结构下，不同集群在交换机款型选择、收敛比设计、可靠性设计、轨道优化设计上存在显著差异。Meta和阿里作为行业代表，展现了不同的设计思路。Meta采用每个服务器出8个单口400G网卡，连接到相同的RTSW（L1交换机），之间采用电互连，CTSW为L2交换机，采用框式设备，上行7:1收敛比。而阿里则采用每个服务器出8个400G网卡，每网卡2个200G端口，一个端口连Plane1，另一个端口连Plane2，采用双归接入，所有交换机款型均采用盒式设备。

在款型选择方面，框式设备与盒式设备各有优劣。框式设备端口数多，400G端口框式交换机典型端口规模是576端口，部分厂商支持到640端口；盒式设备端口数少，400G端口盒式交换机典型端口规模是128口。从组网成本角度分析，如果直接比较框式交换机和盒式交换机的每端口成本，框式处于劣势，但其内部的两层交换架构会带来额外的互连代价。然而按整个网络成本评估，结果则取决于目标网络规模。当目标组网规模是8K个400G时，盒式组网成本较优；当目标组网规模大于8K又小于等于40K时，采用全盒组网需要3层，而框+盒组网只需要两层，此时框+盒组网反而具有成本优势。

收敛比设计是另一个关键考量因素。智算业务常用的集合通信算子对收敛比的容忍度各不相同。稀疏模型使用的Alltoall算子不能容忍收敛，否则性能会急剧下降，而稠密模型使用的其他算子可以接受一定的收敛比。但当集群运行多任务、多算子时，即使如AllReduce这类算子，在特定情况下也需要无收敛的带宽。这也是算力出租场景通常选择无收敛网络的原因。

在SU网络方面，英伟达的NVL72超节点采用机柜级设计，整个系统包括18个计算板和9个交换板，每个计算板包含2个GB200超级芯片，每个GB200超级芯片有2个Blackwell系列的B200 GPU，整个机柜共72个GPU。B200与NVswitch的拓扑为1层胖树架构，采用200G的serdes电互联。为扩大规模，英伟达规划了NVL576 SuperPOD，采用2层Clos拓扑实现576个B200 GPU互联，但引入的光互联导致额外BOM成本超过560万美元，每GPU需要分摊9700美元，高成本成为阻碍客户接受的主要原因。

谷歌则采用Torus拓扑互联自研TPU计算芯片，实现TPUv4平均训练成本相较NVIDIA降低40%以上，TPUv5e进一步降低60%以上训练成本。但Torus拓扑对于All-to-All这类全局通信不太友好，会严重影响超节点拓扑在稀疏模型训练下的线性度。其All-to-All带宽利用率约为8/k，每维节点数k越大，all-to-all带宽越低，这是其应用受限的主要原因。

三、扁平化架构的创新方向与技术实现路径

面向十万卡集群的组网需求，多平面胖树拓扑成为SO网络的优化重点。该架构通过扩展平面方式满足接入端口带宽需求，以51.2T交换机、100G端口速率、扇出512为例，如果单个网卡的接入带宽需求为400G，则采用四平面，每个平面提供100G的接入带宽。按照业界51.2T芯片、512扇出测算，可以实现两层十万卡（128K）集群组网。如果交换机扇出进一步扩大到1024，则可以实现两层五十万卡（512K）。

多平面胖树拓扑需要解决四个关键技术问题：X1模式的MAC支持、硬件和布线方案、多平面负载均衡以及多平面故障隔离。在硬件和布线方面，交换机和网卡需要支持端口拆分，面板口保持400G/800G形态，与当前硬件形态无异。布线可采用两种方式：一种是通过外置的shuffle box做线路交织；另一种是在交换机内部做线路交织，采用多芯片盒子。从部署和运维角度，多芯片盒子是相对更优的方案，可简化光纤布线，减少交换机节点数。

多平面负载均衡需要解决网卡端口拆分后的带宽利用问题。如果一条流只走其中一条路径，接入带宽将等比例减少。理论上逐流与逐包负载均衡均可用，但从解决QP资源、降低软件编程难度的角度看，逐包负载均衡是更优的方式。多平面故障隔离则需要交换机与网卡的协同，当网卡接入的某个平面发生故障时，网卡的收发流量都应从此平面隔离，避免路由黑洞引起的连通性问题。

在SU网络方面，ETH-X Ultra提出单级光互联架构，计算节点内不再保留交换机，而是GPU通过光拉远到外部交换机，通过单级交换机实现256/512卡超节点。该方案有效控制了超过64卡超节点的网络成本，相比64卡电互连超节点，均分到每GPU的网络成本仅有小幅增加，同时实现了超节点产品形态计算与网络的解耦。然而，该方案需要解决光互连可靠性、端侧模式选择以及降低光互连功耗和时延等挑战。

对于超出两层多平面胖树支持范围的场景，Group-Wise Dragonfly+成为较优选择。该拓扑通过改变Dragonfly+组网中L2交换机连线密度，使每个组内的同号L2交换机之间采用1D-FullMesh连接。相比传统Dragonfly+，Group-Wise Dragonfly+在路由上有显著改进，中间交换组的每个L2交换机连接了所有组的同号L2交换机，不需要Down-Up绕行就能实现绕路，简化了均衡、路由、流控防死锁设计。尽管组网规模有所减小，最大组网规模约为r³/8，但在大规模组网场景下仍具有明显优势。

四、未来网络架构发展趋势与产业协同需求

从拓扑架构创新角度，未来网络将朝着大规模低直径方向发展，其中Balanced Sparse Tree（BST）和Slim Fly是两大重要方向。BST是一种基于组合理论设计的平衡稀疏树，通过稀疏互联替代全互联实现组网规模扩张。BST互联需要满足均衡性和稀疏性双重特征：均衡性是指任意两下层节点间通信带宽相同；稀疏性是指上层、下层节点间非完全二部图连接。采用两层51.2T芯片（Radix=128）以BST组网，组网规模可达50K，而传统2层Clos组网规模仅为8K。

Slim Fly拓扑基于图论中性质较好的MMS图构造而成，具有三大优势：在相同跳数、节点规模前提下，只需要更小的Radix交换芯片即可达到几乎等同于Clos的性能；在All-to-All、AllReduce、Uniform Random等经典流量模型下，性能与Clos互有胜负；具备点对称性，上层算法执行复杂度低。Slim Fly的最大优点是可以在做到与Clos相同的针对任意流量Non-Blocking的同时，成本降低35%以上，虽然组网连线较为复杂，但代表了未来拓扑的发展方向。

多网融合是另一个重要发展趋势。OUV三张网络分别主要承载RDMA、LD/ST和TCP流量，在数据大小、距离、丢包、时延和数据包长等六个方面存在巨大差异。未来网络需要突破TCP、RDMA、LD/ST多业务性能隔离难题，实现以太网一网高吞吐承载。长期来看，如果能实现多种网络类型的协议合一、物理合一，TCO将进一步提升，但也面临更大的技术挑战。

从产业协同角度，扁平化架构的实现亟需产业链深度协同，关键在于突破端侧网卡与I/O Die、及网侧交换机的高扇出能力、低功耗低时延且开放的光电互连能力、及端网协同的负载均衡与故障隔离等核心技术。这要求芯片商、设备商及最终用户形成联合攻坚生态，共同推进标准化和产业化进程。

以上就是关于2025年智算网络架构发展的全面分析。从业务需求驱动到技术架构创新，从成本挑战到解决方案，智算网络正经历着深刻的变革。扁平化架构作为应对十万卡集群组网需求的关键技术，通过多平面胖树拓扑、Group-Wise Dragonfly+等创新设计，有望在控制成本的前提下满足持续扩张的规模需求。未来，随着BST、Slim Fly等新拓扑的成熟以及多网融合技术的突破，智算网络将向着更高效、更经济、更智能的方向持续演进，为人工智能产业的发展提供坚实的基础设施支撑。

编辑：666知识控