面向智算场景的高性能网络白皮书.pdf

面向智算场景的高性能网络白皮书。智算场景的普惠化正带来新一轮网络技术的革新浪潮。

随着生成式人工智能的发展，AI大模型参数量从GPT-3.5的1.75亿，到GPT-4的1.8万 亿，预计未来GPT-5将达到十万亿参数规模，迅速膨胀的AI模型需要更大规模的算力集群执 行训练。AI大模型以GPU集群分布式训练为基础，根据阿姆达定律，串行占比决定并行效 率上限，网络成为影响算力的重要因素。AI训练任务的高精度并行协同特性以及超大集群互 联吞吐量对网络性能提出了数量级的提升需求。AI大模型训练的时间往往长达数月，也使得 网络的长稳运行变得前所有未有的重要。从网络流量模型来看，AI大模型训练流量与通算流 量呈现出完全不同的特征，突发的稀疏大流成为网络常态，聚合流量具备波峰波谷效应明显、 周期性等特征，也使得很多通用数据中心的网络技术不再适用。HPC同样对网络提出高性能 需求，特别是在可扩展性以及分布式资源的高效利用方面，HPC与AI的需求趋同。一般来说 HPC对于时延更加敏感，但部分采用并行通信的计算模型，同样也关注长尾时延。

AI和HPC集群规模和服务范围的扩大对广域网传输也提出全新需求，包含数据协同和数 据快递两大应用场景。数据协同应用主要面向AI/HPC的分布式协同，例如在跨DC的AI训练 过程中的是训前模型和数据上载，以及训练期间数据和状态同步过程；数据快递场景包括数 据灾备、大规模科学数据传递等。以上都需要广域网具备高性能海量数据传输的能力。

综上，面对大规模AI/HPC的计算、存储和通信需求，不仅数据中心内部的大规模密集 数据交换需要高性能网络的支撑，还需要网络能够高效地连接多个数据中心或站点，实现跨 地域的AI/HPC业务的高效协同。

本白皮书从面向智算业务的高性能网络需求和技术挑战出发，分析高性能网络技术发展 现状和趋势，并探索更适合行业协同发展的高性能网络技术架构和关键技术。