2025年AI存储产业趋势分析:PCIe带宽赤字催生异构互连新生态​

  • 来源:其他
  • 发布时间:2025/09/30
  • 浏览次数:198
  • 举报
相关深度报告REPORTS

ODCC开放数据中心委员会:2025年AI存储系统需求研究.pdf

该文档由ODCC开放数据中心委员会发布,聚焦于2025年AI存储系统的需求研究。报告深入分析了在人工智能大模型训练与推理爆发式增长的背景下,数据中心对存储架构、容量、带宽及延迟提出的全新挑战与要求。研究背景:随着AI算力需求的激增,传统存储架构面临瓶颈,高性能、高并发、低延迟的存储系统成为制约AI发展的关键因素。核心内容:文档探讨了AI场景下的存储技术趋势,包括NVMe协议优化、存算一体技术、分布式存储架构演进等,并预测了未来存储系统的性能指标与市场规模。同时,分析了不同AI负载(如训练、推理)对存储系统的差异化需求,为数据中心建设与技术选型提供指导。价值:为数据中心运营商、存储厂商及AI企业...

随着人工智能模型参数从十亿级向万亿级跃进,AI基础设施正经历一场深刻的范式转移。算力不再是唯一的焦点,存储子系统——特别是其带宽、容量和延迟性能——已成为制约AI训练与推理效率的瓶颈核心。传统的以PCIe为核心的总线架构,其线性的性能演进已难以匹配AI工作负载指数级增长的带宽需求,一场围绕数据通路的变革正在发生。本文旨在深入剖析AI存储系统面临的核心挑战,并基于开放数据中心委员会(ODCC)等机构的最新研究成果,探讨包括CXL、UCIe、NVLink、硅光互连及近存计算(NDP)在内的下一代互连技术如何协同演进,共同构建面向未来的高效、可扩展AI存储架构。

​​一、 PCIe带宽赤字成为AI规模化发展的核心瓶颈,全生命周期承压​​

人工智能模型规模的膨胀速度已远超硬件基础设施的迭代周期。研究表明,自2012年以来,最大型AI模型的计算需求每3至4个月便翻一番,而PCIe标准保持每3至4年带宽翻倍的节奏。这种“剪刀差”在2024年变得尤为显著。以训练1750亿参数的模型为例,其FP32精度下的权重存储就需要约700GB的空间,远超单个加速卡的板载内存容量。这不仅带来了巨大的容量压力,更引发了严峻的带宽挑战。

AI工作负载对存储的压力贯穿其整个生命周期。ODCC的研究将其细分为八个阶段,每个阶段都对PCIe总线提出了独特且苛刻的要求。在​​数据摄取​​阶段,需在极短时间内将PB级的原始语料从对象存储加载至本地NVMe阵列,链路需持续高吞吐。​​预处理​​阶段则因Token化、过滤和重排(Shuffle)操作,面临“顺序读-随机写”模式转换带来的协议开销和缓存一致性挑战。

​​训练阶段​​是压力最为集中的体现。其流量并非持续平稳,而是由周期性的梯度同步(通常通过NVLink和InfiniBand在机柜内完成)和间歇性的Checkpoint写入洪峰交替构成。后者尤其致命:例如,在一个万卡规模的训练集群中,每两小时一次的Checkpoint写入峰值可达7.4PB。此时,单节点PCIe 5.0 x16链路的净荷带宽约为51 GB/s,但瞬时需求却高达140 GB/s,链路利用率超过364%,极易触发PCIe重传风暴,导致All-Reduce通信延迟从微秒级飙升至毫秒级,整体训练效率可骤降至42%以下。

​​推理阶段​​的挑战则从“洪峰”转变为“持续微压”。其瓶颈主要来自于KV-Cache的随机读取放大和微服务实例爆炸。例如,一个70B参数的模型经INT4量化后,在序列长度16k、批大小32时,其KV-Cache可高达9GB。生成一个Token需随机读取这9GB的缓存,对PCIe带宽的持续压力巨大。某头部云厂商的实践显示,为弥补PCIe 5.0 x16的带宽不足,被迫在显存中常驻完整KV-Cache,导致实例密度下降60%,每千Token的推理成本上涨2.4倍。

即便在​​边缘服务​​和​​终端离线​​场景,虽然目前压力相对较小,但随着模型下沉,瓶颈正在迅速前移。旗舰移动SoC(如Apple M3 Max)通常仅提供x4 PCIe 4.0通道(约8 GB/s带宽),加载一个35GB的70B INT4模型需要超过4秒,严重挑战“首屏1秒”的用户体验红线,实测用户留存率可因此下降18%。

为量化这一系统性瓶颈,业界提出了​​带宽赤字指数(BDI)​​ 的概念,即AI负载的峰值PCIe带宽需求与单链路净荷带宽的比值。BDI>1即出现缺口,>2则为严重赤字。公开数据显示,2024年主流AI负载的BDI已处于1.5-2.0的区间,PCIe 5.0已显吃力。预测至2027年,随着10T参数模型的出现,BDI可能被推高至3-6,这意味着即便未来的PCIe 7.0(256 GB/s)也难以独立应对,系统性变革已非选答题,而是必答题。

​​二、 异构互连技术协同演进,构建“后PCIe时代”分层解耦新架构​​

面对单一的PCIe总线无法满足多元化需求的问题,产业界并未坐以待毙,而是催生了一个由多种互连技术协同作战的、分层解耦的新架构。这些技术并非简单的速率叠加,而是在“机柜-封装-晶圆”不同空间尺度上,针对不同任务特性进行优化组合。

在​​机柜级​​,​​NVLink​​和​​CXL​​构成了高速互联的主力。NVIDIA的NVLink 5.0专注于GPU之间的同构高速互联,其延迟极低,带宽可观(例如在Blackwell架构中通过铜缆实现150 GB/s单链路,机柜内聚合带宽可达2.7TB/s),是训练阶段梯度同步的理想选择。而​​CXL​​则基于PCIe物理层,侧重于实现CPU与内存、内存与内存之间的池化和共享。CXL 3.0/3.1在提供与PCIe 6.0相当的118 GB/s(x16)带宽的同时,其CXL.mem协议还能减少一次CPU拷贝,提升效率。更重要的是,它将内存池化的半径从1米扩展至10米以上,使得计算节点可以按需、弹性地访问共享的内存资源,极大缓解了Checkpoint等操作带来的洪峰压力。Intel、AMD均已推出支持CXL的处理器,预计2025年将进入规模商用。

在​​封装级​​,​​UCIe​​标准旨在成为Chiplet(小芯片)时代的“通用插座”。它允许来自不同制造商、采用不同工艺的计算芯粒、存储芯粒、IO芯粒在同一个封装内通过极高带宽(UCIe 2.0目标2 TB/s/mm²)和极低延迟(<20ns)互连。这使得芯片设计可以从单一的Monolithic(单片)走向灵活的异构集成,例如将大容量的HBM或CXL内存控制器以Chiplet形式与计算芯粒集成,从根本上解决“内存墙”问题。虽然其生态仍在构建中,但Intel、台积电等巨头的积极投入预示着其将成为未来高性能计算的核心互连方案。

​​硅光互连​​则从另一个维度提供解决方案。随着机柜功耗密度逼近30kW,铜缆在信号完整性、散热和布线复杂度上均面临物理极限。硅光技术利用光子代替电子进行数据传输,具有低损耗、高带宽密度和天然抗电磁干扰的优势。它尤其适合在机柜内部进行米级距离的高速连接,例如替代部分NVLink铜缆或用于连接CXL内存池,能显著降低功耗和散热需求。台积电等代工厂已展示与3D封装兼容的共封装光学(CPO)方案,标志着硅光正从长距通信下沉至机柜内短距互联。

这些技术并非相互替代,而是构成了一个有机的整体:机柜外部用800GbE/InfiniBand,机柜内部用NVLink和硅光,插槽级扩展用CXL,封装内部用UCIe。而PCIe,正逐渐从这个新生态的“主干”退居为连接低速外设的“边带”。这种分层协同的架构,是应对AI存储带宽赤字的必然选择。

​​三、 近存计算与范式迁移:从“数据搬运”到“计算驻留”的战略转变​​

除了在数据通路上“拓宽道路”,另一个根本性的解决思路是“减少交通流量”,即让计算更靠近数据所在的地方,从而最大限度地减少数据在PCIe等总线上的迁移。这就是​​近存计算​​的核心思想。

NDP主要分为两大方向:​​内存内计算​​ 和​​存储内计算​​。DRAM厂如三星已推出HBM-PIM(存内处理器),在HBM内存堆栈中嵌入计算单元,用于执行矩阵乘法或向量归约等操作。在其与AMD的合作验证中,该方案可将训练中梯度同步相关的数据搬运次数减少约50%,直接降低了PCIe通道的占用。另一方面,存储厂商如铠侠(Kioxia)已在企业级SSD主控中集成AI加速单元(如128x128 INT8 MAC阵列),用于执行推理过程中的Attention计算等任务,可将PCIe的读放大系数从8降低至3,无需修改上层应用即可提升效率。

NDP的价值不在于提供比GPU更高的峰值算力,而在于其极致的能效和对总线带宽的解放。它与CXL、PCIe等互连技术是互补关系:PCIe/CXL负责粗粒度的数据调度和搬运,而NDP则在数据驻留的介质旁完成细粒度的计算,二者共同构成一个高效的“带宽缓冲带”。

要实现NDP的潜力,仍需克服​​编程模型碎片化​​和​​数据一致性​​等挑战。当前不同厂商的PIM方案采用不同的编程接口,增加了开发者的迁移成本。同时,当计算单元直接修改存储介质中的数据时,需要一套高效的一致性协议来确保整个系统的正确性。这需要整个生态从硬件、固件到操作系统和应用层的协同努力。

这一转变也驱动了AI基础设施​​商业模式​​的潜在迁移。未来,我们可能不仅购买计算和存储资源,甚至会购买“近存计算”能力作为一种服务(FaaS)。存储设备本身将变得更加智能,从被动的数据容器转变为具有一定主动处理能力的智能节点。

​​

以上就是关于2025年AI存储产业趋势的分析。总而言之,AI模型规模的指数级增长已彻底改变了存储系统的游戏规则,PCIe带宽赤字成为制约产业发展的显性瓶颈。这场挑战也正催化着一场深刻的技术变革:从依赖单一总线走向由CXL、UCIe、NVLink、硅光互连和近存计算构成的异构协同、分层解耦的新架构。未来成功的AI基础设施,必然是那些能够有机整合这些技术,实现“机柜-封装-晶圆”三级协同,并完成从“数据搬运”到“计算驻留”范式迁移的系统。对于产业链上的参与者而言,唯有拥抱这一系统性变革,才能在未来的竞争中占据先机。

编辑:666知识控
  • 相关标签
  • 热门文档
  • 热门文章
  • 本年热门
  • 本季热门
  • 本月热门
  • 本年热门
  • 本季热门
  • 本月热门
分享至