分布式存储发展趋势与建议分析

为助力产业健康发展，产业方阵持续跟踪分析最新技术发展趋 势，从架构、软件功能、硬件技术、生态发展四个维度，分析解读 当前分布式存储领域最新关键发展趋势，解析各创新技术价值，洞 悉分布式存储发展趋势。

一、 架构方面，向融合负载、更高密度、更快网络发 展

1、多协议融合架构承载多业务混合负载 在 AI、HPC、HPDA、大数据、云原生等数据密集型应用的发 展推动下，数据量呈现爆发式增长，并进一步促进了 IT 与各类应用 的融合。另一方面各类应用的非结构化数据占比越来越大，数据类 型更加复杂多样，对存储系统提出了更高的数据管理和混合负载的 要求。 当前分布式存储在向支持 AI、HPC、HPDA、大数据、云原 生、虚拟化等应用中向多协议融合的多负载混合架构上演进。不同 于传统的支持单一业务的方式，数据中心要求一个分布式存储系统 同时提供文件、对象和大数据的访问能力，减少协议网关带来的性 能损耗，并且多种协议共享同一套硬件资源。Gartner 预计到 2028 年将有 70%的文件存储和对象存储部署在一个统一的数据存储平 台。

同时 HPC、HPDA 及 AI 技术的兴起带来了混合负载的业务诉 求，要求一套分布式存储系统支持不同类型、不同负载的应用系 统，并能提供更高的性能来支持混合负载业务的多样化 IO 诉求，既 能支持大文件的高带宽，也能支持海量小文件的高 IOPS，以便作为 稳定可靠的数据存储底座为上层业务提供高效支撑。

2、单框多节点架构提高容量性能密度 随着广义高性能计算（HPC）业务如人工智能、机器学习和大 数据处理的迅速发展，对存储系统的需求也日益增加。这些业务需 要高 IO 带宽、高 IOPS 和低延迟，这些需求对存储分布式系统的处 理能力提出了更高的要求。另一方面，闪存技术和单盘容量、单盘 带宽的快速增长，都推动了存储系统朝单框多节点架构发展。

单框多节点架构在一个机架内配置多个独立的存储节点，每个 节点都有独立的资源，并通过高速网络互联。这种架构的优势包 括：提高性能和存储容量，简化管理，以及节能降耗。例如，它可 以解决 CPU 面对高密度 SSD 的 IO 处理性能问题，简化设备部署和 管理，且在典型需求下比传统方案节能 20%以上。综上所述，单机 架多节点架构为高性能计算业务提供了更优的存储支持。目前，多 家主流存储厂商如华为、新华三等都已提供此类存储系统。

3、高性能 RDMA 网络规模应用 分布式存储采用多种网络协议和技术，如以太网（TCP/IP）、 RDMA 网络和 FC 光纤通道网络。其中，RDMA 网络因其高性能而 受到关注。传统的 TCP/IP 网络存在延迟大、多次数据拷贝和复杂的 协议处理等问题。RDMA 技术可以直接将数据传入服务器存储区， 减少数据复制和交换操作，降低 CPU 负载。RDMA 技术已被三种 网络协议支持：Infiniband、RoCE 和 iWARP。其中 RoCE 由于生态 上相对 IB 的开放性，其应用已经越来越多。

为了解决全闪存储性能与网络协议之间的瓶颈，2016 年推出了 NVMe-oF 协议。它允许服务器通过 Fabric 连接到远程 NVMe 设 备，实现高性能的存储设备网络共享访问。其中，基于 RDMA 的 NVMe 应用性能表现出色，受到业界的关注。NVMe-oF 结合了 NVMe 和高速低延迟传输网络技术，释放了数据中心的端到端 NVMe 性能，满足了大规模和高性能数据中心的需求。 由于 RDMA 网络的技术优势，尤其是 RoCE 在国内的快速发 展，国内主流分布式存储厂商大部分已经支持 RDMA 技术实现存储 前后端网络通信，具体包括 NVMe over RDMA、iSCSI over RDMA （iSER）、NFS over RDMA 等，我们相信，随着 RDMA 技术的不 断完善，会有越来越多的分布式存储采用基于 RDMA 网络技术。

二 功能方面，向场景化无损压缩、多活容灾发展

1、数据缩减降低分布式存储应用成本 在分布式存储向闪存介质演进的过程中，场景化数据缩减技术 将为降低闪存应用成本起到至关重要的作用。随着存算分离架构在大数据分析和高性能计算等应用场景中的广泛部署，数据缩减的能 力已经下沉到存储侧。这种下沉与前后台缩减任务相结合，有效地 减少了对性能的影响并显著提升了数据缩减率。 不同的数据场景具有各自独特的数据特征，这为数据缩减提供 了多样化的技术选择。例如，对于基因、医疗和遥感等场景，可以 采用多帧图片聚合压缩和多波段聚合等方法来实现更高的缩减率。 而在数据保护场景中，变长或相似性重删技术能够获得优越的缩减 效果。对于视频和媒资的场景，则可以通过前景提取和码率控制等 技术来进一步增强数据缩减的效率。

2、分布式存储多场景双活多活容灾 随着分布式存储份额在市场上的持续上升，越来越多核心业务 部署在分布式存储之上，核心业务的可靠性需要全力保障，需要达 到 RTO=0 和 RPO=0 的要求，在存储层需要实现双活。 分布式存储可以提供多种存储服务（块、文件、对象、大数 据等），需要实现全业务场景双活。存储双活可以通过存储双活 特性，通过存储同步复制及锁机制能力，解决数据一致性问题: （1）同步复制确保两端存储的数据实时保持一致，一个写IO 需要同时完成两端存储的写动作（存储返回IO写完成）才返回写 完成； （2）双活存储需要保证任何时刻两端存储的数据读写的都保持一致，比如：A端存储在写数据，而在相同的时刻B端存储在写 同一份数据，此时存储应该保留哪份数据呢？这个IO场景就需要 锁机制保障数据的一致性，通过锁机制确保所有IO的数据一致 性，保障业务数据安全。 分布式存储双活能力需要包含：块存储双活、文件存储双 活、对象存储双活及大数据存储双活等，在存储层100%保障核心 业务数据的可靠性及可用性等。

三、硬件方面，向全闪存化、高效节能发展

1、分布式存储启动全闪存化 作为新一代的存储介质 SSD，凭借性能、能耗方面的明显优 势，近几年正在对不同种类的硬盘形成围剿之势，随着 SSD 技术升 级以及成本下降，先后淘汰了 15K 高性能 HDD、10K 高性能 HDD、PC HDD，在企业核心交易系统、核心生产系统、决策支撑 系统、运营支撑系统以及备份等场景已经实现对 HDD 的替换。目前 剩下最后一个品类硬盘-容量型 HDD，而容量型 HDD 主要应用在分 布式存储系统中。 新技术的替代并不完全基于成本。例如，机械硬盘替代磁带并 非因为其成本更低，而是性能优越。当新技术的成本下降到旧技术 的大约 3 倍时，被称为“甜点”，此时大规模替换往往发生。2006年，SSD 性能显著优于 HDD，但价格高昂。到 2011 年，其成本是 15K 企业盘的 3 倍，引发了大量替换。2015 年，15K 企业盘停产， 而 SSD 的成本也逐渐靠近了 10K 企业盘和 PC HDD 的 3 倍，促使 这两者相继减产或停产。2023 年，得益于 NAND Flash 技术进步， 大容量 SSD 的成本已低于 HDD 的 3 倍，标志着 HDD 的更大规模替 换开始。

分布式存储凭借全闪化带来的高性能、高可靠、大容量优势，一 套全闪存存储性能相当于数十套传统 HDD 存储之和，结合大容量 SSD 和重删压缩技术，全闪存存储容量上可以达到 5-10 套传统 HDD 存储之和。可以进行数据中心存储整合，个设备中的数据集中到少 量几台设备中存储，降低设备购置、维护、管理及能耗成本，并加 速数据价值挖掘，使能业务增长。大幅降低 CAPEX 及 OPEX。

2、液冷散热提供极致能效 随着数据中心规模的增长和能耗问题的突出，分布式液冷存储 作为一种绿色、高效的解决方案，受到了越来越多的关注。分布式 液冷存储系统内部采用无风扇设计，有效解决传统风冷方案气流 强、噪音大问题。并且为硬盘提供超静音且无振动的工作环境，可 以显著提高硬盘读取性能。 液冷存储方案多采用冷板式液冷技术和高密模块化设计，可以 显著降低关键部件工作温度，存储节点 PUE 值降至 1.2 以下。液冷 存储技术能够高效制冷，提高数据中心的使用效率和稳定性。其液体传导热能效果和大比热容的特性可以有效避免过热故障的发生。 同时使用了多重节能技术，在保证容量和性能的基础上，提高存储 资源利用率，降低系统功耗。

四、生态方面，向云存开放对接、存储直通发展

1、云存开放对接 云化转型深入，企业使用多云成为新常态。在使用多云带来 的弹性、敏捷的基础服务的同时，也要面对多云部署带来的数据 孤岛和不同异构平台之间的冲突。为解决此问题，构建跨多云和 企业 IT 的统一基础服务，将底层各种大规模云的计算、存储、 网络、安全以及其他资源，抽象成统一多云的云服务底座成为产 业界各方的共识。 企业的多样化应用对数据存储的容量、性能、能效、安全、 可靠、应用生态等有着不同的需求，多云架构需要构建足够宽的存储服务序列，并提供统一的存储资源池和存储云服务能力，才 能更好的去满足企业多样化的上云场景。如云原生的CDN应用，要 求很好的可扩展性和网络访问便捷性，大量采用对象存储；金融 账务，支付交易等应用要求极低的数据存取时延，全面的容灾能 力，多数采用专业的全闪存块存储；半导体领域关键的EDA仿真应 用对小文件存取性能、数据快速检索要求很高，普遍采用专业的 高性能文件存储；科学计算，人工智能等应用，对混合负载下的 带宽性能、多种数据协议互通等能力有刚需，广泛采用专业的分 布式并行文件存储。基于以上的因素，云平台厂商与数据存储厂 商已经开始初步构建互联互通的生态，并在政府，运营商，金 融，电力等行业开始商用，如AWS可以与联想凌拓、戴尔科技、 IBM、华为、杉岩数据等厂商的数据存储进行对接，阿里云可以与 华为，新华三，浪潮等厂商的数据存储进行对接，华为云可以与 XSKY、新华三、杉岩数据等厂商的数据存储进行对接，华三云可 以与华为、曙光、惠普等厂商的数据存储进行对接，浪潮云可以 与IBM、华为、XSKY等厂商的数据存储进行对接。企业可以根据业 务应用的需求，综合考虑云平台能力，数据存储能力，数据安全 能力，最优成本等维度灵活的选择云平台和数据存储的组合。

云平台与数据存储的对接，一般优先采用通用的协议，如 OpenStack Cinder、Swift，VMware VAAI，Kubernetes CSI，AWSS3等，同时在此基础上，产业界也在共同定义和扩展更多的企业 级存储功能对接，例如双活、复制、快照等高阶能力。一方面满 足云平台对数据存储集成性和管理性的需求，另一方面满足企业 跨云一致的数据存取和数据安全体验。

2、GPU直通存储 GDS （GPU Direct Storage）是 NVIDIA 推出的一种提升 GPU 载入大型数据集速度的数据传输技术，是为了解决 AI 及 HPC 运算 数据集规模不断增加，应用程序载入数据花费时间越来越长，导致 GPU 的运算速度无法充分发挥的问题。

NVIDIA 的 CUDA lib 已经在客户端用 NFS over RDMA 支持 GDS，存储服务端支持 NFS over RDMA 后，应用程序即可利用 NFS 客户端上的 GDS 功能。Dell EMC、华为、NetAPP、VAST Data 等供应商已通过在分布式存储服务端支持 NFS over RDMA 来支持GPU 直接存储。根据各厂商的测试数据，GDS 能够提升数据吞吐量 2~10 倍。 随着 AI 技术的发展及国家超算中心的建设，以及 GPU 国产化 的推进，算力的需求仍然会保持高速增长，相应的对分布式存储支 持 GDS 的需求也会越来越紧迫。

五、共建共赢，推进分布式存储生态发展

随着数字化转型的深入，我国分布式存储市场呈现出蓬勃的发 展态势，预计“十四五”末市场规模有望突破 400 亿元。在新的发 展阶段中，分布式存储将继续以技术创新为核心，满足海量数据处 理的需求，为各行业数字化转型提供坚实的数据基础，具体为： 一是生态上，建设云存开放对接、算力互联互通生态：随着云 计算和分布式存储技术的快速发展，生态合作在分布式存储厂商与 云服务提供商之间已经得到广泛展开。这种生态合作旨在深度集成 主流云计算平台与主要存储平台，确保在多云环境中数据的流动性 和共享效率。为了进一步强化这种生态协作，需要加强对数据调度 技术和数据编织技术的支持，并推动统一的生态标准的建立，这不 仅将促进数据的交互性和通用性，也为各类算力资源的互联互通打 下坚实的基础，从而进一步完善我国的云计算和存储生态体系。

二是产业上，推动分布式存储创新，构建 AI 数据引擎：随着技 术的发展和市场的需求，分布式存储已成为当下技术行业的核心焦 点。为了满足 AI 大模型的数据需求，分布式存储厂商正大力投资于 研发和创新，旨在解决数据归集、预处理、训练和推理中遇到的数 据挑战。为了进一步加强这一趋势，需要加强推广大模型与分布式 存储在各行各业的落地应用案例，促进 AI 大模型与分布式存储协同 发展，推动分布式存储成为 AI 大模型数据引擎。预计在未来，分布式存储将更好地服务于 AI 大模型，推动整个产业链得到更大的价值 提升和发展空间。 三是标准上，完善标准及评估体系，促进产业健康发展：分布 式存储标准体系已进入新的发展阶段，仍需更为系统的指导和规 划。强化标准体系的顶层设计是当前的首要任务，结合实际用户需 求和前沿技术动向，使产、学、研、用各环节紧密协作，确立高标 准的技术指导和产品标准，以丰富和完善该体系。为保障分布式存 储产业健康进步，建立评估规范体系至关重要。采用符合性检验、 互操作性测试以及性能评定等措施，能对核心技术和产品进行深入 的评估，从而促进其持续创新与升级。