存储行业深度报告：AI服务器存储量价齐升，算力需求推动HBM市场数倍增长.pdf

上传者：0*****
时间：2023/11/23
热度：1969
0人点赞
举报

存储行业深度报告：AI服务器存储量价齐升，算力需求推动HBM市场数倍增长。AI 算力升级带动服务器的 CPU 迭代并提升 GPU 需求，带动 AI 服务器存储容量和价值量较传统服务器数倍增长。训练型 AI 服务器中 GPU 承担大部分算力，算力要求推动了 HBM 等新型存储器超百亿美元新兴市场，进而提升 Bumping、 TSV、CoWoS 等先进封装工艺需求，并带来减薄、键合、模塑、测试等设备以及 EMC、电镀液、PSPI 等材料的增量需求。叠加国内自主可控需求持续增长，国内存储及 HBM 等催生的先进封装产业链发展空间巨大。

AI 服务器 CPU 和 GPU 随算力需求而升级，对存储器容量和价值量均有数倍拉动。传统服务器以 CPU 作为算力核心，随着 AI 训练模型的算力要求不断提升，CPU 的核心数、主频、线程数量均不断提升，但仅靠 CPU 已经无法满足算力需求，需要搭配 GPU 进行多线程数据处理，主流训练型服务器一般搭配 8 个 GPU。AI 服务器用到的主要存储器包括 CPU 内存、GPU 显存和硬盘 NAND 等，存储器容量和价值量均较普通服务器有数倍提升，1）DRAM：英伟达训练型 AI 服务器中的 CPU DRAM 容量高达 2TB，另外单个 GPU 一般搭载 80GB 以上的 HBM 存储器，AI 服务器 HBM 总容量预计超 640G，总内存容量相较普通服务器有 4-8 倍的提升，仅 CPU 内存价值量预计有 5 倍的提升，GPU 的 HBM 则为纯增量市场；另外，服务器内存也在不断迭代，目前普通的服务器均多配备 DDR4，但最先进的 AI 服务器已经搭配了 DDR5 或 LPDDR5；2）NAND：AI 服务器的硬盘容量高达 30TB，相较传统服务器提升 2-4 倍，另外传统服务器同时使用机械硬盘和固态硬盘（SSD），但 AI 服务器基本全部使用 SSD，整体价值量较普通服务器预计提升 10 倍左右。

HBM 能够突破训练型 AI 服务器的 GPU 带宽极限，2024 年增量空间预计超百亿美元。HBM（High Bandwidth Memory）即高带宽存储器，是基于 2.5/3D 封装技术的一种新型 CPU/GPU 内存芯片，将 DRAM Die 垂直堆叠，Die 之间通过 TSV 的方式连接。HBM 能够以低功耗产生高带宽，因此广泛搭配训练型 AI 服务器的 GPU 使用，训练型 AI 服务器对 HBM 需求的拉动主要体现在：1）AI 服务器搭载 GPU 数量的提升：由普通服务器的 2 个提升至目前的 8 个；2）单个 GPU 搭载 HBM Stack 数量的提升：在 HBM1 方案中，单个 GPU 搭载 4 个 HBM1，而在目前 HBM2e 或 HBM3 方案中，一般单个 GPU 搭配 6 个 HBM Stack；3）HBM 堆叠的 DRAM 层数和容量增多：从 HBM1 到 HBM3，单个 DRAM Die 密度从 2Gb 提升至 16Gb，堆叠高度从 4Hi 提升至 12Hi，单个 HBM 叠层容量从 1GB 提升至 24GB。Trendforce 预计 2025 年全球服务器出货量为 1700 万台，当前 AI 服务器渗透率大概不足 2%，假设 2024 年 AI 服务器渗透率约 4%，按照每个 AI 服务器搭载 8 个 GPU、每个 GPU 搭载 6 个共 80GB 至 100GB 及以上的 HBM Stack 的方案测算，那么 2024 年 AI 服务器带来的 HBM 增量空间预计超百亿美元。