CXL内存扩展技术如何解决AI推理中的KV Cache瓶颈？

CXL内存扩展通过PCIe/CXL链路为CPU系统额外增加可访问的内存带宽和容量，在内存带宽受限的HPC/AI负载中提升整体性能。据相关研究，利用八个CXL E3.S设备在Intel Xeon 6处理器上进行实验，通过软件页面级交错机制使DDR5与CXL内存节点协同工作，实验结果显示只读带宽提高24%，混合读/写带宽提高39%，HPC和AI工作负载性能加速的几何平均值为24%。

在AI推理KV Cache场景中，CXL技术具备多项突破性优势。Astera Labs提出的Leo CXL内存方案可实现高效的GPU卸载，CXL-CPU互连在数据传输方面表现与CPU-GPU相当，KV缓存可以高效地从GPU内存中卸载至CXL内存；同时实现吞吐量提升与稳定性能，显著降低基础设施成本，并使系统能够支持每台服务器多2倍并发LLM实例。

相较基于RDMA的分散内存池方案，CXL架构展现出明显优势。学术研究显示，当前系统采用RDMA方案面临高访问延迟、复杂通信协议和同步开销等挑战。Beluga内存架构使GPU和CPU能够通过CXL交换机访问共享的大规模内存池，通过支持CXL结构上的原生加载/存储访问语义，提供近乎本地的内存延迟，同时降低编程复杂度并最大限度减少同步开销。与基于RDMA的解决方案相比，该方案在vLLM中实现了首次令牌时间大幅减少，吞吐量提高超过7倍。

CXL 3.0进一步引入内存共享概念，使用硬件一致性使连接CXL的内存能够在主机之间实现一致共享，允许多个主机同时访问给定内存区域并确保每个主机看到最新数据，无需软件管理的协调，为构建通过共享内存结构解决大型问题的机器集群奠定基础。