计算机行业：NV Rubin新架构&Agent存储最强方向，GPU Native数据库【星环科技】.pdf

上传者：v*****
时间：2026/01/09
热度：505
0人点赞
举报

计算机行业：NV Rubin新架构&Agent存储最强方向，GPU Native数据库【星环科技】。存储瓶颈影响AI推理速度。每生成1个Token(一个词)，GPU都要把整个过去的对话历史(即KVCache)从显存里读一遍。随着对话变长，KVCache的体积会线性膨胀。这个"读一遍"的过程极其消耗带宽。我们希望AI可以记住跟它进行的每一次对话，现在的做法是把KVCache放在 HBM里(因为它够快)，但HBM又贵，容量又小，前一代的解决方案是利用NVLink-C2C把 Grace CPU的大内存(LPDDR5X)当成GPU的扩展显存用，这个不够用了，第二个方法是数据溢出后，通过"南北向网络"(North-SouthNetwork)去读取远端的存储服务器，这个问题是太慢了，网络带宽被挤爆，延迟无法接受。