计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf

  • 上传者:v*****
  • 时间:2026/01/09
  • 热度:387
  • 0人点赞
  • 举报

计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】。存储瓶颈影响AI推理速度。每生成1个Token(一个词),GPU都要把整个过去的对话历史(即KVCache)从显存里读一遍。随着对话变长,KVCache的体积会线性膨胀。这个"读一遍"的过程极其消耗带宽。我们希望AI可以记住跟它进行的每一次对话,现在的做法是把KVCache放在 HBM里(因为它够快),但HBM又贵,容量又小,前一代的解决方案是利用NVLink-C2C把 Grace CPU的大内存(LPDDR5X)当成GPU的扩展显存用,这个不够用了,第二个方法是数据溢出后,通过"南北向网络"(North-SouthNetwork)去读取远端的存储服务器,这个问题是太慢了,网络带宽被挤爆,延迟无法接受。

1页 / 共24
计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第1页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第2页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第3页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第4页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第5页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第6页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第7页 计算机行业:NV Rubin新架构&Agent存储最强方向,GPU Native数据库【星环科技】.pdf第8页
  • 格式:pdf
  • 大小:1.4M
  • 页数:24
  • 价格: 4积分
下载 获取积分

免责声明:本文 / 资料由用户个人上传,平台仅提供信息存储服务,如有侵权请联系删除。

留下你的观点
  • 相关标签
  • 相关专题
热门下载
  • 全部热门
  • 本年热门
  • 本季热门
分享至