英伟达GTC大会要点梳理

2024 GTC正式推出Blackwell计算架构。

英伟达2024 GTC大会于2024年3月18日举行，英伟达CEO黄仁勋发表主题演讲，发布加速计算、生成式AI以及机器人领域的 突破性成果，同时英伟达的高级研发、管理人员以及其他AI领域的专家共同出席讨论人工智能在生物医疗、机器人、游戏 等领域的研发成果和应用前景，重点聚焦在生成式AI、AI生物医疗和机器人，展示最新成果，展望技术趋势。

英伟达CEO黄仁勋在GTC大会展望了新式产业革命：一是新工业革命，生成式人工智能将完成现代化；二是此次革命的 Blackwell计算机，具有强大的计算能力；三是Nims，允许随身携带的新类型软件；四是Nemo and Nvidia AI Foundary， 帮助创建新型应用程序和聊天机器人并完成集成；五是Omniverse and ISAAC机器人，搭建数字孪生平台全宇宙。

英伟达从2006年进军AI计算之后，其计算架构基本保持两年一代的迭代速度。2024春季GTC上，英伟达CEO黄仁勋正式推出 了Blackwell计算架构，Blackwell产品使用两块4nm光刻极限尺寸的裸片，通过10 TB/s的片间互联技术连接成一块统一 的 GPU，以出众的性能、效率和规模揭开了生成式AI领域的新篇章。

Blackwell产品同时取得多项技术突破，其采用第五代Tensor Core技术，支持FP4/FP6的数据格式，其互联技术整体升级， NVLink技术和NVSwitch芯片技术均得到提升，引入可靠性、可用性和可服务性引擎(RAS)。

英伟达推出全新GPU平台Blackwell，配备B200芯片。Blackwell架构GPU具有2080亿个晶体管，采用专门定制的台积电 4NP工艺制造。Blackwell产品均采用两块光刻极限尺寸的裸片，通过10TB/s的片间互联技术连接成统一的GPU。 Blackwell构架B200 GPU的AI运算性能是前一代Hopper构架H100的2.3倍，功耗显著优化，配备192GB HBM3E内存。

B200并不是传统意义上的单一GPU，B200由两个全掩模尺寸的GPU芯片紧密耦合形成，两个芯片通过10 TB/s的NV-HBI（高 带宽接口）连接，以确保它们能够作为一个完全一致的芯片正常工作，单芯片面积理论上的最大值为858 mm2。每个管芯 周围有八个HBM3e堆栈，每个堆栈为24GB，每个堆栈在1024 bit接口上具有1TB/s的带宽。

Blackwell支持第二代Transformer engine，支持FP4精度与FP6精度。Transformer engine在计算工作负载时，会不断跟 踪整个神经网络中每个层、每个张量的精度动态范围，它将帮助用户自动将模型转换为适当的精度格式，以达到最大性 能。

第二代transformer引擎助力Blackwell实现性能和效率翻倍。第二代Transformer引擎将定制的Blackwell Tensor Core 技术与NVIDIA TensorRT-LLM和NeMo框架创新相结合，加速大语言模型和专家混合模型(MoE)的推理和训练。Blackwell Transformer引擎利用微张量缩放的细粒度缩放技术，优化性能和准确性，支持4位浮点(FP4)AI。可以支持的新一代模型 的性能和大小翻倍，同时保持高精度，未来在移动设备和边缘计算场景有大规模使用的潜力。

Blackwell通过专用的RAS（可靠性、可用性、可维护性）引擎建立智能可靠技术。RAS引擎增加了智能恢复能力，可以识 别早期可能发生的潜在故障，从而更大限度地减少停机时间。NVIDIA AI驱动的预测管理功能持续监控硬件和软件中数千 个数据点的整体运行状况，以预测和拦截停机时间和低效的来源，从而节省时间、能源和计算成本。

NVLink Switch芯片性能显著提升，通信能力迭代升级。NVIDIA NVSwitch基于NVLink的高级通信能力构建，可为计算密集 型工作负载提供更高带宽和更低延迟。为了支持高速集合运算，第四代NVSwitch Tray包含144个NVLink端口，并配有 NVIDIA SHARP引擎，可用于网络内归约和组播加速。NVIDIA NVSwitch芯片在一个72-GPU的NVLink domain(NVL72)中实现 130TB/s的GPU带宽，并提供4倍的带宽效率。第四代NV Switch System可以支持多达576个GPU，总的带宽上限可达1PB/s。

NVLink Switch与NVLink协同，提升GPU工作效率。借助NVSwitch，NVLink连接可在节点间扩展，以创建无缝、高带宽的多 节点GPU集群，从而有效地形成数据中心大小的GPU。