2025年计算机行业：Google集群拆解

Google集群的Scale up光互联：光路交换机

光路交换机的工作原理

光信号输入和输出：光纤准直器(136通道)：把来自光纤的发散光束变成平行光束，以便在空间中传播和被MEMS反射。二维透镜阵列：辅助光束的准直与聚焦，使得每根光纤对应一条独立的光束。

光束交换： 二维 MEMS 微镜阵列：通过控制每个MEMS镜子的角度，光束可以被精确地反射到目标输出端口。

光路监控和对准： 注入模块（850nm 激光二极管）：注入一束监控光（850 nm），它和信号光（O波段）共路。二色分光元件：把监控光和数据信号光分开：相机模块(850nm)：接收监控光，判断光束是否准确到达目标端口，实现自动对准和校准。

TPU SuperPod：整体物理结构

每套系统包含 64 个 Google 机架，被划分成 8 组，每组 8 个机架。总共集成了 4096 芯片，共享 256 TiB HBM 内存容量。 总计算性能超过 1 ExaFLOP（10¹⁸ FLOPS）。每组 8 个机架配备一台 Coolant Distribution Unit（CDU），负责提供液冷循环中的冷却介质。

Ironwood TPU 将帮助客户进一步突破规模和效率的极限。部署 TPU 时，系统会将每个芯片彼此连接，形成一个芯片组 (pod)，从而使互 连的 TPU 能够作为一个整体协同工作。  借助 Ironwood，我们可以在一个超级芯片组中扩展多达 9,216 个芯片，并通过突破性的芯片间互连 (ICI) 网络以 9.6 Tb/s 的速度连接。这 种强大的连接能力使数千个芯片能够快速相互通信，并访问高达 1.77 PB 的HBM，从而克服即使是最苛刻模型的数据瓶颈。

TPU集群内，Scale up部分互联组件占比

TPU V4 光路交换机占比：1.1%

相关参数：光路交换机端口 136*136，使用端口数为128*128 。考虑Z轴方向通路，每个机架包含16个(4*4)向上的TPU，一个Superpod包含64个机架，所以向上的TPU数为16*64，考虑上下两个面，一 个TPU连出/连入一根光缆，因此总的光缆数为 16*64*2 。光路交换机端口为128， 16*64*2/128=16，所以Z轴方向16个光路交换机。 X/Y/Z轴一共48个光路交换机。

TPU V7 光路交换机占比：0.52%

相关参数：光路交换机端口 300*300，使用端口数为288*288 。考虑Z轴方向通路，每个机架包含16个(4*4)向上的TPU，一个Superpod包含144个机架，所以向上的TPU数为16*144，考虑上下两个面， 一个TPU连出/连入一根光缆，因此总的光缆数为 16*144*2 。 光路交换机端口为128， 16*144*2/288=16，所以Z轴方向16个光路交换机。X/Y/Z轴一共48个光路交换机，光路交换机占比为0.52%。

Google集群的Scale out

NV Scale out中的OCS

通用三层 FT 拓扑中光交换机的主要集成点：通过截取不同节点和分组交换层之间的光纤连接，引入了相应的 OCS 层，为连接的网络端点提供 L1 可编程数据平 面。当与冗余硬件（分组交换机、收发器和服务器）配合使用时，支持 OCS 的架构可以增强架构中硬件和软件故障的弹性，从而最大限度地减少故障对计算集群 利用率和效率的显著影响。此外，OCS 层还可以用于创建更扁平的网络，并消除相应的分组交换层。例如，OCS 核心层可以在脊交换机之间建立直接连接，从而 无需核心分组交换层。

Google：Scale out

在这种规模下，服务需要不间断的可用性。因此，我们的光路交换 (OCS) 技术充当动态可重构架构，能够即时绕过中断，在服务持续运行 的同时恢复工作负载。当您需要更强大的性能时，Ironwood 可以跨 pod 扩展到包含数十万个 TPU 的集群。

报告节选：