谷歌为有哪些业务布局？

谷歌大模型的迭代动作加快。

1.谷歌发展OCS光交换机：提升计算集群性能支撑大模型

2023年12月7日，谷歌推出自身首个多模态大模型Gemini 1.0，其中高性能版本Gemini Ultra可对标GPT-4。 2024年2月16日，谷歌Gemini模型Pro版迭代出1.5版本： 该模型在长语境理解方面取得突破，显著增加可处理信息量，持续运行多达100万个tokens，是迄今为止基础模型中最长的上下文窗口 。Gemini 1.5 Pro可一次处理大量的信息——包括1小时的视频、11小时的音频、超过3万行代码或超过70万字的代码库 。谷歌透露其在研究中还成功测试了多达1000万个tokens 。 2024年2月22日，谷歌推出新型开源模型系列“Gemma”：该开源模型基于Gemini研究和技术开发，与Gemini相比，Gemma展示了更高的效 率和轻量化设计，同时免费提供全套模型权重，并明确允许商业使用 。 谷歌不断加速迭代大模型，大模型性能提升除了软件层面优化，更需强大算力支撑，算力一方面来自底层的芯片性能，另一方面则来自计 算集群效率，为了高效地将多个计算芯片连接起来，谷歌在通用解决方案基础上，创造性地引入OCS光交换机（Palomar）。

2.谷歌大模型 Gemini快速迭代，亟需算力支撑

谷歌大模型的迭代动作加快： 2023年初推出聊天机器人Bard：2023年2月6日，谷歌宣布将推出一款聊天机器人Bard，2023年3月21日，谷歌向公众开放Bard 的访问权限 。 2023年12月推出首个多模态大模型Gemini 1.0：模型共分为Ultra、Pro、Nano三个版本，同时将聊天机器人Bard背后的模型从PaLM2换成了 Gemini Pro，其中高性能版本Gemini Ultra可对标GPT-4，Gemini Ultra 在大型语言模型（LLM） 研发中使用的32 个广泛使用的学术基准中， 有30个的性能超过了当前最先进的结果 。 2024年2月16日，Gemini 1.0 Pro迭代至1.5：在文本、代码、图像、音频和视频评估达到了与Gemini 1.0 Ultra相当的质量，但减少了计算资源 ✓ 2024年2月22日，谷歌推出新型开源模型系列“Gemma”。

3.谷歌自研TPU单芯片性能不足，提高计算集群效率是破局关键

谷歌2016年涉足ASIC芯片，截止目前已推出6代版本： 2015年谷歌首次发布了第一代TPU，正式涉足定制ASIC芯片，2017年发布第二代TPU v2，2018年发布第三代TPU v3，第四代TPU v4于2021 年5月正式推出，此次迭代间隔三年，并于2023 年8月推出第五代TPU v5e，以及2023年12月6日最新发布TPU v5p 。 单芯片性能不足，提高计算集群效率（POD）是同英伟达竞争的关键：谷歌训练 Gemini Ultra所使用芯片为TPU v4、TPU v5e，性能无法与英 伟达H100相比，TPU v5e峰值算力只有英伟达三年前发布的A100 的六成，最新版本TPU v5p峰值算力不到H100的三成，且英伟达将于2024年 推出更高性能的B100产品。

4.TPU v4时期首次引入Palomar OCS提升计算集群性能

谷歌从TPU v2版本开始构建超级计算机集群：谷歌在2017年发布TPU v2的同时，宣布计划研发可扩展云端超级计算机TPU Pods，通过新的计 算机网络将64块Cloud TPU相结合。 TPU v3集群（Pod）：2018年与TPU v3芯片一同推出，每个Pod最多拥有1024个芯片 。 TPU v4集群首次引入OCS：首次引入Palomar OCS（Optical Circuit Switches，光交换机），一个集群总共有4096个TPU，是TPU v3的4倍。 TPU v5p集群：每集群TPU数量达到8960个，每集群可用 FLOP总数是TPU v4的4 倍，每秒浮点运算数（FLOPS）比TPU v4 提高一倍，每 Pod芯片数量增加一倍，可以提高训练速度的相对性能；TPU v5p集群同样使用了Palomar光交换机 。 短时间内，谷歌在单颗芯片性能上超过英伟达难度较大，通过其擅长的软硬件集成，提高计算集群效率，在支撑自身大模型训练的基础上，可 以通过出售算力资源获取收入，Salesforce 和 Lightrick等客户已经在使用Google Cloud 的 TPU v5p 超级计算机来训练大模型。