谷歌经营看点在哪？

从 AI 技术研发的领军者到产业化进程的推动者。

谷歌联手 AI 初创企业 DeepMind，率先展开 AI 领域的技术布局。2014 年，谷歌收购 AI 初创公司 DeepMind。DeepMind 持续探索模拟、生物科研、游戏操作、对话聊天等领域的 高性能算法，代表产品包括打败世界围棋冠军的 AIphaGo、精准预测蛋白质结构的 AIphaFold、战胜电竞职业玩家的 AIphaStar、智能聊天机器人 Sparrow 等。 在 LLM 领域，谷歌是新技术研发的领军者和奠基者。2015 年，谷歌开源了深度学习框架 TensorFlow，其具备灵活、可扩展且易于部署等优势，成为应用最广泛的深度学习框架之 一，尤其在工业应用处于领先地位。2017 年，谷歌发布 NLP 领域的里程碑——Transformer， 它首次引入注意力机制，使得模型能更好地处理长文本和复杂的语言结构，大幅提高 NLP 任务的准确度和效率，为后来所有大语言模型奠定基础架构。2018 年，谷歌发布 3.4 亿参 数的大规模预训练模型 BERT，在理解复杂的语言结构和语义中表现优秀，在多项 NLP 任 务上的效果都远远超过了传统的浅层架构，宣告 NLP 范式转变为大规模预训练模型的方法。

谷歌加快生成式 AI 产业布局。OpenAI 于 2022 年底推出的 ChatGPT 掀起了席卷全球的生 成式 AI 浪潮，使得 GPT 能力在各个行业和领域不断拓展，并对谷歌 AI 领先地位构成挑战。 作为应对，谷歌于 2023 年 2 月宣布通过投资联手 AI 初创公司 Anthropic，将在谷歌云上部 署 ChatGPT 的有力竞品 Claude，并于同月推出自研的基于 1270 亿参数大模型 LaMDA 的 聊天机器人 Bard。

经过两轮人才整合，当前谷歌主要 AI 研发团队合并为 Google DeepMind。为 2023 年 2 月，谷歌旗下专注 LLM 领域的“蓝移团队”（Blueshift Team）宣布加入 DeepMind，以共 同提升 LLM 技术的能力。4 月，谷歌宣布正式将谷歌“大脑”和 DeepMind 两大团队合并， 组成“Google DeepMind”部门。Google DeepMind 部门首席执行官将由 DeepMind 联合 创始人兼首席执行官 Demis Hassabis 担任；原谷歌大脑团队负责人 Jeff Dean 转任谷歌首 席科学家，领导谷歌 AI 相关的最关键和战略性的技术项目，其中首要项目就是系列多模态 AI 模型。AI 领域的世界级人才与计算能力、基础设施和资源的汇集，将显著加快谷歌在 AI 方面探索的进展。

TPU（Tensor Processing Unit）是谷歌专门为高效计算和加速神经网络训练和推理过程而 设计的专用芯片（Application-Specific Integrated Circuit，ASIC）。2016 年，谷歌发布第 一代 TPU，成为 AlphaGo 背后的算力。与 GPU 相比，TPU 采用低精度计算，在几乎不影 响深度学习处理效果的前提下大幅降低了功耗、加快运算速度。最新一代的 TPU v4 发布于 2021 年，在相似规模的系统训练中，TPU v4 比 A100 计算速度快 1.15-1.67 倍、功耗低 1.33-1.93 倍。TPU v4 卓越的性能、可伸缩性和灵活性使其成为支持 LaMDA、MUM、PaLM 等大规模语言模型的主力产品。

谷歌推出新一代超级计算机 A3 Virtual Machines，为大型语言模型创新提供动力。谷歌于 2023 年 5 月的 I/O 大会发布 A3 超级计算机，其采用第 4 代英特尔至强可扩展处理器、2TB DDR5-4800 内存以及 8 张英伟达 H100。此外，A3 是首个使用谷歌定制设计的 200 Gbps IPU 的 GPU 实例，GPU 间的数据传输绕过 CPU 主机，通过与其他虚拟机网络和数据流量 分离的接口传输，网络带宽相比 A2 增加 10 倍，具有低延迟和高带宽稳定性。A3 超级计算 机专门设计用于训练和服务对计算资源要求极高的 AI 大模型，这些模型将推动当今生成式 AI 和大型语言模型的创新进展.

2015 年，谷歌开源了深度学习框架 TensorFlow，其是当前 AI 领域主流开发工具之一。 TensorFlow 采用计算图来表示神经网络计算过程和数据流动，从而实现高效的并行数据处 理和运算，尤其在大规模分布式训练方面具有优势。TensorFlow 还提供了广泛的工具和 API， 可用于各种类型的深度学习应用，例如计算机视觉、自然语言处理和语音识别等领域。此 外，TensorFlow 具有很好的可移植性，能够在多种硬件设备和操作系统上运行。目前， TensorFlow 生态系统完备，为研发人员提供了从模型构建到部署和运营管理的全套工具链， 是深度学习领域应用最广泛的框架之一，特别在工业级领域应用处于领先地位。

谷歌在 AI 各技术路线上积累了丰富的模型储备。从基础架构的角度，其技术路线主要可以 分为三个方向： 1）基于 Transformer 纯编码器（Encoder-only）：与单向生成的 GPT 模型不同，纯编码 器模型是侧重理解的双向模型，通过并行计算和多头注意力层来学习单词之间的相关性， 实现上下文理解。主要模型包括语言模型 BERT、LaMDA、PaLM、基于 LaMDA 的对话模 型 Bard 以及多模态视觉语言模型 PaLM-E。 2）基于 Transformer 纯解码器（Decoder-only）：纯解码器是单向生成模型，主要用于句 子生成。主要模型包括谷歌的语言模型 FLAN、DeepMind 的语言模型 Gopher。 3）基于 Transformer 统一架构（Encoder-Decoder）：统一模型框架能兼容以上两类模型 的理解和生成的下游任务。主要模型包括语言模型 T5、对话模型 Sparrow。

多模态视觉语言大模型 PaLM-E 实现人机交互领域的重大飞跃。2023 年 3 月，谷歌发布 5620 亿参数的多模态视觉语言模型 PaLM-E，是 PaLM-540B 语言模型与 ViT-22B 视觉模 型的结合。与传统的语言模型相比，PaLM-E 具有更高的效率和灵活性，可以根据输入的复 杂度和任务的需求动态地激活不同的模块。同时，PaLM-E 可以通过文本、图像和视频等多 种类型的输入来理解和控制机器人等实体化系统，从而实现具象化的能力。PaLM-E 的发布 代表着人机交互领域的一次重大飞跃，在工业、商业、办公等领域的机器人应用上有着巨 大的想象力。

最新的大语言模型 PaLM 2 在多语言能力、代码能力和逻辑能力上得到显著提升。谷歌于 2023 年 5 月的 I/O 大会发布 PaLM 2，模型基于 2022 年 10 月提出的 AI 新架构 Pathways， 并基于 TPU v4 和 JAX 框架训练。在语言能力上，PaLM 2 的训练数据超过 100 种语言， 能理解、翻译和生成更准确和多样化的文本；同时，PaLM 2 在 20 种编程语言上进行训练 以提升代码能力。在逻辑能力上，PaLM 2 在推理、数学任务测试中显著优于 PaLM，并与 GPT-4 相当。此外，谷歌在 PaLM 2 的基础上还训练了用于编程和调试的专业模型 Codey， 安全知识模型 Sec-PaLM 以及医学知识模型 Med-PaLM 2。 模型压缩技术将加速 AI 技术与智能终端的融合。PaLM2 主要包含 4 种规格（Gecko、Otter、 Bison 和 Unicorn），其中体积最小的 Gecko 可以在手机上运行，每秒可处理 20 个 Token， 大约相当于 16 或 17 个单词。模型压缩技术或将成为实现 AI 大模型在边/端部署的核心技 术，加速 AI 技术与智能终端融合。

谷歌在过去更注重发表论文，未能及时将成果产品化。谷歌在各种路线上发布了很多模型， 论文成果丰富，但均未能走出象牙塔落地；同时，旗下 DeepMind 研发的基础语言模型 Gopher、Chinchilla 和对话模型 Sparrow 也尚未产品化。 积极布局生成式 AI 领域应用以迎接挑战。谷歌于 2023 年 2 月发布基于 1370 亿参数大模 型 LaMDA 的 AI 聊天机器人 Bard。相较于 ChatGPT，Bard 的优势在于：1）能够利用来 自互联网的信息提供最新、高质量的回复；2）瞬间生成文本块；3）给出的答案包含三个 不同的版本或草稿，用户可以切换其中任何一个答案。此外，谷歌在 4 月发布了 Bard 的更 新版本，升级了数学与逻辑能力。2023 年 5 月 I/O 大会，谷歌展示了 Bard 支持的文字、 代码、图像生成与理解能力，并重点强调了 Bard 与谷歌应用，以及外部其他应用的协同 能力。此外，谷歌通过投资联手 AI 初创公司 Anthropic，押注 ChatGPT 的有力竞品 Claude。

面向开发者，谷歌开放 PaLM 的 API，并发布工具 MakerSuite，帮助开发者们快速构建生 成式 AI 应用。PaLM API 将为开发者提供面向对轮交互而优化的模型，如内容生成与对话； 也能为开发者提供摘要、分类等多种任务的通用模型。工具 MakerSuite 则能帮助开发者快 速、轻松地构建和调整自定义模型，在浏览器中就能快速测试和迭代调整后的模型。

PaLM 2 赋能超 25 种功能和产品的升级，包括办公套件、聊天机器人以及企业级 AI 平台。 在 PaLM 2 的加持下，Workspace 推出的 AIGC 工具包 Duet AI，其中包含 Google Docs 和 Gmail 中的智能写作工具、Google Slides 中的文本生成图像、演讲备注以及 Google Meet 的会议摘要生成等功能。升级版 Bard 不仅将支持图文多模态，还将接入网络以实时网页搜 索；同时，大量 Bard+tools 的组合将推出，Bard 有望深度融合到 Google 所提供的原有工 具中。ToB 应用方面，Vertex AI 集合了谷歌研发的基础模型，用户可按需调用模型并对模 型的参数权重进行微调；此外，Vertex AI 还能够根据内部数据建立企业版本的搜索引擎。