2023年亚马逊深度跟踪报告：生成式AI时代，亚马逊云AWS落后了吗？

市场需求：企业对 AI 需求较 2C 市场存在显著差异

客户需求的展望：面对当下情形，软件服务商需在与闭源头部厂商合作或选择免费开 源方案之间做出抉择。具体来看：与开源方案相比，闭源大厂技术更为领先。目前开源项 目的准确度仍不及 2021 年发布的前代模型 GPT-3.5 与 PaLM。闭源大厂为软件服务商封 装中间技术细节，简化训练、部署等环节，降低软件厂商技术难度，并提升接入、开发效 率。闭源模型会直接提供一步到位的 API 端口，软件服务商直接将 API 接入到软件中就可 以使用。与闭源大厂合作的潜在顾虑：昂贵的成本、用户隐私&数据安全等。而基于开源 方案自建大语言模型使资金投入更加灵活与可控。开源方案可将数据留在本地，最大限度 地保护用户隐私和数据安全。目前开源社区中基于 LLaMA、Alpaca、Bloom 等的开源项 目都是免费提供。根据自身的数据规模以及相关业务对于准确度的要求，企业可以灵活控 制对硬件采购的投入以及相关训练成本的支出。与此同时，市场也出现了诸如 Colossal-AI 等开源解决方案，致力于优化底层推理和训练的效率。但开源方案亦存在潜在问题，如社 区不成熟、模型迭代速度慢，与闭源模型技术能力存在明显差距。

企业需求：已开始基于开源模型进行训练，更多关注云厂商软硬件堆栈能力。正如我 们上文提到的，企业对开源模型亦存在需求，以 AWS 为代表，虽然不直接提供大语言模 型，但依靠完备的软硬件堆栈以及开源模型体系，结合企业自身数据亦开始进行模型的训 练部署，例如彭博，结合自身在金融领域的数据优势，利用开源模型 Bloom 进行语言模型 的训练，实现了自身功能的升级。而 Hugging Face 作为开源 AI 模型社区，在选择云厂商 时，将 AWS 视作首选云服务商，其背后主要的考虑除中立性之外，亦参考了大量的软硬 件堆栈的能力。

总结而言，我们认为生成式 AI 时代，云厂商若要受益产业趋势，必须具备：1）AI 模 型的研究储备，能够对外提供一流的闭源与开源模型能力。2）硬件堆栈能力。随着模型 体积的增长、推理需求的提升，云厂商必须能够为用户提供效率与成本兼具的硬件能力。 3）软件堆栈能力。除提供硬件之外，与 AI 关联的数据处理、训练微调、部署推理等环节， 均需要专业高效的软件能力。因此我们也将从上述三个方面，对 AWS 的 AI 能力进行分析。

模型能力：具备基础算法能力，致力于构筑 AI 生态

AWS 作为老牌云厂商，在此次生成式 AI 浪潮中，并未推出类似 GPT-4、PaLM 等通 用语言模型，而是通过接入外部模型的形式提供模型服务，虽然部分模型性能处在行业前 列，但市场对 AWS 自身的 AI 能力存在一定的担忧，因此我们从 AWS 的 AI 研究出发，分 析 AWS 自身的 AI 算法能力。 算法能力：具备研发百亿参数模型的能力。虽然亚马逊对自研模型 Titan 的披露相对 较少，但我们可以从亚马逊在语音以及其他领域大模型的研发情况进行相应参考。例如亚 马逊在 2022 年发布的 AlexaTM 为例，虽然该模型并没有完全采用其他大型语言模型使用 的“仅解码器架构”（GPT 思路），但 AlexaTM 20B 模型是序列到序列 (seq2seq) 编码 器-解码器架构，同时结合了“师生模型”的思路进行训练。虽然模型的体积、架构与当前 主流的 GPT 式模型存在一定不同，但在小规模数据下，AlexaTM 20B 在多种语言任务上 优于拥有数千亿参数的大型模型。

数据储备：提供语言、多模态等多个领域。目前亚马逊已经开源了两个大规模的数据 集，Alexa Arena 与 Mintaka，是亚马逊在 AI 数据领域长期以来的积累。

多模态数据集 Alexa Arena：Arena 是一个亚马逊人工智能框架，旨在突破人机 交互的界限。它提供了一个交互式、以用户为中心的框架，用于创建机器人任务， 包括导航多房间模拟环境和实时操作所有类型的对象。在类似游戏的环境中，用 户可以通过自然语言对话与虚拟机器人进行交互，帮助机器人完成任务。该框架 目前包括大量用于家庭、仓库和实验室的多房间布局。而在框架之外，Arena 提 供多元的数据集，包括：1）指令跟踪数据集，包含 46,000 条人工注释的对话 指令，以及地面真实动作轨迹和机器人视图图像；2）视觉数据集，包含来自 Arena 场景的 660,000 个图像涵盖 160 多个语义对象组，通过将机器人导航到各个 虚拟位置并从不同角度和距离捕获那里对象的图像来收集。这些数据集不仅能够 支撑亚马逊自身机器人、物流等领域的研发， 亦能够为后续多模态模型的研发 提供一定基础。

对话数据集 Mintaka：Mintaka 是一个大型、复杂、自然的多语言问答数据集， 根据亚马逊的介绍，该数据集收集了 20,000 个英语问题，并专业翻译成八种语 言：阿拉伯语、法语、德语、印地语、意大利语、日语、葡萄牙语和西班牙语。 亚马逊通过将问题文本和答案文本中的实体链接到维基数据 ID，将 Mintaka 纳 入维基数据知识图谱中。问答仅限于八个类别：电影、音乐、体育、书籍、地理、 政治、电子游戏和历史。

亚马逊 Titan：更多聚焦细分场景下的内容生产，赋能高精度搜索与推荐。与 GPT-4 等大模型不同，亚马逊此次推出的 Amazon Titan 模型并没有覆盖广义上的内容生产，而 是更多聚焦两个方面的细分场景：1）在 NLP 领域，聚焦归纳和部分简单博客的生成，并 非广义内容；2）在其他方面，通过 Embedding 的方法，将生成内容用在电商等在内的搜 索和个性化推荐任务。

生态储备：联合 Hugging Face 等机构，覆盖大量优质第三方模型。虽然亚马逊没有 过多强调自研闭源模型的研发，但在合作伙伴关系方面，AWS 将成为 Hugging Face 的 首选云提供商，这意味着 Hugging Face 的开发人员可以访问 Amazon SageMaker、AWS Trainium 到 AWS Inferentia 的工具，并以更低的成本针对特定用例优化其模型的性能。 根据亚马逊披露，Hugging Face 已经覆盖了大约 1 万个以上的预训练模型，范围较为广 泛。除开源生态外，亚马逊亦提供部分头部领先的模型，提升模型性能。

硬件堆栈：自研芯片&硬件，覆盖训练、推理等关键 环节

AWS：从云底座架构进行自研，专注效率的提升。经过早期探索，AWS 底层采用了 自研的 Nitro 系统架构，将虚拟化功能从服务器卸载到 Amazon Nitro 专用芯片上，大大降 低了物理性能的损耗，并提升了安全机制，优化了网络与输入输出机制，使得 AWS 的能 力迅速提升。芯片层面，AWS 针对不同的业务需求，推出了不同类型的自研芯片，如针 对底层系统的 Nitro 芯片、针对服务器高性能计算的 Graviton 以及人工智能业务的推理芯 片 Inferentia 与训练芯片 Trainium。AWS 通过在关键计算要素的自研&定制化，实现系统 效率的最优。AWS Trainium 是 AWS 专门为深度学习训练打造的第二代机器学习 (ML) 加速器。根据 AWS 官网，与同类 Amazon EC2 实例相比，可节省高达 50% 的训练成 本。Trainium 已针对训练自然语言处理、计算机视觉和推荐器模型进行了优化，这些模型 用于语音识别、推荐、欺诈检测、图像识别和预测等各种应用程序。AWS Inferentia2 以 最低的成本为深度学习 (DL) 推理应用程序提供高性能。加速器在性能和功能方面实现了 重大飞跃。根据 AWS 官网，与 Inferentia 相比，Inferentia2 的吞吐量提高了 4 倍，延 迟低至前者的 1/10。同时，为满足不同模型之间的通用性，AWS 提供 AWS Neuron SDK 支持 PyTorch 和 TensorFlow 原生集成。

AWS Inferentia2：为大型模型推理提供技术保障。2023 年 4 月亚马逊云科技发布了 Inferentia2 芯片和 Inf2 实例，强化 AWS 在推理层面的能力。根据公司在发布会上的介绍， 从整体性能看，可提供每秒高达 2.3 千万亿次浮点运算（BF16/FP16），高达 4 倍的吞 吐量，并将延迟降低到 1/10。为了容纳较大深度学习模型，Inf2 实例提供高达 384GB 的 共享加速器内存，总内存带宽为 9.8Tb/s（比第一代 Inferentia 快 10 倍），单卡计算性 能超出英伟达 T4 显卡。在硬件架构上，每个设备包含两个 NeuronCores-v2。每个 NeuronCore-v2 都是一个独立的异构计算单元，具有四个主要引擎：张量（Tensor）、向 量（Vector）、标量（Scalar）和 GPSIMD 引擎。张量引擎针对矩阵运算进行了优化。标 量引擎针对 ReLU（整流线性单元）函数等元素运算进行了优化。软件层面，亚马逊提供 Neuron 框架，包括深度学习编译器、运行时和工具，这些工具与 TensorFlow 和 PyTorch 等流行框架原生集成。

AWS Trainium：高性能训练芯片。AWS Trainium 是 AWS 专门为超过 1000 亿个 参数模型的深度学习训练打造的第二代机器学习 (ML) 加速器。每个 Trainium 加速器都 包含两个专为深度学习算法而构建的第二代 NeuronCore。Trainium 提供高达 190 TFLOPS 的 FP16/BF16 计算能力 （ 单 卡 理 论 性 能 超 过 英 伟 达 H100）， 并 采 用 NeuronLink 进行互连。软件层面，Trainium 原生支持多种数据类型（FP32、TF32、BF16、 FP16、UINT8 和可配置的 FP8），AWS Neuron SDK 与 PyTorch 和 TensorFlow 原生 集成，可以继续在这些热门的框架中使用现有的工作流程，并且只需更改几行代码即可开 始使用 Trainium。

总结而言，亚马逊持续加大在自研芯片方面的投入，支持模型的训练与推理。根据 AWS 自身的测试，由 Trainium 支持的 Trn1n 计算实例与其他任何 EC2 实例相比，可以节省高 达 50%的训练成本。由 Amazon Inferentia2 提供支持的 Inf2 实例，针对运行数千亿个参 数模型的大规模生成式 AI 应用程序进行了优化。根据 AWS 自身的测试，与上一代相比， Inf2 实例不仅吞吐量提高了 4 倍，延迟降低了 10 倍，还可实现加速器之间的超高速连接 以支持大规模分布式推理。在自研芯片之外，AWS 亦提供 GPU 架构的计算实例，满足了 不同用户的硬件堆栈需求。

软件堆栈：整体实力处在行业头部，覆盖数据准备、 模型构建与训练、部署推理等环节

对于 AI 开发人员而言，除直接接入闭源模型的 API 系统外，基于开源模型进行二次 开发已经成为非闭源模型的主流趋势。而对于开源模型的开发，一般要经历数据整理、模 型训练、验证部署三个阶段，而这三个阶段需要平台提供足够且高性能的软件栈才能进行 支撑，包括数据管理、训练与部署环境等，而上述阶段亦是云厂商全力布局的领域。

AWS 开发套件：依托 Amazon SageMaker，覆盖 AI 开发全流程。根据 Gartner 数 据，亚马逊 AWS 在 2023 年的云 AI 开发者服务魔力象限中位居领导者象限。根据 Gartner 的数据，在 AutoML、语言处理和计算机视觉三个关键领域都拥有强大的产品/服务、所提 供的 AI 开发者服务可以通过 API 访问，不需要开发者具备数据科学专业知识、提供支持 能力以增强其核心服务，包括自动偏差检测和缓解、特征工程、语言处理、图像标记、MLOps、 可解释的 Al 等是 AWS 能够领先的主要原因。而亚马逊的 Amazon SageMaker 则实现了 全面覆盖，从数据准备、数据处理、算法构建、模型训练、超参调优、模型部署与监控等 环节，SageMaker 都提供了相应的功能帮助算法工程师们专注于业务和模型本身，提高 开发效率。

数据管理软件能力：AWS 处于全球数据管理软件前列，并位居主流数据软件行列。 作为全球云计算规模最大的厂商，AWS 数据管理能力亦在全球保持领先，而 AI 对数据管 理软件的需求主要集中在模型预训练阶段需要大规模、多类别、高质量的训练数据，在模 型调优阶段，垂类小数据集、提示词工程同样重要。过去由于存储技术、资源和数据库技 术的限制，非结构化的数据无法有效保存和调用。但随着存储技术和云计算的不断发展， 企业可以拥有充足的、可扩展的存储资源和存储方法。对于拥有大量基础设施的 AWS 而 言，其软件能力亦持续增长，根据 Gartner 数据，2022 年亚马逊位居全球 DBMS（数据 管理软件）份额第一，同时在关系型、非关系型数据库领域，亚马逊亦处在前列，这使得 亚马逊 AWS 能够在 AI 服务的同时，可以为客户提供较好的数据管理能力。此外，AWS 提供外部数据软件的接口，例如 snowflake 等软件，亦可以通过 API 进行调用，能够对亚 马逊自有数据软件形成补充。

DevOps：亚马逊具备技术积累，Amazon CodeWhisperer 补全代码能力。对于 AI 开发者而言，AI 的设计和开发是具有价值的，但编写完成的代码由存储库转移到实时生产 环境中仍需要经历集成、测试、发布、运维等多个流程，这些流程对于客户而言并没有直 接的附加价值。因此，企业开发者团队需要借助 Devops 工具自动化低价值的流程，以更 快实现新 AI 功能的发布。正是由于软件开发流程有价值的环节体现在项目管理&协作和代 码编写&托管两个节点，因此这两个节点上的头部参与者具备整合软件开发全链条的较大 潜力。对亚马逊而言，本身虽然目前没有很高的份额，但其技术能力仍有一定基础。同时 大语言模型普及之后，代码能力的强化大幅提升了开发效率，而亚马逊自身亦发布代码补 写工具 Amazon CodeWhisperer，根据 AWS 公布的对比数据，参与者在任务的完成率上， 要比不使用 Amazon CodeWhisperer 的高了 27%，而平均速度更是快了 57%。

后续展望：关注算法生态、企业 AI 需求的增长

前文我们详细分析了亚马逊在算法储备、算力基础设施、软件堆栈等方面的 AI 能力， 不难看出虽然亚马逊没有推出类似微软、谷歌形式的独立大语言模型，但毫无疑问亚马逊 自身的 AI 能力依旧较强，落地到后续 AI 对 AWS 的赋能，我们认为开源模型的持续增长、 用户量增加带来的推理需求等，均是 AWS 后续增长的驱动力。

因此对 AWS 而言，我们判断其后续大概率仍将延续增长趋势，原因在于：1）在 AWS 客户的行业属性中，传统企业的占比在提升，我们参考彭博等公司的经验，认为中大型企 业大概率仍将以 AWS 作为核心云计算供应商。2）对科技企业而言，AWS 提供的产品较 为全面，因此若科技企业选择开源模型，AWS 仍将受益。3）从模型自身的对比来看，虽 然 AWS 暂未追赶上 GPT-4 等，但亚马逊具备自研大模型的能力，后续来看，开源与闭源 模型在边际的差距大概率将收窄，且 AWS 的中立性亦相对较强。因此对 AWS 而言，具 备技术储备的前提下，大概率不会被微软等拉开档次间的差距。

编辑：火腿肠