华为盘古大模型研究：盘古开天，AI落地.pdf

华为盘古大模型研究：盘古开天，AI落地。应用场景纷繁复杂叠加“作坊式”的开发模式导致传统 AI 模型商业化落地较难。传统的 AI 开发模式下，一个场景对 应一个模型，数据质量差、样本少，模型精度差，并且应用场景相对单一。不同行业、不同场景对 AI 的需求既复杂 且碎片化，每个痛点都需要进行定制化地开发和改造；另一方面， AI 算法从理论上能够极大提升产品及服务的价值 量，但由于开发过程中存在大量的碎片化因素，不同的应用场景往往需要独立的架构设计与调参，效率相对较低。“小 作坊式”的 AI 开发模式在一定程度上限制了生产力。

五个基础大模型涵盖不同方向，三层进化路径打造“实干模式”大模型。盘古大模型进化路径可分为 L0-L1-L2 三个 阶段，L0 基础大模型包括业界首个千亿级生成与理解中文 NLP（中文语言）大模型、包含 30 亿+参数的 CV（视觉）大 模型、具备跨模态理解、检索与生成能力的多模态大模型、致力于解决各种科学问题的科学计算大模型以及采用图网 络融合技术的 Graph（图网络）大模型。L1 是在 L0 基础上导入行业数据进行训练后衍生出的行业大模型，L2 是在 L1 基础上结合行业细分场景得到的推理模型，上层是在下层的基础上演化而来，层层递进，确保了在真实产业场景中的 效率和适用能力。此外，一站式 AI 开发平台 ModelArts 为盘古大模型的训练和推理提供了计算优化、通信优化、存 储优化以及算法优化，是盘古大模型重要的基础平台资源。

盘古大模型具备极强的泛化能力，适用大量复杂行业场景。盘古 NLP 大模型学习了 40TB 的中文文本数据，CV 大模型 包含了 30 亿+参数，并通过行业数据的小样本调优，提升了模型在场景中的应用性能，提高了大模型的泛化能力以及 算法对新鲜样本的适应能力，节省了 80%以上的人力标注代价。此外，基于产业场景中存在大量的内容理解需求，盘 古大模型采用兼顾架构，在预训练阶段沉淀了大量的通用知识，能够同时完成理解与生成任务，使得大模型有能力支 持行业知识库和数据库的嵌入，对接行业经验。盘古大模型相当于各个行业 AI 通用的“轮子”，助力各行各业加速 智能化转型。

预训练+下游微调的工业化 AI 开发模式赋能千行百业。盘古大模型是一种工业化 AI 开发的新模式，可以解决小模型 的定制化难题，使一个模型应用到多个场景中。盘古 CV 大模型首次兼顾了图像判别与生成能力，能同时满足底层图 像处理与高层语义的理解需求，同时能够融合行业知识的微调，快速适配各种下游任务。此外，盘古 CV 大模型在预 训练阶段主要集中在数据处理、架构设计和模型优化三个阶段进行优化，目前盘古 CV 大模型在 Image Net 1%、10% 数据集的小样本分类精度上均达到目前业界最高水平，工业化 AI 开发模式有望助力各行各业加速智能化转型。