2023年ChatGPT跨行业专题研究报告 ChatGPT 的概述及现状

追本溯源：ChatGPT 的概述及现状

什么是 ChatGPT?

ChatGPT 是 OpenAI 于 2022 年 11 月推出的一款聊天机器人（AI Chatbot），它是基于 GPT-3.5 （GPT-3 的改进版）模型的变体。ChatGPT 可以在对话中根据上下文形成类似人 类的文本响应，与其他使用预定义的响应或规则生成文本的聊天机器人不同，ChatGPT 可 以根据接收到的输入生成响应，从而生成更自然、更多样化的响应。ChatGPT 不仅是聊天 机器人，还能进行撰写邮件、文案、代码等任务。从 2022 年 11 月上线以来，在 ChatGPT 上的累积用户已经达到 1 亿。

ChatGPT 商业化落地的限制?

虽然 ChatGPT 的应用空间广泛，但短期内它仍面对几个关键技术瓶颈。

1）回答的真实性

ChatGPR 可能会写出看似合理但不正确的答案。这主要是因为模型进行强化训练 （Reinforced Learning）时，缺乏真实信息来源。另外，为了提高模型的严谨性，模型会 拒绝回复部分它能正确回答的问题。同时，监督训练会误导模型，由于模型产生的答案是 基于模型的认知而不是人类标注师的认知。

2）数据量级和算力门槛影响模型的实时性

ChatGPT 学习的数据库停留在 2021 年， 由于模型的数据量级大（GPT-3 1750 亿参数， 使用 800GB 数据进行训练），加入标注数据训练让实时数据的引入非常困难，重新预训练 模型的成本也高（单次几百万美元以上），导致 ChatGPT 对于 2021 年后发生的事情的了 解有限。

3）回答内容存在偏见或有害指令

ChatGPT 使用了“人类反馈强化学习”（RLHF）的训练方法。首先，预训练的模型在少量已 标注的数据上进行调优，随后让预训练好的模型（SFT）针对新问题列表生成若干条回答， 并让人类标注师对这些回答进行投票，以创建一个由比较数据组成的新数据集。在此数据 集上训练新模型（Reward Model, RM）。RM 模型用于进一步调优和改进 SFT，并将最后 两个步骤反复迭代以获得最终的模型。 这个方法有明显的局限性，用于 fine-tuning 模型的数据会受到人工标注者的偏好和偏差影 响，标注者通常对模型输出的排名持不同意见，RLHF 的方法假设所有人都有相同的价值 观，这导致 ChatGPT 导出的内容可能存在偏见。

ChatGPT 的底层技术发展演进

从小模型到大模型的兴起

AI 模型最初是针对特定应用场景需求进行训练（即小模型）。小模型的通用性差，换到另 一个应用场景中可能并不适用，需要重新训练，这牵涉到很多调参、调优的工作及成本。 同时，由于模型训练需要大规模的标注数据，在某些应用场景的数据量少，训练出来的模 型精度不理想的情况，这使得 AI 研发成本高，效率低的情况。 过去 5 年，随着数据，算力及算法的提升，AI 技术也有了变化，从过去的小模型到大模型 的兴起。大模型（也称为基础模型 Foundation Models）是在大规模无标注数据上进行训练， 学习出特征和规则。大模型泛化能力强，美国 OpenAI, 谷歌，微软，Facebook 的机构过去 几年发布了千亿或万亿参数量的大模型，这些大模型主要是在自然语言领域（NLP），包 括 ChatGPT 背后的 GPT-3，Switch Transformer，BERT 等。

基于大模型进行应用开发，将大模型进行微调（在下游特定任务上的小规模有标注数据进 行二次训练），或者不进行微调，可以完成多个应用场景的任务。这有效降低 AI 应用研发 门槛，也能解决在应用场景数据量少，模型精度低的问题。 在图 8 ，我们列出了过去 5 年中美主要大模型及其参数量的规模，在发布时间的差距上， 我们可以看到中国的大模型是集中在 2021 年到 2022 年之间，而美国同等参数量级的模型 比中国领先 1-2 年。另外，我们看到模型的规模也呈现指数级扩张。 但需要注意的是，模型的参数规模不一定是越大越好，大模型的可解析性和可控性比较薄 弱，复杂的模型使他们比普通的神经网络更难以理解，在检测和减轻这些 blackbox 模型的 偏差会变得更加困难。

自然语言处理（NLP）大模型

自然语言处理（NLP）主要通过学习通用语言，使得模型具备语言理解和生成能力。在 AI 的感知层（识别能力），目前机器在语音识别（Speech Recognition）的水平基本达到甚 至超过了人类的水平。然而，机器在处理自然语言时还是非常困难，主要是因为自然语言 具有高度的抽象性，语义组合性，理解语言需要背景知识和推理能力。 在 2018 年以来，以 BERT 和 GPT 为代表的语言大模型，弥补了自然语言处理标注数据的 缺点，促进了 NLP 技术的发展。从技术的角度，这些大模型的训练，透过事先遮住一些文 本片段，让 AI 模型通过自监督学习，通过海量语料库的预训练，逐步掌握上下文语境，把 这些被遮住的片段，尽可能合乎逻辑的方式填上去。

现阶段只有微软和谷歌正式发布了基于 NLP 大模型的可交互式应用，暂时没有办法评判每 家公司大模型在实际产品中的表现。我们尝试比对国内及国外比较领先的 AI 公司在 NLP领 域的专利数，根据 WIPO 国际专利分类，我们参考了 G06F17/20 项（Handling natural language data），国内比较领先的是互联网企业，前三分别是腾讯，百度和阿里巴巴（专 利数在 600 个以上），而专注于语音方面的 AI 企业科大讯飞只有 100 多个专利。国内 AI 企业和国际巨头相比，在 NLP 领域的专利数量差距还是比较明显，像微软及谷歌等，他们 在 NLP 的专利数已经在几千个的量级。

计算机视觉（CV）大模型

在早期的计算机领域（CV），模型的训练需要透过提取特征工程。视觉大模型是通过学习 大量的图像和视频数据，形成具备视觉通用能力。相较于上千亿参数的 NLP模型相比，CV 模型规模要小两三个数量及，目前 CV 大模型的发展还是存在一些挑战，包括 1）在 CV 领 域可用于训练的有效数据比 NLP 领域有不少差距，2）CV 领域的学习方法还需要突破，3） 不同的视觉应用仍需要依赖于不同的模型，如何建立通用的视觉模型还是未知，4）供训练 的图像尺寸越来越大，较小的模型也可能有很大的计算量。

现阶段比较有名的 CV 大模型包括微软的 swin-transformer 系列，谷歌的 ViT 系列以及有 150 亿参量的 V-MOE 模型。 国内方面，截止 2021 年，商汤训练了 300 亿参数的 CV 模 型，2022 年，华为也发布了 30 亿参数的盘古系列 CV 模型。

多模态模型

多模态机器学习（MultiModal Machine Learning, MMML）是指通过机器学习的方法实现处 理，理解及融合多源模态信息的能力，模态是指某种类型的信息，例如文本、图像、视频、 音频等，目前比较热门的研究方向是文本-图像的模型及应用，这里面比较有名的是 OpenAI 发布的 CLIP 和 DALL·E。 CLIP（Constrastive Language-Image Pre-training）是一个基于对比图片-文本学习的跨模 态预训练模型，通过自然语言的监督学习来有效理解视觉概念，用户只需要提供要识别的 视觉类别标签，CLIP 就能完成视觉分类任务。 基于 CLIP 模型技术，OpenAI 在 2022 发布 DALL·E 2，它是一个 AI 程序，可以通过文本 描述生成图像。例如，当文本提示为“生成牛油果形状的躺椅”，DALL·E 可以理解牛油果及 躺椅的概念，并生成各种牛油果形状的，绿色的躺椅。在输出图像是，DALL·E 采用 CLIP 进行排序，从中选取最优结果。

算力层：大模型驱动 AI/内存芯片需求全面加速

ChatGPT 运行需具备三大条件：数据上，获取训练数据，然后进行清洗和分离，获得不同 用于训练和测试调优的数据集；算法上，在基础模型上大规模预训练需要大量算力，获取 基于模型调优后不断解锁和进化；算力是核心基础和关键所在，数据获取和模型调优等需 大量算力支持；而大算力需更多高端、通用或专用算力芯片和 AI 芯片去支撑算法运行。

AI 芯片

AI芯片能为人工智能应用提供所需的基础算力；按技术架构主要分为GPU、FPGA和ASIC。 ChatGPT 有着大量复杂计算需求的 AI 模型， AI 芯片专门用于处理人工智能应用中的大量 计算任务，是不可或缺的底层硬件。随着 AI 技术快速发展，AI 应用场景扩大至智能制造、 家居、教育、医疗和金融等领域；而智能产品种类不断丰富，包括 ChatGPT 等 AIGC 产品 持续升级对芯片算力提出更高要求，AI 芯片算力和需求旺盛增长。据 Frost&Sullivan 预计， 2022-2026 年全球 AI 芯片市场规模将以 26.3%复合增速增长。 从基础预生成 AI 到机器学习，最终达到深度学习，主要依赖于审阅庞大的数据集合、处理 数据、生成算法模型、训练算法模型的能力，而 AI 芯片就是从处理数据到终端赋能的算力 基础。AI 芯片主要分为三种，分别是 GPU, FPGA 与 ASIC 芯片。不同种类别的 AI 计算芯 片有各自突出的优势和适用的领域，贯穿 AI 训练与推理阶段。目前 CPU 在人工智能领域 中的应用有限，主要受限于 CPU 在 AI 训练方面的计算能力不足。

1）GPU（图形处理器）

GPU 作为显示芯片是可在个人电脑、工作站、游戏机和智能手机/平板电脑上做图像和图像 相关运算工作的微处理器。随着互联网用户和网络应用兴起，数据体量逐渐庞大，数据中 心对计算需求快速增加，GPU 凭借其相对通用灵活和适应并行计算等特性成为主要选择， GPU 也从最初专用于图像处理制作后逐渐应用于计算，是核心计算资源基础。 目前来看，GPU 仍然是 AI 应用的主导芯片，主要因为它具有强大的计算能力和高通用适用 性，广泛应用于各种图形处理、数值模拟及人工智能算法领域。较低的开发成本也时期能 够快速在各个垂直下游领域被广泛应用，加速优化拓展。 ChatGPT 作为有着大量复杂计算需求的 AI 模型，GPU 芯片成为能帮助其完成计算任务的 关键硬件之一；随着深度学习技术发展，GPU 成为 AI 算法训练中重要硬件组成部分。同 时，随着云计算技术发展，云端对 GPU 算力要求在不断提升。据机构 JPR 预测显示， 2022-2026 年全球 GPU 出货量将以 6.3%复合增速增长；预计 2027 年行业市场规模将超 320 亿美元。

全球 GPU 芯片行业竞争格局中英特尔占主导地位，但在独立 GPU 领域，英伟达高端 GPU 占据较大份额（超过 70%）。英伟达 GPU 因其高性能和对 CUDA 的支持而广泛应用于 AI 和机器学习领域（CUDA 是 NVIDIA 的并行计算平台和编程模型）。因此，OpenAI 主要使 用 NVIDIA GPU（图形处理单元）来训练和运行其 AI 模型，如 GPT-3 和 ChatGPT。据公 开数据显示，ChatGPT 已导入至少 1 万个英伟达高端 GPU。

国内 GPU 主要上市公司中，景嘉微通过自主研发 GPU 并规模化商用，是国内显示控制市 场龙头企业。此外，海光信息、寒武纪等公司均有布局 GPU 产品。受美国对中国 GPU 芯 片出口管制影响，预计国产 GPU 芯片替代将快速推进。

2）FPGA（现场可编程门阵列）

FPGA 是支持 AI 算力芯片的更优解，优点主要在于低延迟、优秀的能效比、较短的开发周 期以及高度可编程能力，可以供给不同垂直行业使用。FPGA 是一种硬件可重构的集成电 路芯片，通过在硅片上预先设计实现具有可编程特性，可通过软件重新配置芯片内部的资 源来实现不同功能，广泛应用于数据中心、航空航天工程、人工智能、工业、物联网以及 汽车等领域。FPGA 拥有软件的可编程性和灵活性、兼具硬件的并行性和低延时性，相较 于 ASIC、GPU 等处理器更为灵活，具备上市周期和成本优势。在 5G 通信、人工智能等 迭代升级周期频繁、技术不确定性较大的领域，FPGA 是较为理想的解决方案。 随着全球新一代通信设备部署以及人工智能与自动驾驶技术等新兴市场领域需求的不断增 长，前瞻产业研究院预计全球 FPGA 市场规模将从 2021 年的 82.9 亿美元增长至 2025 年 的 125.2亿美元，年均复合增长率约为 10.8%，中国 FPGA 市场规模快速增长，预计 2021- 2025 年规模复合增速 17.1%。

全球 FPGA 市场主要被赛灵思和 Altera 占据，目前市占率分别为 52%和 35%；其次为 Lattice和 Microsemi，份额均为 5%。中国 FPGA 厂商中紫光国微、复旦微电和安路科技在 2021年市占率超过 15%。受益于国产化加速推进，中国 FPGA 厂商将拥有巨大成长空间。

3）ASIC（专用集成电路）

ASIC 是为特定用途而定制的集成电路，具有高性能、低能耗的特点，专用化程度最高，其 特点同时适合 AI 训练和推理阶段的使用。ASIC 芯片包括 DPU 和 NPU 类别，其中，DPU 主要承担网络、存储和安全的加速处理任务，旨在满足网络侧专用计算需求，适用于服务 器量多、对数据传输速率要求严苛的场景。ASIC 应用领域广泛，包括医疗、工业、军事、 航空等。其中虚拟币是主要应用领域之一，因相对 GPU、FPGA，ASIC 能效更高。 目前 ASIC渗透率依然较低，主要由于其较高的研发成本与研发壁垒，因此市场份额显著小 于 GPU。随着人工智能行业愈加成熟，蓬勃发展的下游应用对于上游研发成本的优化力不 断增高，ASIC 芯片依赖于它的卓越性能及低功耗，将成为人工智能技术的首选。根据贝哲 斯咨询预测，到 2027 年，全球 ASIC 市场规模预计将达 1677.49 亿元，2021-2027 年均复 合增长率为 8.9%。

全球 ASIC 主要竞争者包括英伟达、谷歌和英特尔。其中：1）英伟达：在 2020 年推出 BlueField-2 DPU，将其定义为继 CPU 和 GPU 之后“第三颗主力芯片”；2）谷歌：在 I/O 2022 活动中发布其新一代张量处理器 TPU v4 集群，新的算力集群被称为 Pod，包含 4096 个 v4 芯片，可提供超过 1 exaflops 的浮点性能，公司将在位于俄克拉荷马州的数据中心部 署 8 个 TPU v4 集群，合计实现约 9 exaflops 的性能；3）英特尔：在英特尔 FPGA 技术大 会上，英特尔发布了全新可定制解决方案英特尔 eASIC N5X，帮助加速 5G、人工智能、 云端与边缘工作负载的应用性能。英特尔 eASIC N5X 通过 FPGA 中的嵌入式硬件处理器帮 助客户将定制逻辑与设计迁移到结构化 ASIC中，带来更低的单位成本，更快性能和更低功 耗等好处。目前英伟达的定制化 ASIC 芯片价格为 2.48 美元/小时，而最初的设计者谷歌的 定制化 ASIC 芯片价格为 8 美元/小时。

内存芯片

高性能计算芯片需要搭配的 DRAM 内存数量大幅增加，DRAM 特征是读写速度快、延迟低， 常用于计算系统的运行内存。DRAM 集成度高、功耗低、存取速度慢。从存储能力来看， DRAM 所能提供的存储容量更大，访问时间较长。随着 ChatGPT 采用高性能计算芯片提升 算力，我们认为需要搭配的 DRAM 内存数量将大幅增加。 全球 DRAM 市场高度集中，三星、美光、SK 海力士 DRAM 出货量在 3Q22 合计占比约 96%。受行业周期性低迷的影响，三星电子、SK 海力士和美光正扎堆减产、应对库存问题、 节约资本开支，并推迟先进技术的进展，以应对存储器需求的疲软态势。据集邦咨询研究， 由于消费需求疲弱，存储器卖方库存压力持续，仅三星(Samsung)在竞价策略下库存略降。

应用层：AIGC 万亿市场可期，大模型+内容生态为关键

进入“数智化时代”，看好 ChatGPT/AIGC 应用场景持续渗透及商业化加速 (包括搜索引擎、 智能客服、教育培训、金融等)，助力行业降本增效的同时，开拓创新变现增量。

场景应用：搜索+智能客服先行，内容创作+文娱生活加速落地，长期 B 端 产业升级可期

我们看好 ChatGPT 在搜索引擎的协同和能力加强，多项回复展示更好满足用户信息获取， 智能创作、编程、分析等能力助于提高搜素转化率。考虑当前 ChatGPT 信息基于离线非实 时数据库、训练模型下答案非正确、成本过高，我们预计 ChatGPT 较难取代搜索引擎，更 多体现在赋能优化。电商领域，ChatGPT 有望在智能客服领域通过大模型通用智能能力完 善人机对话丝滑度和专业答疑。期待 ChatGPT 未来在代码机器人、翻译、文学创作、媒体、 教育培训、家庭陪护、金融等领域加速落地。文字之外，AIGC 也将在内容创作、数字经济、 产业升级层面带来变革，中期电商、传媒、娱乐、影视等领域加速渗透机会显现，长期看 好 AIGC 推动 B 段医疗、工业、金融等产业升级（例如：合成数据）。

变现空间: AIGC 万亿市场可期，订阅付费加速商业化，MaaS 探索长期增 长点

下一代互联网业态对内容产出效率、内容消费的蓬勃需求，将驱动 AIGC 快速发展。结合 Gartner 及 Acumen Research and Consulting 预测，2025 年 AIGC 渗透率将达 10%，至 2030 年 AIGC 市场规模达 1108 亿美元 (对应 2021-2030 年 CAGR 达 34%)。其中，对话式 AI 预计 2030 年市场规模达 34 亿美元 (vs. 2021 年 5.2 亿美元)。当前 AIGC 企业变现模式 主要为：订阅付费(每月订阅)、按量收费(数据请求量、计算量、图片张数、模型训练次数 等)，未来 MaaS（模型即服务）有望复制 SaaS 企服路线迎来需求爆发奇点 (海外 Hugging Face 已成型)。

中美对比：美国底层技术领先，中国内容场景多点开花

中美引领全球预训练大模型发展，美国底层技术领先

大模型底层创新始于美国：Google 在 2017 年首次提出 NLP 模型 Transformer 及 OpenAI 的 GPT 3.0；中国于 2021 年后加速追赶，重点发力 CV 大模型和多模态融合。 当前中美两国引领全球预训练大模型发展。据国内 OpenBMB 开源社区统计，目前，在全 球超千亿参数大模型中，中国企业或机构贡献了 1/3，美国贡献了 1/2，世界其他国家或组 织贡献了剩下的 1/6。截至 2022 年 10 月，在拥有大模型数量及参数量前十名的组织中， 中/美分别占据 4/6 席。

我们认为，目前美国 ChatGPT 的技术领先国内公司 2-3 年，其中 2020 年 OpenAI 发布 GPT-3.0 后中美差距有所拉大。中美技术差距并非由于中国缺乏大数据和参数量（百度文 心大模型参数量达 2600 亿，vs. ChatGPT 1750 亿），而在于: 1) 中国原创模型匮乏，算法 深刻见解待提升；2) 2022 年 8 月美国限制部分高端 GPU 出口中国，一定程度影响模型训 练速度。随着中国公司在算法 AI 的持续投入、巨头积极布局，底层技术处于跟随和追赶态 势，部分算力约束通过国产 GPU/大规模分布式 CPU 替代。看好中国强大的基建能力、用 户规模及大数据优势，有望依托大模型在 AIGC 应用落地、产业升级爆发巨大增长潜力。

技术面：数据及大模型参数量差距较小，算力和模型迭代仍需精进

美国凭借在模型迭代和算力上的先发优势，聚焦大模型 API 的基础设施层开发，带动信息 产业和科学行业发展，并加速商业化。中国公司在 AI 数据及大模型参数量层面与美国差距 较小，但模型迭代和训练仍有较大提升空间，大部分平台更加聚焦 AIGC 内容和应用端。 美国主要大模型包括 OpenAI 的 GPT-3、Anthropic 的 Claude、英伟达与微软的 Megatron Turing-NLG 以及 Meta 的 OPT 等。其中，OpenAI 预计在今年年中或者下半年上线 GPT4，参数量将达到万亿级。Google 把 GPT 系列模型作为红线，并全力投入 LLM（大语言模 型）模型的构建。

中国大模型主要包括百度文心、华为盘古、阿里通义、腾讯混云以及商汤的视觉模型等。 百度推出文心大模型，基本实现跨模态和多下游多领域的应用，且预计在今年 3 月上线文 心一言（ERNIE Bot），从参数量来看可与 ChatGPT 媲美。华为通过模型泛化，解决传统 AI 作坊式开放模式下不能解决的 AI 规模化和产业化难题。 整体来看，美国在模型上仍具有先发优势，源于长时间的技术迭代和数据累积。从 2018 年 发布 GPT 1.0，到 2021 年发布 GPT-3.5 和 Instruct GPT，OpenAI 已形成了一系列海量数 据积累和训练模型，或将于今年年中/下半年发布 GPT-4 版本(万亿级参数量)。虽然当前部 分中国大模型参数量能达到千亿级乃至万亿级，但数据质量及训练模型尚需时间精进。

应用面：美国商业化加速、赋能 2B；中国变现早期，侧重生活互娱 C 端场 景

美国企业 AIGC 商业化进程加速，且服务和收费方式日渐丰富。例如，Open AI 今年预计实 现 2 亿美元收入(Fortune 报道)， 且宣布推出 ChatGPT Plus 付费订阅套餐(20 美元/月)。订 阅用户可在免费服务基础上享受高峰时段免排队、快速响应、优先获取新功能等额外权益。 此外，DALL-E 和 Stable Diffusion 等其他主流应用亦开启商业变现，企业根据使用量、内 容产出量、提供服务以及使用属性等方面进行收费。美国 AIGC 场景落地侧重 2B 产业升级 （如：合成数据等）。中国的商业化进程尚在早期，大部分产品处于免费试用阶段或根据 使用量收费，且主要集中在语音、写作、数字人等 2C 场景应用。在 2B 方面，头部公司在 金融、物流、政务层面亦在延伸。

编辑：荣耀2020