2023年ChatGPT专题分析 ChatGPT在各场景通用化效果显著

一、ChatGPT 在各场景通用化效果显著

（一）较传统 NLP 模型，ChatGPT 的通用性有较大提升

ChatGPT泛化能力较上一代产品有较大提升。2022年11月，OpenAI推出的ChatGPT 模型展现了强大的内容生成能力，与上一代AI大模型GPT-3相比，其不仅在人机对 话的覆盖面、真实性和灵活度上有较大提升，还可对文案、邮件等常用的文字内容 实时生成，应用前景广阔。ChatGPT性能的提升不仅源于其数据量上的增加，还在 于其引入了新的训练方法，即基于人工反馈的强化学习机制（RLHF）。本篇报告就 ChatGPT性能提升效果、原理、应用场景以及未来商业化前景进行分析，并探讨国 产“类ChatGPT”产品未来发展的前景和挑战。

与GPT-3相比，ChatGPT人机对话效果提升显著。ChatGPT具备较强的语义分析能 力，可理解对话者的深层次需求，并有丰富的语料库，回答内容与正常人交流具有 较高相似度。具体来说，在GPT-3的基础上，其新增了大量社交媒体、新闻文章等 数据进行训练，导致ChatGPT回答内容包含更多细节描述信息；与之相比，而GPT-3 的回答提供的信息量较少。

ChatGPT连续对话效果提升显著，回答内容与用户需求契合度较高。ChatGPT具备 较强的上下文关联理解能力，可准确记住多次问答的内容，结合语境及时调整答案， 并给予一定的建议，对话连贯性表现较好，具有较强的语言丰富性。其次，ChatGPT 可辨别不同的任务类型，并根据要求组织回答，如创作类、阐述类、简单提问类等， 不同任务的回答风格明显不同。

ChatGPT的内容生成能力具有广阔的应用前景。ChatGPT不仅可以和人实现连续、 流畅的对话，还可实现包括邮件、视频脚本、文案、代码、论文等较长文字的生成， 这大大拓展了该模型的应用边界。在办公场景中，我们可以预期固定模式的、流程 化的文案工作的效率有望大大提升，员工可以将精力用于更具创造性、创新性的工 作上。在软件开发过程中，ChatGPT不仅有望提升代码开发效率，还大大降低了基 础类算法开发的门槛，有望使得软件开发工作更为普及。

相较于传统NLP模型，ChatGPT的应用场景更加广阔。传统NLP模型主要针对文本 分类、情感倾向分析、评论观点提取等分析类功能进行开发，应用于新闻资讯分类、 品牌营销搜索等有限度的场景中，存在功能单一、可拓展性不足等问题。而ChatGPT 在设计之初就是针对内容生成类应用进行开发，生成内容的信息量、逻辑组织结构、 文本表达形式都已经满足一定比例场景中的用户需求，通用性得到了大大增强，可 应用的场景有较大拓展。未来，我们看好ChatGPT在文案写作、邮件撰写、宣传广 告生成、软件代码编写、不同语言代码的转译等场景的应用。

（二）ChatGPT 实现较强通用性背后的原理

ChatGPT较强的通用性能力和模型、算力和数据三大基础要素有关。ChatGPT是在 GPT-3预训练模型的基础上，再新增输入了包含3千亿单词量在内总计570GB的数据 后，对其参数进行了微调后，训练所得。这种训练方法一般称为迁移学习。由于所需训练的数据量较大，在这一过程中也离不开较大规模算力的支持。我们将从模型 训练、算力支持和训练数据三方面详细分析ChatGPT实现较强通用性的原理。

1、AI预训练大模型是ChatGPT实现通用化的基础

ChatGPT采用“预训练+微调”的模型训练方式，研发效率较高。ChatGPT是在GPT-3 的基础上进行微调得到的。GPT-3在预先学习了各场景海量数据的基础上，其包含 了具有通用共性特征的底层卷积层，这部分卷积层无需再进行训练，网络权重和阈 值可以直接复用到新的任务中。在研发阶段，开发人员通过对GPT-3这一预训练大 模型进行剪裁、域的自适应和新增部分类等微调，即可实现类似ChatGPT特定模型 的量产，提升开发效率。我们认为，与从零开始训练AI模型相比，引入AI预训练大 模型的训练方式具有以下优势：1.训练时间更短：预训练模型中的部分卷积层可以 复用，无需重复训练；2.训练成本更低：训练所消耗的算力随着数据训练时长的减 少而减少，在预训练模型的基础上微调的开发成本大大低于从零训练的成本。

预训练大模型GPT-3是ChatGPT实现通用性的基础，目前已开放API接口供调用。 自2018年，OpenAI推出第一代GPT大模型开始，公司持续向内容生成类AI模型研发。 2020年5月，OpenAI发布了当时全球规模最大的预训练语言模型GPT-3，在许多自 然语言处理任务上均表现了出色的能力，包括翻译、问答和文本填空任务等。GPT-3 作为OpenAI多年研发的成果，目前已开放API接口供开发者调用。自2020年6月， GPT-3开放API接口，至2021年3月，已有超过300个应用基于其进行开发。我们认 为，OpenAI作为具有开放性质的研究机构，对其研究成果对公众开放有利于行业整 体技术进步，但基于GPT-3开发出类似ChatGPT通用化效果的模型仍取决于算力的 支持和训练数据的数量与质量。

2、超大规模智能算力是ChatGPT实现通用化的壁垒

包括ChatGPT在内的大模型在训练和推理阶段都需要大量算力的支持。在 Transformer模型推出后，自2018年开始，AI模型的参数近乎每年一个数量级的速度 快速增长。模型的规模和训练、推理时所消耗的算力存在正相关关系。AI大模型对 于AI算力的需求不仅存在于训练阶段，在各场景推理任务中也需要。大规模智能算 力基础设施是各科技公司训练AI大模型的前提，正逐渐成为其在AI领域竞争的关键 要素。我们认为，未来，随着AI大模型的开发和应用，其有望驱动AI芯片和AI服务 器等硬件需求的增长，利好寒武纪和浪潮信息等国产AI硬件公司。

训练AI大模型所需的超大规模AI算力是主要壁垒。2020，OpenAI推出的GPT-3大模 型拥有1750亿参数，使用了570 GB的数据进行训练，训练成本达到了1200万美元。 2021年，微软和英伟达使用了4480个GPU训练出的拥有5300亿参数的MT-NLG大模 型，训练数据多达1.5TB，其训练成本更是高达8500万美元。科技公司开发AI大模 型需要专有AI算力基础设施和足够资金的支持。我们认为，受限于资金和算力基础 设施，中小规模的AI公司对AI大模型虽有强烈诉求但无力开发，未来或需要依靠公共部门或大型科技公司的算力和AI大模型。而商汤在战略上预计持续投入底层AI算 力基础设施，建设AIDC，有望保持长期竞争力。

3、训练数据的数量和质量是ChatGPT实现通用化的关键

ChatGPT较强的通用化能力和其训练数据的数量、质量有关。一般而言，用于训练 的数据量越大，模型的泛化能力越强。训练数据高达45TB的GPT-3，其在问题回答 时的准确性和覆盖面远高于训练数据仅40GB的GPT-2。此外，训练数据所包含信息 的丰富程度、真实性和及时性也对AI大模型生成的内容有较大影响。例如， InstructGPT模型训练数据集中96%以上是英文，其它20个语种例如中文，法语，西 班牙语等加起来不到4%，这导致其对其它语种的内容生成的拟人化效果不如英文。 ChatGPT引入了人工反馈强化学习机制，有效提升模型拟人化效果。InstructGPT 和ChatGPT在拥有和GPT-3相同量级参数的情况下，其回答相同问题的效果要远优 于后者。基于人工反馈的强化学习机制（RLHF）是InstructGPT和ChatGPT在生成 内容流畅、真实和拟人化的关键。OpenAI在训练InstructGPT的过程中，采用了40 名人员的标注团队，对模型提出各种类型问题并且根据其回答给予人工反馈，这有 效提升了模型输出结果与人类喜好的匹配度。我们认为，在数据标注过程中，对于 模型生成内容的反馈是建立在对于各场景需求的理解上的。标注人员的价值观、知 识面和专业能力都会对训练的AI大模型有一定影响。

在AI大模型对于训练数据的数据量、场景覆盖面以及标注的精细化程度等有较高要 求的情况下，未来各家公司采集、获取数据的方式是关键。科大讯飞在语音文字类 数据采集手段丰富，积累的数据量较大，在开发AI大模型方面或具有一定优势。此 外，具有中立属性和开放风格的公司更容易与产业链上下游形成合作，通过构建开 放的生态，拓宽数据获取的渠道，有望建立AI大模型开发上的相对优势。

总体而言，ChatGPT大模型的训练和应用对于AI领域的模型、算力和数据三大基础 要素的生产组织方式已经有了较大改变，具体如下： （1） AI模型：“预训练+微调”的模型训练方式有望快速推广。开发者可通过对类 似GPT-3的AI预训练模型进行剪裁、域的自适应和新增部分类等微调，即可实现 特定模型的量产，提升开发效率。 （2） AI算力：AI大模型在训练和推理两个任务中都需要大规模智能算力基础设施的 支持。未来随着AI大模型的开发和应用，其有望驱动AI加速卡和AI服务器等硬件 需求的增长。 （3） 训练数据：在AI大模型对于训练数据的数据量、场景覆盖面以及标注的精细化 程度等有较高要求的情况下，未来各家公司采集、获取数据的方式是模型实现通 用化的关键。

（三）国产“类 ChatGPT”AI 大模型与 ChatGPT 可能存在差距

ChatGPT激发国产“类ChatGPT”模型的开发和应用。短期来看，ChatGPT的广 泛推广驱动了各科技公司向内容生成类应用的积极探索。在ChatGPT技术路线较为 开放的背景下，我们预计国内参考其开发“类ChatGPT”模型的厂商将会持续出现。 长期来看，我们认为，国产“类ChatGPT”AI大模型的发展预计将面临以下挑战： 1. 数据来源的割裂：国内科技公司采集数据的渠道有限，用于AI大模型训练的数据 存在多样性不足、场景覆盖不全面等问题。 2. 产业链公司开放程度不够：AI大模型的开发需要AI产业链上下游开放合作、共同 开发，国内科技公司倾向于通过内生垂直一体化的发展策略留给具有创新力的小公 司发展空间较小。 3. AI算力存在瓶颈：在美国对华实施的高端芯片出口管制措施下，我国可用于AI大 模型开发和应用的AI芯片存在供货短缺、功耗较大等潜在问题。4. 国内互联网和科技巨头加速投入意愿具有不确定性：AI大模型的开发所需的AI算 力基础设施和应用阶段的运营费用较高，国内科技巨头资本开支的短期恢复力度可 能相对有限。我们认为，科技巨头在既有商业模式和B端应用盈利弱势瓶颈下，是 否有意愿加速投入存在相当的不确定性。

科技公司采集数据的方式有限，各自的数据来源较为割裂。科技公司根据主营业务 不同，其采集的数据范围有限。例如，阿里采集的主要是消费者行为和决策数据， 腾讯通过微信采集的是社交类数据，小红书采集的主要是和生活方式相关数据。有 限的数据采集方式在多维度层面影响了可用于模型训练的数据质量，进一步会影响 到AI模型的泛化能力和不同场景的通用化效果。

从产业链分工的角度，合作共赢、包容开放的外部环境对于AI大模型的发展较为重 要。OpenAI在发展初期得到了微软等大型科技厂商的资助，而其取得技术突破后又 扩大和微软的合作，实现了合作共赢。具有技术原创精神的OpenAI对于内容生成类 AI模型的持续探索和坚持投入是ChatGPT取得成功的主要原因。而大型科技公司在 技术投入时对于短期商业回报的考量过多，往往导致其投入的持续力不够。因此， 能否提供类似OpenAI中立属性、独立开放的机构健康发展的外部环境是关键。我们 认为，国内科技公司以倾向于通过内生垂直一体化为主的发展策略留给具有创新力 的小公司发展空间较小。

美国针对高端芯片及其产业链上下游对中国实施出口限制措施。2022年8月26日， 美国政府通知英伟达公司，美国政府对其未来出口到中国和俄罗斯的A100和即将推 出的H100等高端AI芯片实施了许可证要求。AMD证实其也收到类似通知，其用于AI 计算的GPU等产品线的出口也受到了类似限制。2022年10月7日，美国商务部工业 与安全局宣布修订《出口管理条例》，加强限制中国获得先进计算芯片、开发超级 计算机以及制造先进半导体的能力，针对高端芯片及相关终端产品、制造设备等产 业链上下游升级对华出口管制措施。 美国一系列的封锁措施可能导致我国面临先进制程AI芯片短缺的情况，但成熟制程 的芯片供货仍较为充足。我们认为，未来若先进制程AI芯片产能瓶颈长期得不到解 决的话，科技厂商或采用成熟制程芯片训练AI大模型，模型开发的成本可能升高。

AI大模型的开发所需的AI算力基础设施和应用阶段的运营费用较高。2020，OpenAI 推出的GPT-3大模型训练成本高达1200万美元（数据来源：商汤招股说明书）。在 应用阶段，ChatGPT每生成一次内容，成本在个位数的美分级别（数据来源：OpenAI 的CEO Sam Altman）。2023年以来，ChatGPT每日访客量高达1300万人次（数据 来源：路透社），假设每个访客与ChatGPT对话5次，可大致测算其每日运营成本在 百万美元级别。 国内互联网公司近三年资本开支增长放缓，在主营业务已过高速成长期，云计算业 务依然亏损的背景下，资本开支的短期恢复力度可能相对有限。另一方面，从国内 的市场环境来看，此前，自然语言处理类AI的商业应用更多存在于精准营销等C端， 已相对成熟。但是现阶段，国产“类ChatGPT”AI大模型对于要求较高的B端IT应用 无论产品还是生态合作/价值链均衡都有不小差距。我们认为，科技巨头在既有商业 模式和B端应用盈利弱势瓶颈下，是否有意愿加速投入存在相当的不确定性。

国产“类ChatGPT”发展前景中短期不宜乐观。从外部环境看，我们面临高端AI芯 片供货受限的压力未减；从内部环境看，科技厂商采集数据的方式有限、数据来源 割裂，且其倾向于通过内生垂直一体化的发展策略留给具有创新力的小公司发展空 间较小。我们认为，除了寒武纪在基础AI算力方面相对突出，ChatGPT对A股计算 机相关标签公司整体几乎没有实质驱动，整个产业链的追赶都面临较大挑战。

二、ChatGPT 驱动 AI 大模型向内容生产类应用发展

（一）GPT 系列 AI 大模型在文字类工具软件的商业化应用前景广阔

OpenAI的GPT系列AI大模型已嵌入部分微软系列软件中，较大增强其智能化功能， 商业化前景广阔。过去几年，微软在与OpenAI已经建立一定研究合作的基础上，2023 年1月23日，双方宣布进一步拓宽合作范围。2023年2月份，我们观察到一系列嵌入 了GPT系列AI大模型的微软的软件陆续推出，智能化功能的应用较大提升用户体验。 1. 2023年2月1日，微软推出了嵌入GPT-3.5的Teams线上会议平台，新增了自动 会议纪要生成、要点总结等，大大节省了用户在会议进行中和会后手动记录会 议纪要的工作。 2. 2023年2月7日，基于ChatGPT和GPT-3.5，微软开发了Prometheus模型，并推 出了嵌入Prometheus模型的Edge浏览器和Bing搜索引擎。在新版本的Bing搜索 结果中新增了ChatGPT对于搜索内容的直接回答，不仅很好的补充了既有的搜 索结果，还缩短了用户查询信息的时间。

我们认为，未来，GPT系列AI大模型最具有成功潜力的商业化落地形式是其与微软 从浏览器Bing到Office的全线软件的融合应用。二者的融合应用有望对微软的软件产 品的门槛和附加值有较大提高效果，同时对相应竞品实现降维竞争。我们可以预期 微软相关产品线的竞争优势会迅速扩大并能逐步新增体现在全球市场份额和财务回 报上。

（二）科技公司开发的 AI 大模型预计由内部赋能转向内容生成

各科技公司已积累了一定的AI大模型的技术，ChatGPT推动其应用向内容生成类方 向发展。2020年5月，OpenAI发布了当时全球规模最大的预训练语言模型GPT-3。 GPT-3具有1750亿参数，训练所用的数据量达到45TB，其在许多自然语言处理数据 集上的出色表现激发了阿里、华为、百度等科技公司在AI大模型领域的研发投入。 我们认为，在各大科技公司已经具备一定AI大模型技术基础之上，ChatGPT的广泛 应用将进一步推动各大科技公司将AI大模型向内容生产类应用发展。 目前，各科技公司开发的AI大模型主要应用于分析类功能中，赋能各自的主营业务。 阿里在电商业务中的智能化需求是精准营销、智能推荐，其对于文字与图像的匹配 度具有较高要求。阿里开发的M6大模型主要应用于通过用户输入的文字智能推荐相 关的产品的多模态AI大模型。华为在各行业积累了大量项目的基础上，深入理解下 游客户智能化改造的需求痛点，其开发的盘古NLP大模型主要应用于舆情分析、企 业运营分析等提升企业运营管理效率的相关功能。百度的主打产品是搜索引擎产品， 以文字搜索为主，其开发的NLP文心AI大模型主要用于提升对于用户输入的文字的 精准分析中，赋能搜索业务。

在电商领域，阿里的M6大模型已应用于消费者需求分析、产品设计等工作中。阿里 达摩院在AI大模型上的研发从2020年开始，其主推的M6多模态大模型的参数规模由 2020年的3亿个提升至2021年10月的10万亿个，其规模在全球排名前列。M6已经在 超40个场景中应用，日调用量上亿，具体的商用案例包括在犀牛智造平台上通过结 合潮流趋势进行快速设计、试穿效果模拟，有望大幅缩短快时尚新款服饰设计周期。 此外，M6还应用于支付宝、淘宝等平台，参与跨模态搜索、文案撰写、图片设计等 工作。

华为盘古NLP大模型主要应用于舆情分析、企业运营分析等。盘古NLP大模型在预 训练阶段学习了40TB 的中文文本数据，其中包括细分行业的小样本数据，基于提 示（prompt-based）的调优、动态冰化等一系列正则化技术。盘古大模型的 AI 算 力和数据吞吐能力由国内规模的AI训练集群之一的“鹏城云脑II”提供。除了硬件算 力支持，华为底层软件、训练框架、ModelArts平台也为盘古大模型的训练提供了技 术保障。目前盘古NLP大模型主要应用于金融、电商、政务等领域，实现精准舆情 分析、企业运营分析、智能营销等功能。

百度文心大模型不仅对其搜索业务内部赋能，还广泛向AI开发人员提供API调用服 务。2021年12月，百度与鹏城实验室联合发布鹏城-百度·文心（ERNIE 3.0 Titan）， 是参数规模达到2600亿的自然语言处理的大模型，在机器阅读理解、文本分类、语义相似度计算等60多项任务取得最好效果，并在30余项小样本和零样本任务上刷新 基准。在开发过程中，百度依托“鹏城云脑II”、自研的飞浆深度学习框架，有效支 持大模型高效、稳定的训练。除了文心NLP大模型外，百度还开发了CV大模型和跨 模态大模型。文心AI大模型不仅内部赋能其搜索业务，还通过百度智能云的EasyDL 和BML开发平台向AI应用开发者提供服务，已广泛应用于医疗、金融等领域，相关 客户包括中国人寿、国美集团、度小满金融等。

未来，ChatGPT推动各大科技厂商将AI大模型向内容生成类方向发展。在内容生成 应用方面，各厂商已具备一定经验。百度的文心NLP大模型已经推出歌词续写、诗 词续写、对联续写及自由问答等功能。阿里的M6大模型也已提供服装设计、图像描 述生成及智能问答等功能。但其生成内容覆盖面、回答满意度和需求契合度都较 ChatGPT有一定差距。目前，训练GPT-3和InstructGPT等AI大模型相关学术论文是 公开可查阅的。我们认为，国内各大科技厂商在AI大模型领域已具备一定技术基础 与项目经验，其在参考了ChatGPT相关开发方法的海外公开资料后，有望推出国产 “类ChatGPT”的AI大模型。2023年2月7日，百度宣布将于近期出文心一言（ERNIE Bot）大模型。

国内科技厂商开发的AI大模型大规模商业化应用中短期不宜乐观。从国内的市场环 境来看，此前，自然语言处理类AI的商业应用更多存在于精准营销等C端，已相对成 熟。但是现阶段，国产“类ChatGPT”AI大模型对于要求较高的B端IT应用无论产品 还是生态合作/价值链均衡都有不小差距。我们认为，除了寒武纪在基础AI算力方面 相对突出，ChatGPT对A股计算机相关标签公司整体几乎没有实质驱动，整个产业 链的追赶都面临较大挑战。

（三）国内发展 AI 大模型的环境有望得到改善

数据基础制度的构建有望加快数据的流通和共享。近年来，数据作为新型生产要素 正受到越来越高的重视。2022年12月，国务院发布的《中共中央国务院关于构建数 据基础制度更好发挥数据要素作用的意见》提出了“合理降低市场主体获取数据的 门槛，增强数据要素共享性、普惠性”。我们认为，未来随着数据流通共享相关法 律法规的健全以及授权确权机制的完善，科技公司用于AI大模型开发的数据质量有 望得到改善。 AI芯片产业链自主可控建设节奏有望加快。在芯片设计环节，国产高端AI芯片在过 去几年性能有了较大提升，以华为昇腾910和寒武纪思元370为代表的国产AI芯片已 经具备和英伟达高端AI芯片直接竞争的技术基础。在芯片制造环节，中国大陆晶圆 厂的先进制程芯片规模化量产能力与国际一流厂商仍有一定差距。长期来看，美国 对华实施的高端芯片出口管制措施预计将倒逼国内芯片制造工艺水平的提升，加速 芯片制造产业链自主可控的建设节奏。我们认为，长期来看，高端芯片在中国市场 供给的不确定性将催化AI芯片产业链的国产化进程，叠加AI大模型对AI专用算力需 求的驱动因素，预计将利好以寒武纪为代表的国产AI芯片厂商。

（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）