ChatGPT技术路径、商业化规划及发展水平如何？

ChatGPT 从技术本源上加速 AIGC 发展。

1.ChatGPT 通过引入 RLHF 技术解决生成模型的核心问题， 大大提高类人成熟度

ChatGPT 是在 GPT 3.5 大语言模型（LLM,即 Large Language Model）的基础上，加入“基 于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）”来不断微调 （Fine-tune）预训练语言模型，使得 LLM 模型学会理解不同类型的命令指令，并通过多重标 准合理判断基于给定的 prompt 输入指令，输出的是否为优质信息（这些标准包括：富含信息、 内容丰富、对用户有帮助、无害、不包含歧视信息等）。因此，ChatGPT 使得人机对话更加人 性化，更富有逻辑性，大大提高了 AI 的类人成熟度。

ChatGPT 的技术发展路径：从 GPT-1 到 InstructGPT，数据量与参数量不断增加，模型 精度和语言能力提升。1）2018 年，在自然语言处理领域（NLP）刚兴起时，OpenAI 就推出了 初代 GPT，它的运行逻辑是：先通过无标签数据学习生成语言模型，并能够运用于一些与有监 督任务无关的 NLP 任务中。此后再根据特定的下游任务进行有监督的微调，提高其泛化能力。 2）2019 年推出的 GPT-2 扩展了网络参数和数据集，进行多任务学习，可以在数据量足够丰富 且模型容量足够大时，通过训练语言模型就能够完成有监督学习的任务。3）对比 GPT-2，2020 年推出的 GPT-3 最显著的特征是庞大的数据量和参数投入，整体训练过程耗资 1200 万美元， 投入数据量达上万亿，模型参数量达到 1750 亿。GPT-3 延续了前两代 GPT 的技术架构，但改 变了“大规模数据集预训练+下游数据标注微调”的方式，采用情境学习（in-context learning）来 提高模型对话输出的性能。GPT-3 的规模和语言能力几乎是最强大的。它能在不做微调的情况下，在一些传统的 NLP 任务中表现得更好，包括实现闭卷问答、模式解析、纯语言建模、机 器翻译等；在新的领域，GPT-3 将 NLP 的应用扩展到缺乏足够训练数据的领域，例如在开发 程序代码、文章生成和信息检索领域取得了实质性的进展。然而，GPT-3 在推理和理解能力上 还有较长的路要走，在自然语言推理（NLI）任务中表现不佳。

ChatGPT 在 InstructGPT 模型上做改进，实现更好地遵循用户意图、更少的虚假信息。 OpenAI在2022年3月发布了InstructGPT。该语言模型通过“基于人类反馈的强化学习（RLHF） 和监督学习”来提高输出质量。虽然 InstructGPT 的参数量仅为 13 亿左右，相比于 GPT-3 缩小 了 100 倍以上；但在遵循指令方面，能够更好地遵循用户意图，将有害的、不真实或者有偏差 的信息输出最小化。在优化的模型上，ChatGPT 基于 InstructGPT 进一步改进，在模型结构和 训练流程上遵循上述方式，但收集和标注数据的方式上发生了变化，通过采取监督学习的方式 让模型学习人类排序的方式。

2.ChatGPT 商业化规划及仍需讨论的问题

ChatGPT 成为史上最快达到 1 亿月活跃用户的应用。ChatGPT 在 1 月达到 1 亿月活跃用 户，平均每天有 1300 多万访客。目前 OpenAI 已推出每月 20 美元（约合 135 人民币）的 ChatGPT 用户个人订阅计划，即使在软件的使用高峰时段，订阅用户也可以优先使用 AI 聊天机器人。

在 Gartner 发布的 2022 年新兴技术成熟度曲线中，生成性 AI 处于技术萌芽期并加速发 展中。Gartner 将生成性 AI 列为 2022 年五大影响力技术之一，预测到 2025 年生成性 AI 所 创造的数据可占到所有已生产数据的 10%。

ChatGPT 的能力目前几乎可以涵盖各个自然语言交互领域，例如聊天机器人、对话系统、 智能客服、信息检索、主题建模、文本生成和总结、NLP 作为服务的翻译、转录、总结等等， 未来应用领域将面向蓝海。例如，在聊天机器人领域，目前 ChatGPT 已经能基本满足用户的 提供个性化需求和信息提供服务；在需要智能客服的电商、金融、医疗、教育、政务等垂直领 域等，ChatGPT 能够结合行业特点和需求，构建自动应答系统，为客户提供快速、准确的问题 解答。除此外，在传媒、娱乐、设计和影视领域，ChatGPT 能够协助完成一些较低层次的任务， 包括文稿生成、采访助手、摘要总结等，或将提高行业的运行效率。

ChatGPT 存在的缺陷之一：目前 ChatGPT 在精准性、真实性、重复率和依赖性等问题 上尚待改善。第一、由于技术实现的问题，ChatGPT 会不可避免地写出一些似是而非、或者荒 谬的答案，这将导致植入虚假数据和误导用户的风险。ChatGPT 依然没有完全克服大型语言模 型（LLM）的这一常见缺点；第二、在较长的会话中，由于训练数据的偏差和过度修正，ChatGPT 会过度强调某些短语或者句子，导致重复性高的问题；第三、ChatGPT 的强大能力依赖语料库、 数据量的抓取和复杂的训练过程。ChatGPT 模型依赖于大规模离线语料进行训练，往往不能充 分接受并采用在线提供的即时信息，难以理解对话中提及的因果关系，也无法基于已有信息进 行推测，这距离人类举一反三的能力相差较远。

ChatGPT 存在的缺陷之二：其应用过程中安全性、伦理约束、权责界定以及知识产权等 相关法律问题尚未解决。一方面，由于 RLFH 并不能完全避免 ChatGPT 训练库中学习到的不 道德或有偏见的回答，也会导致在模糊提示或引导回答的过程中让 ChatGPT 输出一些有害信 息，导致输出结果的安全性降低，有可能产生权责无法界定的法律问题。另一方面，在创造性、 创作伦理和知识产权等方面并未形成有效界定。在数据挖掘、大规模计算、统计、多线程工作 等数据处理分析领域，人工智能有着人类不可比拟的优势，但是以“创新和感知”为基础的创造 过程是机器学习和模型难以训练的。目前 ChatGPT 能够在用户的引导下快速生成小说、诗歌、 散文、编程等需要创造力的内容，或许将对创作者和以版权为基础的行业造成冲击。文本生成 的过程是基于数据库内容的学习，这是否会构成对被抓取作品的侵权，ChatGPT 生成的文本内 容是否具有著作权，是否属于该用户等一系列问题的答案尚不明确。

3.全球巨头争相追赶，与 ChatGPT 水平尚存一定差距

国外公司中，谷歌发布的聊天机器人 Bard 具有与 ChatGPT 接近的技术水平，可能相差 半年左右。2023 年 2 月 6 日，Google CEO 发布了与 ChatGPT 对标的产品 Bard。Bard 是基于 由 Google 于两年前就开始的 LaMDA（Language Model for Dialogue Applications，用于对话应 用的语言模型）模型的轻量级版本。LaMDA 和 GPT-3 本质上是非常类似的模型，都是使用 Transformer 架构的大语言模型配以 RLHF，已公开的 LaMDA 最大的版本是 1370 亿参数的 模型，比 GPT-3 略少。从谷歌 22 年发布的 LaMDA 的论文来看，LaMDA 关注三个关键目标： 质量、安全和凭据，从这三个关键目标来看的话，Google 相比于 OpenAI 还是谨慎了很多， 这可能也是 Bard 迟迟未推出的原因。 国内公司中，百度、华为、字节跳动、阿里、腾讯等巨头均在大模型方向布局，整体发展 水平与 ChatGPT 相差大概一到两年左右，约达到接近 GPT-3 的水平。其中，百度进展比较突 出，百度的文心一言应用是百度基于文心大模型技术推出的生成式对话产品，将于 2023 年 3 月完成内测，面向公众开放。文心大模型的参数量已经达到 2600 亿，已经超过 GPT-3 水平。 从 GPT 模型发展三要素算力、数据、模型来看，国内巨头与 ChatGPT 的主要差距体现在模型 结构的设计上，由于 GPT3.5 缺少相关论文，也没有开源，国内在代码的训练及推理上仍缺少 积累。