ChatGPT迭代历程及应用分析

ChatGPT 的兴起是认知智能的巨大进步。

ChatGPT 是一款同用户自主交互的 AI 模型。ChatGPT 是OpenAI 开发的一款开源的自然语言处理 (NLP) 模型，用于实现对话生成和语言模型预测。ChatGPT模型基于 GPT-3 (Generative Pretrained Transformer 3) 模型构建，拥有语言理解和文本生成能力。ChatGPT 模型可以用于实现聊天机器人、智能助手、辅助翻译等应用。OpenAI 官方称，ChatGPT 是在人类的帮助下创建并训练的，基于GPT-3.5技术模型的聊天机器人，训练师对该 AI 早期版本回答查询的方式进行排名和评级，然后将这些信息反馈到系统中，系统会根据训练师的偏好来调整答案（此方法为强化学习），以此往复让最终模型训练出来的结果获得更加高的分数，当分数达到一个比较高水平时，就表示该模型对于历史输入的文字或者语言学习到了一个比较好的程度，可以在应用中落地。 ChatGPT 获得较高的关注度。2022 年年底出世的 ChatGPT 获得了较高的关注度，根据下图所示，在谷歌全球搜索指数中，从 2022 年12 月开始搜索指数快速上声，而根据国内的百度指数，ChatGPT 的搜索指数在 2022 年12 月开始出现攀升，而后经过 1 月份的春节后，在 2023 年 1 月底又重新获得市场的关注。

ChatGPT 受到用户的热烈追捧，用户数量快速增长。目前获得微软支持的初创公司 OpenAI 开发的自然语言聊天机器人 ChatGPT 在今年1 月份的月活跃用户超过1亿，较去年 12 月的 5700 万大幅上升，用户过亿只花了2-3 个月。相比之下，Twitter用户过亿花费了 5 年时间，tiktok 从推出到用户达1 亿花了大约九个月时间，MetaPlatforms (META)的 Instagram 花了大约两年半时间，AppleStore 获得1亿用户耗费了 2 年时间。从用户数量的增长来看，ChatGPT 的受欢迎程度非常高。此外，在用户反馈方面，ChatGPT 也广受好评，例如马斯克便在自己的推特上晒出ChatGPT 的使用界面，评论区的用户也对其功能大加赞赏，有一些海外的学生开始用 ChatGPT 帮助自己完成学业任务。但是由于用户数量激增，曾经也导致了ChatGPT 服务器的宕机。

NLP 是认知智能的一个的基础领域。NLP（Natural Language Processing），也就是自然语言处理，就是研究如何让计算机读懂人类语言，即将人的自然语言转换为计算机可以阅读的指令。因此按照概念，NLP 则是实现自然语言与计算机交互的认知智能，属于认知智能的一个基础领域。 ChatGPT 是 NLP 的典型模型之一。ChatGPT 是预训练大模型，该模型是NLP语言处理模型中的一种。具体来讲，ChatGPT 是 OpenAI 开发的一款开源的自然语言处理(NLP) 模型，而 NLP 的应用在日常生活中也极为常见，诸如手机的语音助手、汽车的智能语音都在使用该模型，虽然语音是语言处理的一部分，但自然语言处理最重要的进步在于它对书面文本的分析能力。而 ChatGPT 就是经过不断升级迭代之后所诞生的一个出色的 NLP 新模型（对应的其他NLP 模型还有Word2vec、Fasttext、ULMFit、BERT 等等）。

GPT 系列的迭代更新是通过不断的提升训练语料的规模和质量以及提升网络的参数数量来实现的。Generative Pre-trained Transformer（GPT）系列是由OpenAI提出的强大的预训练语言模型，这一系列的模型可以完成例如文章生成、代码生成、机器翻译、Q&A 等非常复杂的 NLP 任务。但是如此强大的功能并非一蹴而就，而是经历了 GPT-1、GPT-2、GPT-3 的升级才达到如今的ChatGPT。从传统 NLP 模型到 GPT-1 的核心升级为无监督学习。传统的NLP 模型往往使用大量的数据对有监督的模型进行任务相关的模型训练，但是这种有监督学习的任务存在两个缺点：需要大量标注数据，但是高质量数据往往很难获得；根据一种任务所训练出的模型，很难泛化应用到别的任务。因此GPT-1 的思想就是先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定任务进行微调。其处理的监督任务包括：1.自然语言推理：判断两个句子是包含关系，矛盾关系，或者中立关系；2.问答和常识推理：类似于多选题，输入一个文章，一个问题以及若干个候选答案，输出为每个答案的预测概率；3.语义相似度：判断两个句子是否语义上市是相关的；4.分类：判断输入文本是指定的哪个类别。GPT-1使用了 BooksCorpus 数据集，这个数据集包含 7000 本没有发布的书籍。选择该数据集的原因有二：1. 数据集拥有更长的上下文依赖关系，使得模型能学得更长期的依赖关系；2. 这些书籍因为没有发布，所以很难在下游数据集上见到，更能验证模型的泛化能力。

GPT-2 的核心升级在于实现了多任务学习以及验证了利用大数据训练的可行性。尽管 GPT-1 取得了在泛化能力上的一点进步，但是实验结果显示，未经微调的监督任务的泛化能力依然远低于经过微调的监督任务。因此GPT-2 的目标旨在训练一个泛化能力更强的词向量模型，它并没有对 GPT-1 的网络进行过多调整升级，只是使用了更多的网络参数和更大的数据集。因此GPT-2 的学习目标是使用无监督的预训练模型做有监督的任务，即在没有预先设置真值的情况下，得到无限接近有真值的结果。所以基于以上的思想，设计者认为所有的有监督学习都是无监督学习的子集，故而在数据集十分大的情况下，便能得到一个泛化能力较强的模型。例如当模型训练完“Ducan is the best PF in the NBA history.”，便也可以进行 Q&A 任务——“Who is the best PF in the NBA history?”——“Ducan.”数据集选取了 Reddit 上高赞的文章，共有约 800 万篇，累计体积约40G。GPT-2的最大贡献是验证了通过海量数据和大量参数训练出来的词向量模型有迁移到其它类别任务中而不需要额外的训练。

GPT-3 的核心升级在于利用海量数据对模型本身进行了训练。在GPT-2 的数据集基础上，GPT-3 更加疯狂，选取了 1750 亿参数量，容量高达45TB，作为对比，维基百科全部数据量仅仅相当于其 0.6%。GPT-3 共训练了5 个不同的语料，分别是低质量的 Common Crawl，高质量的 WebText2，Books1，Books2 和Wikipedia，GPT-3根据数据集的不同的质量赋予了不同的权值，权值越高的在训练的时候越容易抽样到。在海量数据的基础上，GPT-3 使用大规模的网络来训练语言模型非常有效，这也促使 GPT-3 将模型参数提高到 1750 亿个。而在海量数据的训练后，GPT-3仅仅需要 zero-shot 或者 few-shot，就可以在下游任务表现的非常好。除了几个常见的 NLP 任务，GPT-3 还在很多非常困难的任务上也有惊艳的表现，例如撰写人类难以判别的文章，甚至编写 SQL 查询语句，React 或者JavaScript 代码等。

ChatGPT 的核心升级在于采用了基于人类反馈的强化学习技术。ChatGPT针对模型的问题做了改进。ChatGPT 采用了注重道德水平的训练方式，按照预先设计的道德准则，对不怀好意的提问和请求“说不”；ChatGPT 能记住之前的对话，使用户在对话中更加舒服；ChatGPT 还可以质疑问题的不正确，以解决AI 创造话语通顺。之所以 GPT-3 无法做到更加拟人化，主要原因在于人类问问题方式对于GPT-3 而言不是最自然的理解方式。当下大模型的调整方式使“预训练-微调”，因此在对 GPT 模型进行海量数据的预训练后，ChatGPT 通过目标场景中的小数据集进行微调，使模型达到需要的性能，即增加了人类对模型输出结果的演示，并且对结果进行了排序，在此基础上完成训练。ChatGPT 新加入的训练方式便被称为“从人类反馈中强化学习”。此外原先 GPT-3 的训练集只有文本，但是此次ChatGPT 在微软 Azure AI 服务器上完成训练，训练集加入了代码，使得模型对于代码本身有了更加深入的学习和理解。

ChatGPT 在 GPT 模型的基础上通过人工数据标注以及人工反馈学习强化方法来增强智能水平。2017 年 Google 提出 Transformer，基本实现了对语言类模型的大一统，在此基础上，OpenAI 在 2018 年先后推出了 GPT1/GPT2/GPT3 语言模型。ChatGPT一方面要通过增加模型参数和训练数据量的方式改进性能，同时采用人工标注数据和人工反馈强化学习方法（RLHF），使整个模型更加智能。具体过程：1）让数据标注人员进行打标签，同时构建问题和答案相对应的数据集，最后用数据集去训练和调整 GPT-3 的模型；2）搜集微调后的模型输出结果，人后人工对数据结果进行偏好排序，最后通过强化学习训练奖励模型给输出内容进行打分排序；3）将其他的模型输入第一步微调后的模型，将获得的答案输入第二步强化学习后的模型。重复上述过程使得模型生成结果获得更高的分数为止。

ChatGPT 领先应用及展望。（1）写作/创作。使用 ChatGPT 进行的创作主要体现在五种方向：第一、艺术创作，ChatGPT 可以做到提高平均作画质量和降低作画成本，以及对素材收集整理、润色改写、扩充、摘要；第二、非虚构写作，例如严肃新闻、科学书籍等，AI能起到辅助效果，使得写作的质量和效率都能得到全方位提升；第三、虚构写作，例如网评、书评、书摘、商品评价、甚至乐评、影评等，AI 会为创作者提供全新的视角，甚至是更为”中立客观“的评价；第四、代码编程，由于ChatGPT已经在训练集中添加进了对于代码的理解，因此可以对编写代码提供极大的帮助；第五、创作相关的下游行业，例如媒体、自媒体、出版、游戏、设计等，AI可以帮助其降低成本和提升质量效率，带来强大逼真的游戏NPC，更有趣的书籍/电影。

（2）虚拟现实。OpenAI 的对齐(alignment)研究旨在使人工智能（AGI）与人类价值观相一致并遵循人类意图，即让人工智能更加理解现实世界。但当对其反方向进行研究——反向对齐，则可以创造出虚拟世界，而得益于AI 的创造力，该虚拟世界也会更加丰富多彩。

（3）移动互联网。随着 ChatGPT 的不断迭代，可以将其作为底层架构，围绕其打造硬件生态，进而实现手机变成真正的“移动助理”，用户一旦习惯该应用模式，粘性将会很强。

（4）教育培训。教育培训是目前 ChatGPT 最为火爆的应用方向之一，已经出现了不少用户利用其写作业、做论文等学术工作。但是随之带来了一些问题，例如学生失去了原创工作的热情和能力，这点已经被不少高校发觉，例如斯坦福大学研究团队研发出 detectGPT 算法，以打击学生中自动生成文章的行为。除上述应用场景展望之外，ChatGPT 在智能客服、教育、医疗、搜索引擎等应用领域有广泛应用，随着其各类商业化不断落地，有望带动AI 产业迎来发展。