GPT4技术创新介绍

AI技术和工程的伟大创新，迈向AGI时代。

1.G PT4：全球领先的“智能涌现”AI大模型

GPT-4 是世界第一个最接近AGI的先进AI系统。Generative Pre-trained Transformer 4 ( GPT-4 ) 是OpenAI创建的 多模态大型语言模型，于 2023 年 3 月 14 日发布，并已通过ChatGPT Plus和商业API形式对外提供服务。 ChatGPT是OpenAI在2022年11月推出的基于 GPT-3.5的新型 AI聊天机器人，只需向ChatGPT提出需求，即可实现文 章创作、代码创作、回答问题等功能。ChatGPT从推出到月用户过亿仅用了2个月时间，是世界上增速最快消费级应用。

GPT4的显著特征“涌现能力”， LLM的涌现能力被正式定义为“在小型模型中不存在，但在大型模型中出现的能力” 。 涌现能力出现时的一个显著特点：当模型规模达到一定程度时，性能显著提升。这种涌现模式与物理学中的相变现象有 着密切的联系。原则上，涌现能力也可以根据一些复杂任务来定义。 涌现是非线性深度网络的基本特征，也是群体智能行为与复杂思维，感知与认知的基本特质。

GPT-4 幕后的研发团队大致可分为七个部分：预训练（Pretraining）、长上下文（Long context）、视觉（Vision）、强 化学习 & 对齐（RL & alignment）、评估 & 分析（Evaluation & analysis）、部署（Deployment），以及其他。

2.G PT4六大颠覆式技术创新：大参数+大数据+算法创新

参数扩大是提高LLM模型能力的关键因素。GPT-3首先 将模型大小增加到175B参数的极大规模。语言模型前期 的性能和模型规模大致呈线性关系，当模型规模大到一 定程度时，任务性能有了明显的突变。 大规模语言模型基座的可扩展性很强，实现反复自我迭代。 因此，LLM也被看作是实现通用人工智能AGI的希望。

模型能力不仅与模型大小有关，还与数据 大小和总计算量有关。同时，预训练数据 的质量对取得良好的性能起着关键作用， 因此在扩展预训练语料库时，数据收集和 清洗策略是非常重要的考虑。 预训练语料库的来源大致可以分为两类: 通用数据：如网页、书籍和对话文本， 由于其庞大、多样化和可访问性，被 大多数LLM使用，可以增强LLM的语 言建模和泛化能力。 专业数据：如多语言数据、科学数据 和代码，使LLM具有特定的任务解决 能力。

并行训练。由于模型规模巨大，成功训练一个强大的LLM是非常具有挑战性的。 LLM的网络参数学习通常需要联合使用多种并行策略， 一些优化框架已经发布，以促进并行算法的实现和部署，如Transformer、DeepSpeed和Megatron-LM。此外，优化技巧对训练稳定 性和模型性能也很重要。 最近，GPT-4提出开发特殊的基础设施和优化方法，用小得多的模型的达到大型模型的性能。 目前，常用的训练LLM的库包括Transformers，DeepSpeed、Megatron-LM、JAX、Colossal-AI、BMTrain、FastMoe等。此外， 现有的深度学习框架(如PyTorch、TensorFlow、MXNet、PaddlePaddle、MindSpore和OneFlow)也提供了对并行算法的支持。

G PT4六大颠覆式技术创新：Tr ans f or m e r

Transformer由Google 在2017年的论文 Attention is All you need 中提出，GPT与BERT均采用了Transformer模型。 Transformer基于显著性的注意力机制为输入序列中的任何位置提供上下文信息，使得Transformer具有全局表征能力强， 高度并行性，位置关联操作不受限，通用性强，可扩展性强等优势，从而使得GPT模型具有优异的表现。

Self-Attention自注意力机制：当模型处理每个词（输入序列中的每个位置）时，Self-Attention 机制使得模型不仅能够 关注当前位置的词，而且能够关注句子中其他位置的词，从而可以更好地编码这个词。即单词自己记住我和哪些单词在同一 句话里面。 Transformer基于自注意力机制，学会单词和单词之间共同出现的概率，在语料输入后，可以输出单词和单词共同出现的 概率，同时，Transformer能够挖掘长距离上下文的词之间的双向关系。

G PT4六大颠覆式技术创新 ：RLH F

RLHF是ChatGPT所采用的关键技术之一。Reinforcement Learning with Human Feedback（RLHF）是强化学习 （RL）的一个扩展分支，RLHF 将人类的反馈信息纳入到训练过程，通过使用这些反馈信息构建一个奖励模型神经网络， 以此提供奖励信号来帮助 RL 智能体学习，从而更加自然地将人类的需求，偏好，观念等信息以一种交互式的学习方式 传达给智能体，对齐（align）人类和人工智能之间的优化目标，产生行为方式和人类价值观一致的系统。

“提示” 是一种提供给预训练语言模型的线索，让预训练语言模型能更好的理解人类的问题。通过在输入中增加额外的 文本（clue/prompt），以更好地利用预训练模型中的知识。  提 示 学 习 的 基 本 流 程 主 要 包 括 以 下 四 个 步 骤 ： 提 示 构 造 （ Prompt Construction ） ， 答 案 构 造 （ Answer Construction），答案预测（Answer Prediction），以及答案-标签映射（Answer-Label Mapping）。  提示学习的优势：1）对预训练模LM的利用率高；2）小样本场景训练效果提升；3）fine-tune成本大幅度下降等。

G PT4六大颠覆式技术创新：Prom pt

语境学习(in-context learning, ICL)作为一种特殊的提示形式与GPT-3一起被首次提出，并已成为一种典型的利用LL的 方法。首先，从任务描述开始，从任务数据集中选择一些示例作为演示。然后，将它们按照特定的顺序组合起来，形成具 有特殊设计模板的自然语言提示。最后，测试实例被附加到演示中，作为LLM生成输出的输入。基于任务演示，LLM可以 在不显式梯度更新的情况下识别并执行新任务。

G PT4六大颠覆式技术创新：插件

由于LLM是在大量纯文本语料库上训练成文本生成器的，因此 在非文本生成方面(例如，数值计算)表现不佳。此外，LLM的 能力局限于预训练数据，例如无法捕捉最新信息。  为解决这些问题，ChatGPT启用了外部插件的机制，帮助 ChatGPT访问最新信息，运行计算或使用第三方服务，类似于 LLM的“眼睛和耳朵”，可以广泛扩展LLM的能力范围。  2023年5月，ChatGPT更新了包括网络浏览功能和70 个测试 版插件。此更新有望彻底改变ChatGPT 的使用方式，从娱乐 和购物到求职和天气预报。  ChatGPT建立一个社区，插件开发者来构建ChatGPT插件， 然后在语言模型显示的提示符中列出启用的插件，以及指导模 型如何使用每个插件的文档。

G PT4六大颠覆式技术创新：系统工程

OpenAI 联合创始人& CEO Sam Altman表示：GPT-4是人类迄今为止最复杂的软件系统。  LLM的发展使得研发和工程的界限不再清晰。LLM的训练需要在大规模数据处理和分布式并行训练方面的广泛实践经验。 开发LLM，研究人员必须解决复杂的工程问题，与工程师一起工作或成为工程师。