GPT-4涉及到技术重点包括那些？

下述对这些关键技术做进一步介绍：

IFT 是为了解决基础模型未遵循用户的指令时，对基础模型的微调。在基础 模型的语言建模目标不足以让模型学会以有用的方式遵循用户的指令，IFT 方法 除了使用情感分析、文本分类、摘要抽取等经典 NLP 任务来微调模型外，还在 非常多样化的数据集上向基础模型示范各种指令及输出，从而实现对基础模型的 微调[14]。指令示范主要由指令、输入和输出组成，输入是可选的，一些任务只需要指令，例如 ChatGPT 和 GPT-4 做开放式文本生成任务，当存在输入时， 输入和输出组成一个实例，给定指令可以有多个输入和输出实例。IFT 的训练数 据通常是人工编写的指令或用语言模型生成的实例，在语言模型生成中，先使用 少样本技术输入一些样本给 LM 用户提示它，然后要求 LM 生成新的指令、输入 和输出，每一轮都会从人工编写的样本和模型生成的样本中各选择一些送给模 型。

经过 IFT 的 LM 生成的结果并不一定是有帮助的或安全的，比如通过给出诸 如“对不起，我不明白”的模棱两可的或者无益的结果，为了减轻这种行为，需 要在高质量的人类标注数据上微调基础的语言模型，以提高有用性和无害性。 SFT 和 IFT 联系非常紧密，IFT 可以看作是 SFT 的一个子集，模型开发人员在开 发过程中，常把 SFT 阶段用户提高生成的安全性，而不是接在 IFT 后面提高指 令相应的具体性[13]。

RLHF 是 InstructGPT、ChatGPT、GPT-4 成功的关键之一。在 RLHF 中， 根据人类反馈来对模型的响应进行排序标注 (如，根据人类偏好选择文本简介)。 然后，用这些带标注的响应来训练偏好模型，该模型用于返回 RL 优化器的标量 奖励。最后，通过强化学习训练对话代理来模拟偏好模型。