前 言

OpenAI这家公司又放大招了，继发布GPT、GPT2和GPT3模型后，本月初发布了ChatGPT模型【也被称为GPT3.5】，结合大家的测试效果来看，该模型效果确实很震撼，在人工智能圈子引起了不小的轰动。在AI发展相对处于低谷期的今天，如此震撼的模型发布出来，确实为该行业带来一阵暖风，本文就详细解读一下该模型。

官方并没有公开ChatGPT的原始Paper，但提到 InstructGPT 是该模型的兄弟模型，因此，本文主要来解读InstructGPT模型。

相关模型解读
【GPT】Improving Language Understanding by Generative Pre-Training
【GPT2】Language Models are Unsupervised Multitask Learners
【GPT3】Language Models are Few-Shot Learners

部分测试截图

InstructGPT 模型解读

摘要

把语言模型做大并不能本质上让它们更贴合用户的意图。例如，大型语言模型可能生成不真实、有害或对用户没有帮助的输出。换言之，这些模型与它们的用户并不是对齐的 (Aligned)。本文提出了一种方法，通过使用人类反馈进行微调，使语言模型在广泛的任务中与用户意图保持一致。我们从一组由人工撰写以及通过 OpenAI API 所提交的提示 (Prompt)开始，整理了一个人工给模型作出示范的数据集，并将其应用到微调GPT-3的监督学习任务中去。然后，我们采集了模型输出的排名，并利用该数据集，结合人类反馈进行强化学习，进一步微调这个监督模型。我们将最终的模型称为 InstructGPT。在对提示分布的人类评估中，尽管参数量少了 100 倍，13 亿参数的 InstructGPT 模型表现仍要好于 1750 亿参数的 GPT-3。此外，InstructGPT 模型在提高真实性并减少有害输出的同时，在公共 NLP 数据集上表现出了最优的性能。尽管 InstructGPT 仍然会犯一些简单的错误，但我们的研究结果表明，通过人类反馈微调，将语言模型与人类意图对齐是一个有前景的方向。

引言

模型整体框架：

在“人工标注数据+强化学习”框架下，具体而言，InstructGPT的训练过程分为以下三个阶段：

• 第一阶段：冷启动阶段的监督策略模型
  靠GPT 3本身，尽管它很强，但是它很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3初步具备理解指令中蕴含的意图，首先会从测试用户提交的prompt(就是指令或问题)中随机抽取一批，靠专业的标注人员，给出指定prompt的高质量答案，然后用这些人工标注好的<prompt,answer>数据来Fine-tune GPT 3模型。经过这个过程，我们可以认为GPT 3初步具备了理解人类prompt中所包含意图，并根据这个意图给出相对高质量回答的能力，但是很明显，仅仅这样做是不够的。

• 第二阶段：训练回报模型（Reward Model,RM）
  这个阶段的主要目的是通过人工标注训练数据，来训练回报模型。具体而言，随机抽样一批用户提交的prompt(大部分和第一阶段的相同)，使用第一阶段Fine-tune好的冷启动模型，对于每个prompt，由冷启动模型生成K个不同的回答，于是模型产生出了<prompt,answer1>,<prompt,answer2>….<prompt,answerK>数据。之后，标注人员对K个结果按照很多标准（上面提到的相关性、富含信息性、有害信息等诸多标准）综合考虑进行排序，给出K个结果的排名顺序，这就是此阶段人工标注的数据。接下来，我们准备利用这个排序结果数据来训练回报模型，采取的训练模式其实就是平常经常用到的pair-wise learning to rank。对于K个排序结果，两两组合，形成 $\left(\genfrac{}{}{0ex}{}{k}{2}\right)$ 个训练数据对，ChatGPT采取pair-wise loss来训练Reward Model。RM模型接受一个输入<prompt,answer>，给出评价回答质量高低的回报分数Score。对于一对训练数据<answer1,answer2>，我们假设人工排序中answer1排在answer2前面，那么Loss函数则鼓励RM模型对<prompt,answer1>的打分要比<prompt,answer2>的打分要高。归纳下：在这个阶段里，首先由冷启动后的监督策略模型为每个prompt产生K个结果，人工根据结果质量由高到低排序，以此作为训练数据，通过pair-wise learning to rank模式来训练回报模型。对于学好的RM模型来说，输入<prompt,answer>，输出结果的质量得分，得分越高说明产生的回答质量越高。

• 第三阶段：采用强化学习来增强预训练模型的能力
  本阶段无需人工标注数据，而是利用上一阶段学好的RM模型，靠RM打分结果来更新预训练模型参数。具体而言，首先，从用户提交的prompt里随机采样一批新的命令（指的是和第一第二阶段不同的新的prompt，这个其实是很重要的，对于提升LLM模型理解instruct指令的泛化能力很有帮助），且由冷启动模型来初始化PPO模型的参数。然后，对于随机抽取的prompt，使用PPO模型生成回答answer， 并用上一阶段训练好的RM模型给出answer质量评估的回报分数score，这个回报分数就是RM赋予给整个回答（由单词序列构成）的整体reward。有了单词序列的最终回报，就可以把每个单词看作一个时间步，把reward由后往前依次传递，由此产生的策略梯度可以更新PPO模型参数。这是标准的强化学习过程，目的是训练LLM产生高reward的答案，也即是产生符合RM标准的高质量回答。

如果我们不断重复第二和第三阶段，很明显，每一轮迭代都使得LLM模型能力越来越强。因为第二阶段通过人工标注数据来增强RM模型的能力，而第三阶段，经过增强的RM模型对新prompt产生的回答打分会更准，并利用强化学习来鼓励LLM模型学习新的高质量内容，这起到了类似利用伪标签扩充高质量训练数据的作用，于是LLM模型进一步得到增强。显然，第二阶段和第三阶段有相互促进的作用，这是为何不断迭代会有持续增强效果的原因。