伊桑CHAT GPT 训练流程 

第一步：监督学习

收集人工编写的期望模型是如何输出的数据集，

​​​​并使用其来训练一个生成模型（GPT3.5-based）

​

第二步：训练奖励模型 

收集人工标注的模型多个输出之间的排序数据集。

​​​​并训练一个奖励模型，以预测用户更喜欢哪个模型输出。

​

第三步：基于强化学习loss持续迭代生成模型。

使用这个奖励函数，以PPO的方式，微调监督学习训练出来的生成模型。

​​​​

先讲第一步： 

我们需要搜集很多很多的问题，比如什么是香蕉这样的问题。

把这些收集来的问题放到标记者这里，让他们去写这个答案究竟是什么。

然后用这个答案放到superrisemodel.

最终通过GPT3.5微调 。

预计训练了16个epochs，标注了13000多条人工标注的数据，就训练出来了一个监督学习的模型。

​​​​

第二步模型 ，尤其重要，借用奖励模型去 。

就是把这些标注出来的回答内容 ，拿去做问卷调查 ，把答案做排序。

因为我们知道每个人的想法都是不同的，只有大量的数据结合才能测出更接近人类的想法。

有了这些数据之后，再通过一个模型让他去学习怎么打分。

​

第三步  先去数据库里找到一个问题，比如写一个水獭的故事

接着就把指令喂给强化模型。那强化模型就会根据这段话写 很久很久以前....

接着这段话就会转到第二步，然后出来一个得分。这个得分就会返回去优化这个强化模型。

​他就知道当前生成时好还是不好。​​​以上