GPT-3.5
GPT-3.5 系列是一系列模型，从 2021 年第四季度开始就使用文本和代一起进行训练。以下模型属于 GPT-3.5 系列：
- code-davinci-002 是一个基础模型，非常适合纯代码完成任务
- text-davinci-002 是一个基于 code-davinci-002 的 InstructGPT 模型
- text-davinci-003 是对 text-davinci-002 的改进
- gpt-3.5-turbo-0301 是对 text-davinci-003 的改进，针对聊天进行了优化
InstructGPT
以 3 种不同方式训练的 InstructGPT 模型变体：
| 训练方法模型 | 模型名字 |
|---|---|
| SFT 监督微调人类示范 davinci-instruct-beta1 | davinci-instruct-beta1 |
| FeedME 对人工编写的演示和模型样本进行监督微调，这些模型样本被人工标注者在总体质量得分上评分为 7/7 | text-davinci-001, text-davinci-002, text-curie-001, text-babbage-001 |
| PPO 使用人类比较训练的奖励模型进行强化学习 | text-davinci-003 |
SFT 和 PPO 模型的训练与 InstructGPT 论文中的模型类似。 FeedME（“feedback made easy”的缩写）模型是通过从我们所有的模型中提取最佳完成度来训练的。我们的模型通常在训练时使用最佳可用数据集，因此使用相同训练方法的不同引擎可能会在不同数据上进行训练。
ChatGPT
ChatGPT和InstructGPT是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT3.5。ChatGPT和InstructGPT在模型结构，训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，它们不同的仅仅是采集数据的方式上有所差异。
OpenAI 官网
We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests. ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response.
其实GPT-3.5-turbo* 就是ChatGPT的模型的名字。
OpenAI相关研究论文
这些是我们今天在 API 中提供的研究论文中最接近的模型。请注意，并非 API 中可用的所有模型都对应于一篇论文，即使对于下面列出的模型，也可能存在细微差异，无法准确复制论文。
| 论文 | 发表时间 | 在论文中的模型名字 | 在API中模型的名字 | 参数数量 |
|---|---|---|---|---|
| [2005.14165] Language Models are Few-Shot Learners | 22 Jul 2020 | GPT-3 175B | davinci | 175B |
| GPT-3 6.7B | curie | 6.7B | ||
| GPT-3 1B | babbage | 1B | ||
| [2107.03374] Evaluating Large Language Models Trained on Code | 14 Jul 2021 | Codex 12B | code-cushman-0013 | 12B |
| [2201.10005] Text and Code Embeddings by Contrastive Pre-Training | 14 Jan 2022 | GPT-3 unsupervised cpt-text 175B | text-similarity-davinci-001 | 175B |
| GPT-3 unsupervised cpt-text 6B | text-similarity-curie-001 | 6B | ||
| GPT-3 unsupervised cpt-text 1.2B | No close matching model on API | 1.2B | ||
| [2009.01325] Learning to summarize from human feedback | 15 Feb 2022 | GPT-3 6.7B pretrain | No close matching model on API | 6.7B |
| GPT-3 2.7B pretrain | No close matching model on API | 2.7B | ||
| GPT-3 1.3B pretrain | No close matching model on API | 1.3B | ||
| [2203.02155] Training language models to follow instructions with human feedback | 4 Mar 2022 | InstructGPT-3 175B SFT | davinci-instruct-beta | 175B |
| InstructGPT-3 175B | No close matching model on API | 175B | ||
| InstructGPT-3 6B | No close matching model on API | 6B | ||
| InstructGPT-3 1.3B | No close matching model on API | 1.3B |
其它
强化学习
通常，强化学习看起来像这样。 环境会为每个动作产生奖励
InstructGPT
