ChatGPT是一个生成型预训练变换模型（GPT），使用基于人类反馈的监督学习和强化学习在GPT-3.5之上进行了微调。这两种方法都使用了人类训练员来提高模型的性能, 通过人类干预以增强机器学习的效果，从而获得更为逼真的结果。在监督学习的情况下，模型被提供了这样一些对话, 在对话中训练师充当用户和AI助理两种角色。在强化步骤中，人类训练员首先对模型在先前对话中创建的响应进行评级。这些级别用于创建“奖励模型”, 使用近端策略优化（PPO）的多次迭代进一步微调。这种策略优化算法比信任域策略优化（trust region policy optimization）算法更为高效。

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。我属于既惊喜又惊醒的那一批，也是典型的中国人，中国人善于自我反思，于是开始反思，而这篇文章正是反思的结果。目前规模最大的LLM模型，几乎清一色都是类似GPT 3.0这种“自回归语言模型+Prompting”模式的，比如GPT 3、PaLM、GLaM、Gopher、Chinchilla、MT-NLG、LaMDA等，没有例外。

本资源整理了有关 ChatGPT、GPT 和大型语言模型 (LLM)的必读论文、博客、工具、数据集、开源项目等资源，需要自取。

资源整理自网络，下载及获取见源地址：https://github.com/cedrickchee/chatgpt-universe

内容截图