当地时间周二（3月14日），人工智能研究公司OpenAI公布了其大型语言模型的最新版本——GPT-4。该公司表示：“GPT-4在许多专业测试中表现出超过绝大多数人类的水平。”在内部评估中，GPT-4产生正确回应的可能性要比GPT-3.5高出40%，而且GPT-4是多模态的，同时支持文本和图像输入功能。

OpenAI称：GPT-4比以前的版本“更大”！这意味着其已经在更多的数据上进行了训练，并且在模型文件中有更多的权重，这使得它的运行成本更高。

 

OpenAI表示，已经与多家公司合作，要将GPT-4结合到他们的产品中，包括Duolingo、Stripe和Khan Academy。GPT-4模型也将以API的形式，提供给付费版ChatGPT Plus的订阅用户。

不得不承认，最近10年是NLP技术和业务场景发展最快的黄金时期，NLP本身的技术体系被重构，所影响的业务领域也不断扩大。

【1】技术体系的改变

·中间任务的消亡

中间任务是指并不直接面向最终目标，而是为了解决最终目标的一些阶段性任务。因为神经网络的发展，诸如语法分析，词性标注，分词等特有的中间任务已经几乎无人问津。

·All you need is Money

现在完成一个NLP任务，需要的不仅是技术，而且还包括算力，数据等资源。这背后都是巨额的资金投入。

【2】使用场景的扩大

·搜广推等内容链接领域

NLP最成功的的商业化应用场景就是搜索，推荐，广告，技术的发展催生出一系列巨头（谷歌，百度，字节）

·丰富的人机交互

各类聊天机器人，语音助手，等人机交互场景趋于成熟。

·内容领域的变革

ChatGPT将会颠覆整个内容生态，内容型公司（如知乎，微博）的重点将从内容分发转变为内容生产。今后互联网将充斥着大量机器产生的内容，这对监管会带来极大的挑战！

【3】未来的发展

·大模型时代

ChatGPT的出现，标志着大模型已经突破了技术的天花板，让大模型这条技术发展路线更为坚定。

·小模型时代

大模型对于创业公司和中小企业来说无疑需要倾注大量的资源。轻量化预训练模型，给出了一个新的思考方向.

 

RLHF

RLHF（Reinforcement Learning from Human Feedback）：即，使用强化学习的方法，利用人类反馈信号直接优化语言模型。它为ChatGPT取得优秀效果的根本原因。

·长足发展

在过去几年里，基于prompt范式的AI生成模型取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。

·存在问题

为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。

·解决方案

使用强化学习的方法，利用人类反馈信号直接优化语言模型。

 

Step①

·选一个预训练语言模型作为初始模型。例如，OpenAI选择GPT-3;DeepMind 选择 Gopher 模型。

·人工精心撰写语料，作为对模型的引导：去毒性，真实性，人类偏好。

·模型在人工语料上进行精调。

Step②

·构造一个奖励模型（可与训练或随机初始化），用来学习人类的主观偏好。

·再 挑 选 一 个 数 据 集 ：Anthropic ：聊 天 工 具 ；OpenAI：调用GPT API的用户。

·人工对初始化（如GPT3）输出的结果进行排序。

·奖励模型学习人工排序的结果，以便学习到人类的偏好

ChatGPT的优缺点

InstructGPT/ChatGPT的效果非常亮眼，引入了人工标注之后，让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。

模型优点：

·真实性&无害性

InstructGPT/ChatGPT引入了不同的labeler进行提示编写和生成结果排序，并且还是在GPT-3之上进行的微调，这使得我们在训练奖励模型时对更加真实无害的数据会有更高的奖励。

·无害性

GPT-3就具有很强的Coding能力，基于GPT-3制作的API也积累了大量的Coding代码。而且也有部分OpenAI的内部员工参与了数据采集工作。

通过Coding相关的大量数据以及人工标注，训练出来的InstructGPT/ChatGPT具有非常强的Coding能力也就不意外了。

·切题性

无论回答是否正确真实，但是基本都能做到切题，这说明ChatGPT在理解人类语言上已经非常成功

 

存在问题:

·过分解读

因为labeler在进行生成内容的比较时，倾向于给给长的输出内容更高的奖励。

·容易被诱导

对有害的指示可能会输出有害的答复：例如InstructGPT/ChatGPT也会对用户提出的“AI毁灭人类计划书”给出行动方案。

·荒谬性

很有可能受限于纠正数据的有限，或是有监督任务的误导，导致它生成内容的不真实。

Chat对内容生产，内容分发的影响是颠覆性的，这其中包括了AIGC和搜索引擎。

 

ChatGPT的出现，极大促进了AIGC的发展，今后网络上将会大量出现AIGC生产出来的内容。一方面，会创造一条新的赛道和风口。另一方面，如何对生产出来的内容进行审核，识别，版权将会是一个新的问题。

对搜索引擎的影响

·搜索结果的质量提高。传统的搜索引擎通过关键词匹配来显示结果，但这种方式可能会出现一些低质量、无关或甚至有害的结果。与之相比，ChatGPT 可以理解用户的意图，并提供更加精确、个性化的结果，从而提高搜索结果的质量。

·搜索体验的改善。通过 ChatGPT 技术，用户可以使用自然语言进行搜索，而不是受限于简单的关键词匹配。这种方式使得搜索更加直接、快捷，也更加容易使用。

·跨语言搜索的增强。由于 ChatGPT 可以处理多种语言，因此它使得用户能够更容易地进行跨语言搜索。这将使得全球用户能够更快捷地找到他们需要的信息。

·产生新的搜索模式。由于 ChatGPT 技术使用对话式交互，它将产生新的搜索模式，例如语音搜索、图像搜索等等。这些新的搜索模式将使得搜索更加方便，也将使得搜索引擎的应用范围更加广泛。

——以上内容摘录自

《ChatGPT的技术发展路径和带来的影响》2023.3