【ChatGPT背后的技术演进】

ChatGPT背后的技术演进

1.自然语言处理的发展历史回顾

自然语言处理(Natural Language Processing, NLP) 作为人工智能的 重要研究方向,旨在帮助计算机理解、解释和运用人类语言。
回顾 NLP 的主要发展历程,可大致分为三个阶段:
1)上世纪 80 年代之前, 人工智能开始萌芽,基于规则的语言系统占据主导;
2)80 年代之后, 从机器学习的兴起到神经网络的引入,带动了 NLP 的快速发展和商业 化;
3)2017 年至今,基于 Attention 注意力机制构建的 Transformer 模型开启了大语言模型时代。

在这里插入图片描述

第一阶段:

基于规则的语言系统。早在上世纪 50 年代前后,人工智 能就已经诞生,1956 召开了达特茅斯会议,首次正式提出了“人工智 能”。1980 年,自然语言处理的分为了两大阵营,分别为基于语言规 则的符号派和基于概率统计的随机派,而当时基于规则方法的势头明 显强于基于概率统计的势头,因此当时大多数 NLP 系统都使用复杂 的逻辑规则,能够处理包括字符匹配、词频统计等一些简单的任务。 同时在这一时期,也产生了一些机器翻译以及语言对话的初级产品, 比较著名的是 1966 年 MIT 发布的世界上第一台聊天机器人 Eliza, Eliza 能够遵循简单的语法规则来实现交流。但总体来看,这一时期 NLP 领域形成的成果还无法商业化,包括机器翻译的成本还是远高于 人工翻译,而且还无法与人真正实现基本的对话。

第二阶段:

从机器学习到神经网络。1980 年美国的卡内基梅隆大学召 开了第一届机器学习国际研讨会,标志着机器学习在全世界兴起,而 自然语言处理也逐渐走向纯粹的统计学。90 年代以后,神经网络模型 被引入到 NLP 领域,其中最著名的两个神经网络模型为循环神经网络 (Recurrent Neural Network, RNN)和卷积神经网络(Convolutional Neural Networks,CNN),特别是 RNN 因其处理序列数据的特性, 成为了大部分 NLP 模型的主流选择。2000 年后,一方面 Multi-task learning,Word Embedding,Seq2seq 等层出不穷的新技术推动了 NLP 技术的快速进步,另一方面 NLP 逐步实现了商业化,包括机器翻译、 文本处理等商业化产品开始大量出现。

第三阶段:

基于 Attention 注意力机制构建的 Transformer 模型奠定 了大语言模型的基础。2017 年 Google 机器翻译团队发布了著名论文 《Attention is All You Need》,提出了基于 Attention 注意力机制构建 的 Transformer 模型,这也成为了 NLP 历史上的一个标志性的事件。 相较于传统的神经网络,基于 Attention 注意力机制构建的 Transformer 模型在提升了语言模型运行的效率(效率更高),同时能够更好的捕 捉语言长距离依赖的信息(效果更好)。2018 年 OpenAI 公司的 GPT 以及 Google 公司的 BERT 均是基于 Attention 注意力机制与 Transformer 而构建,而 NLP 也正式进入到了大语言模型的全新阶段。

2.持续进化:从 GPT-1 到 GPT-3

在 2018 年,自然语言处理 NLP 领域正式步入了大语言模型时代, OpenAI 公司的 GPT 模型与谷歌的 BERT 模型在同年相继推出。2018 年 6 月,OpenAI 公司发布了 GPT 模型的初代版本,GPT-1 运用了 Transformer 的 Decoder 框架中 Mask Self-attention 机制,目前已经迭 代到了最新 ChatGPT 与 GPT-4,毫无疑问 GPT 模型已经成为了当前 最为强大的语言模型。在 2018 年 10 月,Google 也发布了 BERT 模型, BERT 采用了 Transformer 的 Encoder 框架中 Self-attention 机制,作为 一个拥有 3 倍 GPT 参数量的更大体量的语言模型,BERT 在当时的多 项测评以及业内影响力等方面,要领先于 GPT 的初代版本。特别是在 BERT 开源之后,包括 Facebook、百度等国内外大厂均推出了基于 BERT 之上开发的大模型,其中包括 Facebook 的 XLM、RoBERTa 模 型,以及百度的 ERINE 系列模型。

GPT-1

从 GPT 的初代版本来看,GPT-1 在训练方式上仍依赖于数据标注和 模型微调,同时 GPT-1 的语言泛化能力仍然不足,因此可以说 GPT-1 更接近于处理特定语言任务的专家模型,而非通用的语言模型。GPT-1的模型训练采取的是二段式的训练模式,第一阶段利用无监督学习进 行预训练,使用未标记的数据生成语言模型;第二阶段则根据特定的 下游任务来对模型进行人工微调,比如分类任务、自然语言推理、语 义相似度、问答和常识推理等任务。因此相较于此前 NLP 模型,GPT-1 实际上还是一个半监督式学习的语言模型。GPT-1 在多种语言任务方 面都有不错的效果,在自然语言推理、分类、问答、对比相似度的多 种测评中均超越了之前的模型。但与此同时,GPT-1 的语言泛化能力 仍然不足,无法解决通用的语言任务,且和同时代的 BERT 模型比较 的话,GPT-1 在能力上要逊色于 BERT。

GPT-2

2019 年 2 月,GPT-2 正式发布,相较于 GPT-1,GPT-2 舍弃了模型 微调,构建了一个泛化能力更强的语言模型,这也开始让模型的通用 性得以充分展现。尽管此前 GPT-1 在特定任务上已经取得了不错的效 果,但实际上这类模型都需要针对单个语言任务使用大量的标注数据 和模型微调,因此也只能在解决特定语言任务时才能发挥作用。而 GPT-2 的泛化能力就体现在,能够让模型应用到不同的任务,而不需 要做专门的训练。这也更符合人脑处理语言信息的过程,因为人脑既 可以读小说,也可以看新闻,能执行不同的语言处理任务,而且这种 能力是相互关联的。而人脑在获取一个语句的信息时,这个信息是通 用的,因此我们所期望的一个通用的语言模型,既可用于分类任务, 也可以用于问答和常识推理等任务。具体而言,相较于 GPT-1 的无监 督式预训练+有监督式学习和模型微调,GPT-2 直接舍弃了微调阶段, 直接通过大规模数据进行预训练,让模型开始具备解决多种语言任务 的能力。

GPT-3

2020 年 5 月, GPT-3 正式发布,GPT-3 在训练方式上创新性的引入 了 In-context 学习(上下文学习),即在训练模型时,在输入的文本 中加入一个或多个示例,引导模型输出相对应内容。比如:“请把以 下中文翻译成英文:苹果 => apple;自然语言处理的发展历程”就是 一个典型的带有一个示例的输入文本。而 In-context 学习包含了三种 模式,分别为 Zero-shot Learning(零样本学习)、One-shot Learning (单样本学习)和 Few-shot Learning(少样本学习),zero-shot 就是 没有示例只给提示,one-shot 是只给一个范例,few-shot 则给多个范 例,实际上 zero-shot 在表达方式上已经接近于人类的语言表达方式。 In-context 学习的优点在于,输入规范化的语言模板,从人类的例子和 类比中去学习,无需进行模型微调和数据标注,特别是大量的标注数 据需要很高的人工成本。引入 In-context 学习后,从最终实际效果来 看,GPT-3 在 few-shot 上有非常强劲的表现,但同时 one-shot 和 zero-shot 的效果还不够优秀。因此对于 one-shot 和 zero-shot 效果的提 升也成为了下一代模型未来需要突破方向。
GPT-3 参数量相较于 GPT-2 提升了两个数量级,达到了 1750 亿, 数据集在处理前容量达到了 45TB,成了真正意义上的超大语言模型。 GPT-3 在许多 NLP 任务上相较于 GPT-2 及其他语言模型有更多出色 表现,特别是机器翻译、聊天问答和文本填空。同时是在海量参数和 训练数据的支撑下,GPT-3 的开始能够完成一些比较困难的 NLP 任务, 比如 GPT-3 也可以生成新闻报道和撰写文章,并且很难将机器写的文 章与人类写的辨别开来,甚至 GPT-3 在编写 SQL 查询语句,React 或 者 JavaScript 代码也有十分优异的表现。而在 GPT-3 强大能力的背后 是对算力的巨大消耗,GPT-3 的计算量达到了 BERT-base 的上千倍, 根据 OpenAI 公司披露数据,GPT-3 的训练费用超过 1200 万美元,因 此到这一阶段就能看出,大语言模型逐渐成为了只有巨头才能参与的 游戏。

3.能力突变:从 ChatGPT 到 GPT-4

在 GPT-3 取得成功之后,OpenAI 在 GPT-3 的基础上推出了多个迭代 版本,经过 2 年左右的时间,在 2022 年 11 月正式推出 ChatGPT, 随即成为了全球范围内最强大的语言模型。OpenAI 公司在 GPT-3 与 ChatGPT 之间发布了多个迭代版本,其中包括:2021 年 7 月推出了 Codex 系列;2022 年 1 月,引入 RLHF(基于人工反馈的强化学习) 得到了 InstructGPT;2022 年 4 月至 7 月,推出了融合 Codex 和InstructGPT 的 code-davinci-002 版 本 ; 5 月 至 6 月 发 布 了 text-davinci-002 版本;11 月发布了 text-davinci-003 和 ChatGPT,两个 模型都是使用了基于人类反馈的强化学习的版本指令微调模型。
ChatGPT 相较于 GPT-3,不仅是在文本生成等方面展现出了非常强 大的能力,与人类对话的智能感大幅提升,而且海量数据和参数的支 撑下,模型在逻辑推理与思维链等方面能力开始涌现。ChatGPT 可以完成许多相对复杂的语言任务,可以完成包括自动文本生成、自动问 答、多轮对话等,并且能够主动承认错误,质疑不正确的问题等。此 外,ChatGPT 还能编写和调试计算机程序。
在这里插入图片描述

目前 ChatGPT 的应用主要包括:

  1. 聊天机器人,可以使用 ChatGPT 来自由对话,使机器人 能够向用户做出自然的回应;
  2. 编写和调试计算机程序;
  3. 文学、 媒体相关领域的创作,包括创作音乐、电视剧、童话故事、诗歌和歌 词等;
  4. 教育、考试、回答测试问题;
  5. 通过 API 结构集成到其他 应用中,目前 GPT 已经集成到了 Bing 搜索和 Office 套件。

ChatGPT 在推出后仅两个月活跃用户就达到了一个亿,成为了史上用户增长速 度最快的消费级应用程序。

GPT-4

2023 年 3 月 15 日,GPT-4 正式发布,相较于之前版本的 GPT 模型, GPT-4 在各项能力上有了质的的突破,除了在推理能力、文本生成能 力、对话能力等方面有了大幅提升之外,GPT-4 迈出了从语言模型向 多模态模型进化的第一步。GPT-4 最大的变化即能够接受图像的输入, 并且能够生成文本语言,并且在看图能力方面有让人惊喜的表现的。 同时 GPT-4 的各项能力相较于此前版本也有大幅提升,包括可以处理 超过 25000 字长文本,以及写作能力的大幅提升,能够编歌曲、写剧 本、学习用户写作风格,同时包括 GRE、SAT 等考试能力也有大幅提 升。在基于机器学习模型设计的各项基准上评估 GPT-4,GPT-4 大大 优于现有的大型语言模型,以及大多数 SOTA 模型。除了英语外, GPT-4 在包括拉脱维亚语、威尔士语和斯瓦希里语等 26 种语言上的性 能甚至都优于现有语言模型的英语性能。

4.未来展望:多模态和 AIGC

全球范围来看,大模型的应用已经不局限于 NLP 领域,计算机视觉、 多模态等领域的大模型开始涌现。
目前大模型包括三类:

  1. 自然语 言处理(NLP)模型,如 Open AI 的 ChatGPT 模型,Google 的 LaMDA;
  2. 计算机视觉(CV)模型,如微软的 Florence;
  3. 多模态模型,如 Open AI 的 GPT-4 模型,Google 的 Parti。

国内互联网大厂包括百度、字节、阿里等厂商均推出了自己的大模型 或披露了相关计划。总体来看,和海外头部厂商相比,国内大模型在 工程实践上尚存在一到两年以上的差距。

百度:

3 月 16 日百度文心一言多模态大模型正式发布,具备文学创作、商业文案创作、数理 逻辑推算、中文理解和多模态生成五个领域能力;

阿里:

2021 年, 阿里推出了最大规模的中文多模态预训练大模型通义-M6,并以该模 型为底座,覆盖 NLP、多模态、计算机视觉等领域,目前该模型系列 已在超过 200 个场景中提供服务;

字节:

2022 年,字节与清华联 合提出的 DA-Transformer 大模型,超越了自回归 Transformer 的性 能;

腾讯:

2022 年,腾讯发布了混元 AI 万亿大模型,采用腾讯太极机器学习平台自研的训练框架 AngelPTM。
此外包括 360、科大讯 飞等厂商也披露了相关产品计划。

AIGC 是人工智能的重要演进方向,而生成算法、大模型与多模态三 大底层技术的突破成为了 AIGC 的质变的关键。从 2022 年以 DALL-E2、Stable Diffusion 为代表的 AI 作画系统,到 2023 年以 ChatGPT 为代表的对话机器人的出现,预示着 AIGC 底层技术的逐渐 成熟。
在这里插入图片描述

微软

微软正式推出集成了 GPT-4 的 Microsoft 365 Copilot,办公率先正式 进入 AIGC 时代。在 3 月 16 日发布的产品中,微软将生成式 AI 助手 Copilot 直接嵌入到 Office 365 全家桶中,对 Word、Excel、PowerPoint、 Outlook 和 Teams 等工具套件进行升级,具体功能体现在:
在这里插入图片描述

Word:

能够基于用户所提供的要求或信息按照格式生成草稿,可以根据要求 对文档就行修改、缩减,并能进行语气语态的修改;

Excel:

可根 据用户要求引入函数、生成模型、插入图表等,并可总结相关规律、 分析趋势;

PowerPoint:

可实现 Word 与 PPT 的自动转换,同时也 可直接生成动画切换,并可根据已有的图表内容根据要求插入幻灯片 等;

Teams:

Copilot 作为的会议助手,可以组织关键讨论要点,根 据会议内容直接生成会议摘要;

Outlook:

除了自动生成邮件外, 还可管理邮件,标注重要项目。同时,Copilot 以 Business Chat 的形 式融入 Windows 的日历、邮箱、文档等软件中,通过用户的会议记录、 邮件、聊天记录等内容自动更新工作状态。
我们认为,Copilot 的发布 预示着大模型及 AIGC 相关技术开始正式应用于办公领域,在大幅提 升用户办公效率的同时,也将推动的办公产品的快速升级迭代。

百度

文心一言正式发布,国内预训练多模态大模型迈出第一步。3 月 16 日,百度文心一言正式发布,作为国内最受关注的预训练多模态大模 型,文心一言具备文学创作、商业文案创作、数理逻辑推算、中文理 解和多模态生成五个领域能力,并通过开放 API 接口,能够为金融、 汽车、互联网、汽车等多行业提供 AIGC 的能力。文心一言的底层是 飞桨深度学习平台和文心知识增强大模型,目前,飞桨已广泛应用于 金融、工业、农业、服务业等众多行业,开发者数量达 535 万,创 造了 67 万个模型,服务了 20 万家企事业单位,培养了超 200 万 AI 人才。同时,飞桨模型库中的自然语言处理开发库 PaddleNLP, 聚合了业界优质预训练模型并提供开箱即用的开发体验,覆盖 NLP 多场景,能为文心一言提供技术积累和补充。截至 2023 年 3 月,已 经有包括互联网、媒体、金融、保险、汽车、企业软件等行业的 650 多家头部企业宣布加入百度“文心一言”生态圈。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/14239.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年的深度学习入门指南(14) - 不能只关注模型代码

2023年的深度学习入门指南(14) - 不能只关注模型代码 最近,有一张大模型的发展树非常流行: 这个图是相当不错的,对于加深对于Transformer模型编码器、解码器作用的理解,模型的开源和闭源情况等等都相当有帮助,大家使…

浅评ChatGPT在软件开发上的辅助能力(附GPT-4对比)

01 背景 ChatGPT于去年正式公测后,凭借其强大的自然语言处理能力迅速获得业内广泛关注,特别是辅助软件开发上,初步表现出了令人满意的能力,然而正当业内积极探索引入ChatGPT后的新工作模式之时,OpenAI又发布了基于GPT-…

PDF转CAD在线怎么转换?分享个在线转换的方法

从事CAD设计的小伙伴有没有经常收到PDF格式的CAD文件呢?因为使用PDF格式来传输不仅方便我们查阅,且能保证图纸内容不会因不同设备导致内容错乱,而且如果用手机查阅也不用担心不能直接打开文件!但是PDF文件不能直接进行编辑&#x…

如何转换DWG文件格式?来试试这两种方法

DWG格式的文件如何转换格式呢?从事CAD相关工作的小伙伴都知道,DWG格式文件是CAD文件里最常见的一种文件格式,与它相伴出现的还有DXF格式,如果我们想要将DWG格式文件转换成DXF格式文件来进行绘图,我们该如何转换呢&…

CAD怎么转换成JPG图片?教大家一个好用的转换方法

怎么把CAD文件转换成JPG格式的图片呢?CAD文件经常出现在建筑行业或者是一些建设行业中,因为很多的施工单位在施工前都会以CAD文件格式来绘制好图纸。但是CAD文件离开专业的设备一般不容易打开,我们想要随时随地的浏览文件是一个问题。实际上我…

1分钟告诉你cad版本转换器怎么用

部分从事设计行业的小伙伴,通常会使用CAD软件进行创作,但有些人习惯了老版本的操作界面,便可能出现他人发送图纸供你查阅时,因为版本过低打不开文件的情况。 其实要解决这一困扰并不难,我们只要将新版本的CAD图纸转换…

cad在线转成低版本的途径分享,适合新手

CAD如何转换成低版本?CAD作为一种绘图工具已经被人们所熟知,它凭借着高效率和高准确性大大提高了我们的设计质量和灵活度。哪怕非设计行业工作者现在也有不少开始学习该软件,其影响力可见一斑。然而我们在接收到他人传输过来的文件时&#xf…

CAD版本转换怎么操作?这些方法了解了吗

目前市场上有很多CAD版本。每个人的使用习惯和计算机配置都不一样。不同版本的CAD软件生成不同的CAD文件。虽然制作CAD文件的操作方法相似,但新旧版本存在兼容性问题。高版本的CAD软件可以看到低版本软件制作的设计图纸,但低版本工具看不到高版本工具制作…

CAD版本转换怎么操作?几个步骤教会你

CAD是建筑设计行业经常使用的图纸文件,但是有些图纸的格式可能会因为版本太高或者太低而打不开。不知道小伙伴们遇到这种情况是不是也束手无策呢?其实我们只需要使用一些软件来转换CAD版本即可。那么小伙伴们知道CAD版本转换怎么操作吗?还不了…

CAD快速看图怎么转换成PDF格式?这一款软件就足够

CAD快速看图怎么转换成PDF格式?CAD文件是一种比较专业的文件,一般用于设计、绘图等,这种文件需要特殊的软件才可以打开,不过对于大多数人来说,都很少会安装这种软件,因为下载和安装软件需要很多时间&#x…

CAD如何免费转换PDF格式

有的时候,我们需要将我们的CAD文件转出PDF格式的文件发给客户,以便客户打开查看,那么我们如何将CAD文件转换为PDF格式?今天和大家分享一种简单的操作方法,并且是免费试用的。 1,首先打开百度首页,用“Speedpdf”作为关…

CAD文件怎么批量转PDF格式?转换方法分享

我们如何将CAD文件批量转换成PDF格式呢?CAD文件是我们建筑、城建、道路施工等领域常用的一种设计图纸,我们将图纸设计好后,为了接收的那一方能够顺利打开文件,可以将CAD文件转换成PDF格式来发送。如果面对很多个CAD文件&#xff0…

CAD文件如何转JPG图片?分享两种转换方法

如何将一份CAD文件转换成JPG格式的图片呢?大家在拿到一份绘制好的CAD文件时,肯定是想要浏览文件,在我们没有将文件打印出来之前,离开专业的文件打开软件,是没办法随时浏览的,这时候我们可以将文件转换成JPG…

CAD版本转换怎么转?简单几步帮你解决

从事CAD相关行业的小伙伴每天都会接触到很多CAD图纸文件,有些图纸的格式会因为版本太低或者太高导致文件打不开。需要使用CAD版本转换器来转换图纸的版本。有的刚接触这一行的小伙伴就不是很明白怎么转换了,那么CAD版本转换怎么转呢?下面就和…

CAD版本怎么转换?试试这种方法

相信很多从事CAD绘图的小伙伴们对CAD版本转换应该不陌生吧,对于CAD版本通常有两种问题,一是CAD高版本可以打开低版本的图纸,相反低版本不能打开高版本图纸;二是高版本图纸转换为低版本可以直接在工具中另存为文件,就可…

CAD .NET 14.1.X DWG/ DXF, PLT 自由转换- CNC

CAD .NET CAD .NET是一个用于在 .NET 环境中开发解决方案的库。它支持 AutoCAD DWG/ DXF、PLT和其他 CAD 格式。 该库可用于广泛的领域: 在所有项目阶段使用工业图纸监控和远程控制程序数控加工数据导出为 CAD 格式使用数据库文件管理系统使用图纸的高度专业化产品…

怎么转换CAD文件的版本?分享两种转换版本的方法

CAD文件的版本怎么转换呢?大家如果有使用CAD编辑软件的小伙伴肯定遇到过CAD文件打不开的现象,出现这种情况如果排除了文件自身收到损坏之外,那么大概率就是CAD文件的版本问题了,遇到低版本或高版本的文件就会容易出现这样的问题&a…

CAD怎么转换版本?转换器轻松转换

在工程制图和设计过程中,不同的CAD版本可能会导致文件不兼容的问题。有时候,我们需要将CAD文件从一个版本转换为另一个版本,以便进行进一步编辑或与其他人共享文件。这时候,CAD转换器就是一个非常实用的工具,它能够帮助…

cad哪个版本最好用?转换软件说明

cad哪个版本最好用?自上世纪问世以来,CAD早已作为制图工作的代表性工具,设计等相关领域的工作者们基本都离不开它。其发展到现在,更新迭代了很多版本,第一次使用可能不清楚哪一版更好用,个人比较推荐的是06…

cad版本怎么在线转换?软件操作更高效

如果你需要将一个CAD文件从一个版本转换为另一个版本,但是你没有安装需要的CAD软件,你可以尝试在线CAD转换。以下是一些步骤来帮助你在线转换CAD文件。 一些可以在线转换CAD文件版本的工具包括 CAD转换器:支持在线一键转换, 多种…