ChatGPT发展与技术基础

一、ChatGPT发展

【ChatGPT——GPT3.5】

诞生于:2022 年 11 月

类型:对话场景的大语言模型

特点更贴近人的方式与使用者互动;在理解人类意图、精准回答问题、流畅生成结果方面远超人类预期

功能可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求,同时拥有惊艳的思维链推理能力和零样本下处理问题能力。

热度据瑞银数 据,ChatGPT 产品推出 2 个月后用户数量即过亿,而上一个现象级应用 TikTok 达到 1 亿用户花费了 9 个月时间。

能力强大的上下文连续话能力 :ChatGPT 可以实现几十轮连续对话,能够比较准确地识别省略、指代等细粒度语言现象、记录历史信息,而且似乎都可以保持对话主题的一致性和专注度。

        智能的交互修正能力:无论是用户更改自己之前的说法还是指出ChatGPT的回复中存在的问题,都能够捕捉到修改意图,并准确识别出需要修改的部分,最后做出正确的修改。

【ChatGPT——GPT4.0】

诞生于:2023年 3 月

类型:对话场景的大语言模型

特点具备多模态能力,可以同时支持文本和图像输入

         支持的文本输入数量提升至约 32000 个 tokens,对应约 2.5 万单词。

性能

  1. 理解/推理/多语言能力增强。
  2. 理解能力显著增强,可以实现“看图说话”。
  3. 可靠性相比 GPT3.5 大幅提升 19%
  4. 对不允许和敏感内容的错误反应显著下降。

二、ChatGPT技术基础

ChatGPT由生成式预训练模型(Generative Pretrained Transformer,GPT)GPT-3.5 微调而来,在GPT-3.5的基础上,引入了基于人类反馈的强化学习技术(Reinforcement Learning from Human Feedback,RLHF)对模型进行微调。

参考:ChatGPT 为代表的大模型对信息资源管理的影响

ChatGPT 的能力来源于:大规模预训练 + 指令微调 + 基于人类反馈的强化学习

1、通过大规模的预训练,通过让拥有 1750 亿参数的大模型去学习包含 3000 亿单词的语料,大模型已经具备了基础能力。

大模型基础能力:语言生成、情景学习(in-context learning,遵循给定的示例为新的测试应用生成解决方案)、世界知识(事实性知识和常识)、指令遵循(Instruct following)、思维链(Chain of thought)可逐步解决问题。

2、通过指令微调(Instruction tuning),帮助大模型“解锁”特定领域的能力如遵循指令来实现问答式的聊天机器人,或泛化到其他新的任务领域。

3、基于人类反馈的强化学习(RLHF,Reinforcement Learning with Human Feedback)则让大模型具备了和人类“对齐”的能力,即给予提问者详实、公正的回应,拒绝不当的问题,拒绝其知识范围外的问题等特性。

2.1 大规模的预训练

ChatGPT基于Transformer进行特征提取,采用Decoder-Only方式,由两阶段到一阶段:单向语言模型预训练+zero shot/ few shot prompt/ Instruct。

解释一下GPT的含义:生成式预训练(Generative Pre-Train,GPT)。

Transformer 结构由编码器和解码器构成,而单独基于编码器或者解码器均可构建大语言模型,因此业内形 成三类大模型路线:
  • Decoder-Only(仅解码器)——GPT
  • Encoder-Only(仅编码器)——谷歌的Bert、Deberta
  • Encoder-Decoder(编码器-解码器)——Meta的Bart、T5、ChatGLM

 采用 Decoder-Only 的有 GPT 等,其采用“预测下一个单词”的 方式进行预训练,之后通过指令微调等实现特定领域功能的激发。

采用 Encoder-Only 的有谷歌的 Bert、微软的 Deberta 等,其采用 “完形填空”式的预训练,再根据所需的应用领域用少量标注过的数据进行 Fine-tuning(微调)。

采用Encoder-Decoder 架构的模型如谷歌的 T5、Meta 的 Bart、清华大学的 ChatGLM 等。

大模型预训练:

 

 参考:A Survey of Large Language Models》(Zhao Wayne Xin 等)、开源证券研究所

2.2 模型微调

模型微调将赋予模型在特定领域的能力,预训练好的基础模型进行微调:

  • 1、采用人工标注好的数据来训练模型;
  • 2、通过人类对模型答案的排序训练一个奖励模型;
  • 3、使用奖励模型通过强化学习的方式训练 ChatGPT。其中后两个步骤称为 RLHF(基于人类反馈的强化学习)。

在 GPT4 的训练过程中,OpenAI还进一步加入了基于规则的奖励模型(RBRMs)来帮助模型进一步生成正确的回答,
拒绝有害内容。可以看出模型微调对模型最终的效果实现至关重要,玩家独特的训练和微调方法会让自己的模型形成独特的性能。

2.3 基于人类反馈的强化学习

基于人类反馈的强化学习(RLHF)则让大模型具备了和人类“对齐”的能力,即给予提问者详实、公正的回应,拒绝不当的问题,拒绝其知识范围外的问题等特性。

三、ChatGPT对科研思路的影响

1、资源富集的实验室会开始进一步投入大模型竞争,短期内将会以探索 RLHF 的不同方向和规模为主。

2、部分子任务的快速消失和被整合。大量之前存在的子任务/小任务会并入大任务,构造有监督数据集并微调不再是小任务的第一选择。大模型无法取得好结果的小任务将成为研究热点。

3、跨模态知识的挖掘自监督学习将成为新的热点研究方向。大量基于RLHF的跨模态知识的生成方法将被快速提出并实践,相关成果将在短期内大量发表。主流热点将主要聚焦在知识的数量、质量以及运用知识的方法。

参考文献:

[1] 赵朝阳,朱贵波,王金桥.ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路[J].中国科学院自动化研究所.2023

[2] A Survey of Large Language Models》(Zhao Wayne Xin 等)

[3] ChatGPT 为代表的大模型对信息资源管理的影响

本文只供大家参考与学习,谢谢~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/4194.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatGPT为什么短时间内获得超1亿用户

最近,一款名为ChatGPT的聊天机器人彻底火出圈了。它以对话方式进行交互,以更贴近人的对话方式与使用者互动,可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求。 程序员用它写代码修Bug;学生用它写论文、交作业&#…

使用chatGPT实现数字自增动画

num-auto-add:数字自增动画 序言 我们经常在一些好的网站上遇到数字自增的动画效果,为用户提供了更加丰富的交互体验,看起来非常酷。 我之前也有写过,为了方便以后使用,打算将它优化,并上传到npm中。 首…

上市即销售一空,紧急加印 | ChatGPT之父 Sam Altmam强烈推荐的神书!

解密ChatGPT,第一本诠释ChatGPT运作方式的大师级著作来了❗Wolfram Research软件公司创始人兼首席执行官斯蒂芬沃尔弗拉姆著作OpenAI CEO、ChatGPT之父 Sam Altman强烈推 《这就是ChatGPT》系列专场直播 点击预约

ChatGPT之父撰文:《万物摩尔定律》出现,这场革命将创造惊人的财富

来源:机器之能 参考链接https://moores.samaltman.com/ 近日,「ChatGPT之父」Sam Altman在社交媒体称, 一个全新的摩尔定律可能很快就会出现,即宇宙中的智能数量每18个月翻一番。 值得一的是的Sam Altman在担任OpenAI CEO之后&…

李开复亲自带队,打造AI 2.0时代的平台,不仅仅是中文版ChatGPT!

来源:量子位 李开复突然宣布筹办新公司,目标大模型领域。 新公司Project AI 2.0,正式开启团队组建。 要做啥? 新公司希望打造一个平台,一个生产力应用的生态。 Project AI 2.0不仅仅要做中文版ChatGPT。AI 2.0不仅仅是…

商业版ChatGPT单价骤减9成;支付宝启动“支付芯计划”;有专家认为,到 2035 年人类可能会与AI争夺控制权丨每日大事件...

‍ ‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 企业动态 支付宝启动“支付芯计划” 3月2日,阿里巴巴平头哥对外公布了生态计划:面向芯片开放社区的15万名开发者,平头哥首度推出在线学习台“RISC-V学院计划”,鼓励伙伴参与…

为什么程序员需要ChatGPT,为什么这很朋克!?

作为一名CSDN大博主,今天我来分享一下我的观点。 为什么程序员需要ChatGPT,为什么这很朋克? 让我们来一起探讨一下。 首先,程序员需要ChatGPT的原因有很多。 在技术领域里,新技术和新概念层出不穷,人们需要…

CV界的chatgpt出现——Segment Anything能分割万物

目录 一、前言(1)弱人工智能(Weak AI)(2)强人工智能(General AI)(3)超人工智能(Super AI) 二、SAM的一些介绍2.1 模型的结构是什么&am…

十个角度带你读懂百度财报:ChatGPT真是全村人希望吗?

北京时间2月22日,百度发布了截至2022年12月31日的第四季度及全年未经审计的财务报告。2022年,百度实现营收1236.75亿元,归属百度的净利润(非美国通用会计准则)206.8亿元,同比增长10%。 第四季度&#xff0c…

全面接入:ChatGPT杀进15个商业应用,让AI替你打工

智东西. 智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。 ChatGPT狂飙160天,世界已经不是两个月前的样子。 文|李水青 编辑|心…

ChatGPT访问量或现负增长 市场担忧“人工智能泡沫”

中国青年网|2023-07-03 14:05:02网站流量监测服务商Similarweb的数据显示,今年以来,ChatGPT访问量1月份的环比增长率为131.6%,此后逐月下降。5月时,这个数字已经跌至2.8%,预计6月将会出现环比负增长的情况。 ​ 不仅是…

AIGC和ChatGPT推进百度、阿里、腾讯、华为大模型技术创新

AIGC | PC集群 | PC Farm | GPU服务器 生成式AI | Stable Diffusion | ChatGPT 2022 年 12 月,OpenAI 推出了 ChatGPT,这是一种高性能计算的大型语言生成模型。它的出现推动了人机对话技术的发展,并在网络上引起了极大的关注。目前&#xff…

《花雕学AI》解锁ChatGPT潜力!183个最佳提示语,助您充分利用人工智能技术

随着机器学习和自然语言处理技术的不断进步,人工智能在各个领域的应用越来越广泛。ChatGPT(Generative Pre-trained Transformer)是一个强大的自然语言生成模型,它可以帮助我们生成高质量的文本内容。本文为你列举了 183 种可能的…

属于 PingCAP 用户和开发者的 2022 年度记忆

2022 年,我们一起穿越了许多荆棘时刻,面对着前所未有的不确定性。在这些挑战面前,我们发现技术和开发者扮演了重要角色。 技术为我们提供了穿越周期的桥梁,开发者帮助我们更好地应对挑战,解决问题并赋予这个世界更多创…

FPGA学习笔记-1 FPGA原理与开发流程

1 初识FPGA 文章目录 1 初识FPGA1.1 基本认知1.1.1 什么是FPGA?1.1.2 什么是HDL?什么是Verilog?1.1.3 硬件开发与软件开发1.1.4 FPGA与其他硬件的对比1.1.5 FPGA优势与局限性1.1.6 FPGA的应用1.1.7 FPGA的学习之路 1.2 FPGA开发流程1.2.1 一般…

腾讯、字节跳动“后退”,XR“没熟透”?

配图来自Canva可画 2023,XR进入寒冬期并不是空穴来风。 就在年初,国内外的各路玩家纷纷对XR赛道进行密集调整或裁撤。先有微软砍掉整个AltSpaceVR和MRTK开发团队、Meta裁员并关停Echo VR运营;再有字节跳动旗下PICO进行“组织优化”、快手暂…

从零教你写专利之开宗明义篇

大家好,我是英子老师。作为一名知识产权专家,深耕于专利行业十余年,具有丰富的专利工作经验:曾在大型专利代理机构从事专利代理工作、专利质检工作(抽查代理机构的专利代理人的撰写质量并评分);…

上海亚商投顾:沪指震荡反弹涨1.2% 中国移动创历史新高

上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 市场情绪 大小指数今日走势分化,沪指午后涨超1%,长阳反包上周五阴线,创业板指盘中则跌逾…

2023年中国人工智能产业趋势报告

易观:尽管2022年人工智能市场发展活跃度不及预期,但2022年对人工智能产业来说无疑是令人激动的一年。年中由DALL-E 2以及其后Stable Diffusion和Midjourney等文本-图像生成模型引起公众对人工智能生成内容的大量关注,年末ChatGPT的横空出世刷…

亚马逊云科技为云端算力赋能

ChatGPT有多强?这取决于这个问题提出的时间。一个月以前,这可能还是个问题。但是,当ChatGPT连续创造纪录、并不断颠覆人们认知的现在,这已经不是个问题了。真正的问题是,ChatGPT如何变得这么强? 有人做过统…