从BERT到ChatGPT,北航等9大顶尖研究机构全面综述:那些年一起追过的「预训练基础模型」...

来源:新智元

【导读】2023年了,还有人从头开始训模型吗?追踪一下从Bert以来的那些预训练模型。

ChatGPT在few-shot和zero-shot场景下展现出的惊人性能,让研究人员们更坚定「预训练」是一条正确的路线。

预训练基础模型(Pretrained Foundation Models, PFM)被认为是不同数据模式下各种下游任务的基础,即基于大规模数据,对 BERT、 GPT-3、 MAE、 DALLE-E 和 ChatGPT 等预训练基础模型进行训练,为下游应用提供了合理的参数初始化。

647dd8d982859cf562ae2e31dd0e1587.png

PFM 背后的预训练思想在大型模型的应用中起着重要作用,与以往采用卷积和递归模块进行特征提取的方法不同,生成预训练(GPT)方法采用 Transformer 作为特征提取器,在大型数据集上进行自回归训练。

随着 PFM 在各个领域获得巨大成功,近几年发表的论文中提出了大量的方法、数据集和评价指标,行业内需要一篇从BERT开始一直追踪到ChatGPT发展过程的全面综述。

最近,来自北航、密歇根州立大学、理海大学、南洋理工、杜克等国内外多所知名院校、企业的研究人员联合写了一篇关于预训练基础模型的综述,提供了在文本、图像和图(graph)等领域的最近的研究进展,以及目前和未来的挑战、机遇。

0768ae86e074fb0a49722685b4a8c794.png

论文链接:https://arxiv.org/pdf/2302.09419.pdf

研究人员首先回顾了自然语言处理、计算机视觉和图形学习的基本组成部分和现有的预训练;然后讨论了其他先进的 PFM 的其他数据模式和统一的 PFM 考虑数据质量和数量;以及PFM 基本原理的相关研究,包括模型效率和压缩、安全性和隐私性;最后,文中列出了几个关键的结论,包括未来的研究方向、挑战和开放的问题。

从BERT到ChatGPT

预训练基础模型(PFMs)是大数据时代构建人工智能系统的重要组成部分,其在自然语言处理(NLP)、计算机视觉(CV)和图学习(GL)三大人工智能领域得到广泛的研究和应用。

PFMs是通用模型,在各个领域内或跨领域任务中都很有效,在各种学习任务中学习特征表示方面表现出巨大的潜力,如文本分类、文本生成、图像分类、物体检测和图分类等。

PFMs在用大规模语料库训练多个任务并对类似的小规模任务进行微调方面表现出卓越的性能,使得启动快速数据处理成为可能。

PFMs和预训练

PFMs是基于预训练技术的,其目的是利用大量的数据和任务来训练一个通用模型,在不同的下游应用中可以很容易地进行微调。

预训练的想法起源于CV任务中的迁移学习,在认识到预训练在CV领域的有效性后,人们开始使用预训练技术来提高其他领域的模型性能。当把预训练技术应用于NLP领域时,经过良好训练的语言模型(LMs)可以捕捉到对下游任务有益的丰富知识,如长期依赖关系、层次关系等。

此外,预训练在NLP领域的显著优势是,训练数据可以来自任何未标记的文本语料库,也就是说,在预训练过程中存在着无限量的训练数据。

早期的预训练是一种静态方法,如NNLM和Word2vec,很难适应不同的语义环境;后来有研究人员提出了动态预训练技术,如BERT、XLNet等。

143b672925931e7a3834899492630d77.png

PFMs在NLP、CV和GL领域的历史和演变

基于预训练技术的PFMs使用大型语料库来学习通用语义表征,随着这些开创性工作的引入,各种PFMs已经出现,并被应用于下游的任务和应用。

一个显著的PFM应用案例就是最近爆火的ChatGPT。

fdddda3195d805095aa05d90b44cc1fe.png

ChatGPT是从生成式预训练Transformer,即GPT-3.5在文本和代码的混合语料训练后,再微调得到的;ChatGPT使用了来自人类反馈的强化学习(RLHF)技术,也是目前将大型LM与人类的意图相匹配的一种最有前景的方法。

ChatGPT的优越性能可能会导致每一类PFMs的训练范式转变的临界点,即应用指令对齐(instruction aligning)技术,包括强化学习(RL)、prompt tuning和思维链(chain-of-thought),并最终走向通用人工智能。

这篇文章中,研究人员主要回顾了文本、图像和图(graph)相关的PFM,也是一个相对成熟的研究分类方法。

977ccccb87267787ae9ce6adce94ae49.png

对于文本来说,语言模型通过预测下一个单词或字符即可实现多种任务,例如,PFMs可用于机器翻译、问题回答系统、主题建模、情感分析等。

对于图像来说,类似于文本中的PFMs,使用大规模的数据集来训练一个适合多个CV任务的大模型。

对于图来说,相似的预训练思路也被用于获得PFMs,可用于诸多下游任务。

除了针对特定数据域的PFMs,文中还回顾并阐述了其他一些先进的PFMs,如针对语音、视频和跨域数据的PFMs,以及多模态PFMs。

此外,一个能够处理多模态的PFMs的大融合趋势正在出现,也就是所谓的统一(unified)PFMs;研究人员首先定义了统一PFMs的概念,然后回顾了近期研究中最先进的统一PFMs,包括OFA、UNIFIED-IO、FLAVA、BEiT-3等。

根据这三个领域现有的PFMs的特点,研究人员得出结论,PFMs有以下两大优势:

1. 只需要进行极少的微调就可以提高模型在下游任务上的表现;

2. PFMs已经在质量方面通过了考验。

与其从头开始建立一个模型来解决类似的问题,更好的选择是将PFMs应用于与任务相关的数据集。

PFMs的巨大前景激发了大量的相关工作来关注模型的效率、安全性和压缩等问题。

这篇综述的特点在于:

  • 研究人员跟踪了最新的研究成果,对PFM在NLP、CV和GL中的发展进行了扎实的总结,讨论并提供了关于这三个主要应用领域中通用的PFM设计和预训练方法的思考结果。

  • 总结了PFMs在其他多媒体领域的发展,如语音和视频,还进一步讨论了关于PFMs的更深层次的话题,包括统一的PFMs、模型效率和压缩,以及安全和隐私。

  • 通过对各种模态下不同任务的PFMs的回顾,讨论了在大数据时代对超大型模型未来研究的主要挑战和机遇,将引导开发新一代基于PFMs的协作和交互智能。

参考资料:

https://arxiv.org/abs/2302.09419

714c7db0fb3ef3acff96d5dccf9db889.png

分享

收藏

点赞

在看

5d53c37791fb4d3a611fb548f39fa93a.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/13847.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从BERT到ChatGPT!97页全面综述:那些年一起追过的预训练基础模型

点击下方卡片,关注“CVer”公众号 AI/CV重磅干货,第一时间送达 点击进入—>【计算机视觉】微信技术交流群 转载自:新智元 | 编辑:LRS 【导读】2023年了,还有人从头开始训模型吗?追踪一下从Bert以来的那些…

城市公交查询系统

文档 代码压缩包 摘要 出行是人类生活的基本活动之一。城市的快速发展、科技的发展以及环保意识的增强,对城市公共交通的发展趋势的快速性、舒适性、便捷性、环保等方面提出更高要求。先进的信息技术也促进了公共交通技术的发展,从而为乘客提供了良好的…

交通变革中的ChatGPT:当智能交通遇见大型语言模型

✦ 最近爆火的ChatGPT 是由 OpenAI 开发的一种大型语言模型 (LLM) ,拥有超过1750亿个参数,特别是在自然语言处理(NLP)方面有着令人印象深刻的能力。ChatGPT的出现引爆各行各业,迅速催生出各种工程领域的应用场景。 那么…

实时公交api接口-车来了公交接口-API公交接口 -如何接入

全国200城市实时精准 接口功能: 公交线路查询、公交实时位置获取、获取附近的公交数据、获取附近的地铁数据 功能申请入口 功能申请入口 功能申请入口

只用2秒,轻松获取一线所有城市公交数据!

截止发文,北上广深一共有6510条公交线路 为了获取上面的这些线路信息,我写了一个爬虫,大概用了2秒左右就搞定,真爽! 说出来你们可能不信,别着急,用代码说话,往下看👇 先给…

全国各景点微博签到打卡带经纬度坐标系数据(正文在第二部分)

正文在第二部分,可直接跳过第一段引用的凑字文章。 我是一位数据分析师,很早就开始收集微博签到数据,并且通过自己的整理和分析,发现了这些数据隐藏的巨大商业价值。在此,我想向大家推荐一下这些数据的应用和价值。 微…

“CSDN 丨CDC领航者之夜”启航 AIGC 时代,助力技术管理者打造高效能研发团队

3月25日晚,由CSDN丨上海CDC(城市开发者联盟)和阿里云联合举办的“CDC城市领航者之夜”活动成功举办。 本次活动主题是“AIGC 时代,技术管理者如何打造高效能研发团队”,吸引了近三十位上海本地企业的CTO、技术负责人和…

长按组合键键盘事件(特殊交互界面可隐藏式)

2023.6.1 星期四 长沙 天气晴。在学校毕业的事情弄得差不多了,回到实习公司继续工作并期待转正,这周有一个任务就是在软件设计过程中,设计某些具有特殊功能的交互界面,该界面仅供软件设计内部人员等特殊人群使用,因此通…

开源启智,筑梦未来!第四届OpenI/O启智开发者大会开幕

2023年2月24日,第四届OpenI/O启智开发者大会在深圳顺利开幕。 本次活动由鹏城实验室、新一代人工智能产业技术创新战略联盟(AITISA)主办,OpenI启智社区、中关村视听产业技术创新联盟(AVSA)承办,…

AI落地应用困境,技术如何转化产业价值?

今年,Chat GPT的上线引起了巨大轰动,带来了对人工智能与大数据新的关注热潮。在互联网大数据时代,“AIX”是势不可挡的大趋势。在已有技术的基础上,如何发掘AI大模型背后更多的应用场景,探索AI在商业实践上新的发展可能…

隐私计算头条周刊(3.6-3.12)

开放隐私计算 隐私计算头条周刊 专注隐私计算,释放数据价值 Focus on privacy computing & data value 01 政策聚焦 1.数据最高管理部门——国家数据局成立! 近日,根据国务院关于提请审议国务院机构改革方案的议案,组建国家数…

ChatGPT眼中的“特种兵旅游”

五一旅游季火爆收官,“特种兵旅游”风靡全国年轻人。这种旅游方式以不睡觉、不休息,在短时间内逛遍城市各个著名景点为主打,尽可能多地游览,尽可能充实行程,玩得更刺激更极限。作为年轻人的旅行选择,“特种…

城市C友会【官方牵头更多的线下交流的机会,你有怎样的期待?】

文章目录 🌟 课前小差🌟 长沙线下🌟 C友会你也可以是组织者🌟 线下交流提升价值🌟 官方与抖音合作?🌟 23年动起来🌟 写在最后 🌟 课前小差 哈喽,大家好&…

双系统重装Ubuntu20.04及系统基本配置

文章目录 前言Ubuntu20.04换源安装chrome浏览器安装OneNote安装Wechat QQ Dingtalk参考 前言 笔者从2019年9月份去长沙智能驾驶研究院开始接触ubuntu18.04,在2020年4月份做本科毕业设计的时候也来来回回重装过几次ubuntu,始终没有把自己的重装过程记录下来&#xf…

ChatGPT、新必应让我秒变大神的技巧

最近经常有朋友问我:你使用 ChatGPT 这类大语言模型吗? 当然了,我目前最常用的是「新必应」。 说一说,我为什么使用新必应,原因就是新必应会提供生成内容的来源,这有利于我去自己判断并纠错。 我们都知道&a…

【Springboot系列】springboot扩展点大整理,赶紧收藏起来

🤵‍♂️ 个人主页:香菜的个人主页 ✍🏻作者简介:csdn 认证博客专家,游戏开发领域优质创作者,华为云享专家,2021年度华为云年度十佳博主,2021年度csdn博客之星十四名 🐋 希望大家多多…

GitHub Copilot Labs 体验「收手吧,外面全是 ChatGPT」

本文正在参加 ✍🏻 技术视角深入 ChatGPT 征文活动 相信大家或多或少都体验过了 ChatGPT,或者更进一步,在 IDE 中也装上了对应的插件 不过真正在 coding 中用上的频率有多高呢?可能大多数人都只是尝个鲜然后就忘了,至…

最新ChatGPT GPT-4 NLU实战之文档问答类ChatPDF功能(附ipynb与python源码及视频)——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册(五)

目录 前言最新ChatGPT GPT-4 自然语言理解NLU实战之文档问答类ChatPDF功能引言ChatGPT 接口Qdrant数据库Embedding存储核心代码测试 其它NLU应用及实战相关文献 参考资料其它资料下载 前言 最近,研究人员开始探索使用ChatGPT来进行文档问答(QA&#xff…

最新ChatGPT GPT-4 自然语言理解NLU与句词分类技术详解(附ipynb与python源码及视频讲解)——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册(四)

目录 前言最新ChatGPT GPT-4 自然语言理解NLU与句词分类技术详解1. NLU基础1.1 句子级别的分类1.2 Token级别的分类 2. 相关API2.1 LMAS GPT API2.2 ChatGPT Style 相关NLU应用及实战相关文献 参考资料其它资料下载 前言 自然语言理解(NLU)是人工智能&a…

新手小白利用chatgpt解决kali网络配置问题

在启动卡kali的时候发现没有网络 通过ifconfig -a发现没有获取到ip 经过一番查询,尝试用dhclient eth0去手动获取ip,发现成功了 但是每次重启kali都要手动获取一遍ip太麻烦,想着问题还是出在配置文件这里,无奈于小白不懂原理&…