1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

中国的AI内行顶级盛会——2021北京智源大会又来了。

每年的智源大会参会阵容都非常豪华,今年也不例外,包括Yoshua BengioDavid Patterson两位图灵奖得主在内的200多位学者将一起对AI的技术和应用进行深度探讨。

Bengio更是带来了他的System2深度学习理论最新进展。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

但是在今年的智源大会上,最重磅的“明星”却不是这些学者。

因为全球最大的预训练模型的纪录,被中国团队刷新了。

真正的主角是它!

 

 

全球最大预训练模型“悟道2.0”发布

 

就在刚刚,北京智源人工智能研究院发布了“悟道2.0”,达到1.75万亿参数,超过之前由谷歌发布的Switch Transformer,成为全球最大的预训练模型。

今年3月22日,智源才发布了“悟道1.0”,这是由智源研究院学术副院长、清华大学教授唐杰领衔,来自北大、清华、中科院等单位的100余位AI科学家团队联合攻关完成。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

2个多月后,悟道进化到2.0,模型规模爆发级增⻓,而参数越大,意味着越强的通⽤⼈⼯智能潜能。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

“悟道2.0”不仅仅是个语言模型,它是一个全能选手,一统文本和视觉两大领域,在问答、绘画、作诗、视频等任务中正在逼近图灵测试。

 

“悟道2.0”一举在世界公认的9项Benchmark上获得了第一的成绩。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

尤其值得⼀提是,这个世界最⼤万亿模型,完全基于国产超算平台打造,其基础算法是在中国的神威超算上完成模型训练。

对于AI研究者和企业来说,最重要的是,“悟道2.0”和GPT-3小批量付费使用的模式不同,将向AI社区和企业公开预测模型,并从今天起公开API,所有人都可以免费申请使用。

 

悟道背后

那么,为什么新⼀代“全球最⼤”预训练模型,会出现在智源“悟道”攻关团队?

智源之所以能打造出1.75亿参数“悟道2.0”,是因为拥有开创性的FastMoE,打破了分布式训练的瓶颈,这是实现“万亿模型”基⽯的关键。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

过往,由于谷歌万亿模型的核⼼技术MoE和其昂贵的硬件强绑定,绝⼤多数⼈⽆法得到使⽤用与研究机会。

MoE是⼀个在神经⽹络中引⼊若⼲专家⽹络的技术,能直接推动预训练模型经从亿级参数到万亿级参数的跨越,但离不不开对谷歌分布式训练框架mesh-tensorflow和定制硬件TPU的依赖。

FastMoE打破了这⼀限制,作为⾸个支持PyTorch框架的MoE系统,它简单易⽤、灵活、⾼性能,并针对神威架构进行了优化,可在国产超算上完成训练。

另外,还有两项技术赋予了悟道更为强大的能力。

一是最大的英文通用预训练模型GLM 2.0。此前,GLM首次打破BERT和GPT壁垒,开创性地以单⼀模型兼容所有主流架构。新一代模型以100亿参数量, ⾜以匹敌微软170亿参数的Turing-NLG模型,在LAMABADA填空测试中表现更优。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

二是世界最大中文多模态生成模型CogView,参数量达40亿,可直接从中文文字生成图像,在MS COCO文本生成图像任务权威指标FID上,CogView打败OpenAI今年年初发布的130亿参数的DALL·E,获得世界第一。

CogView已经和阿里达摩院合作,将这项技术用于服装设计领域。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

针对小样本学习系统,智源悟道团队提出了微调方法P-Tuning,极大缩小了少样本与全监督学习条件下微调性能的差距。

在训练大规模预训练模型时,要消耗大量的算力资源和时间,为了提升其产业的普适性和易用性,悟道团队搭建了⾼效预训练框架CPM-2:一个在编码、模型、训练、微调、推理AI全链路上的高效框架。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

最后,唐杰教授还公布了全新数据集WuDaoCorpora,这是目前全球最大的中文文本数据集(3TB)、多模态数据集(90TB)和中文对话数据集(181G)。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

 

悟出了什么?

 

智源并不只满足于技术上的突破,还要以大模型为起点,打造未来AI平台。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

悟道要成为像“电网”一样的基础设施,为AI在产业上的应用提供源源不断的动力。

大会现场举行了与美团、⼩⽶、快手、搜狗、360、寒武纪、好未来、新华社等21家企业进行战略合作的签约仪式。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

联合从行业龙头到中小创新企业,共同组建“悟道大模型技术创新生态联盟”,以模型研发和应用促进产业聚集。

如在与新华社的合作中,将大模型应用于新闻智能化转型。悟道能够进行新闻内容处理、图⽂生成、传播优化等,还具备接近⼈类的图⽂创意能力,可以作诗、 问答、创意写作。

其中,最让人期待的是“悟道”与“小冰”的梦幻联动,这两个AI今天一起打造了虚拟大学生“华智冰”。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

 

华智冰同学使用悟道大模型已经掌握了写诗、绘画、作曲等技能,接下来还要拜唐杰教授为师,进入清华唐杰实验室学习,增进自己的能力。

1.75万亿参数,刚刚智源发布了全球最大预训练模型“悟道2.0”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/44348.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VMware虚拟机扩展磁盘容量

文章目录 VMware虚拟机扩展磁盘容量1. 关闭虚拟机,设置扩展磁盘容量2. 打开虚拟机,分配扩展出来的磁盘容量2.1 使用gparted工具,删除原来的扩展分区和逻辑分区2.1.1 安装gparted2.1.2 删除逻辑分区2.1.3 删除扩展分区 2.2 修改主分区大小&…

IDEA连接虚拟机

1. 在Intellij_idea上面点击如下菜单:Tools—Deployment—Configuration… 2. 新增一台虚机,输入名称,选择SFTP协议,点击OK 3. 输入IP地址、代码路径、账号密码,点击OK 4. 点击Tools—Deployment—…

虚拟机连接本地wifi网络

虚拟机常被用作安装一个系统,用来做系统开发,这个系统可以是红帽、Ubuntu、win10。毋庸置疑,虚拟机联网很有必要,通过网络你可以访问网页、下载资料、安装软件等。本人就为了联网折腾了不少时间,参考了不少资料&#x…

虚拟机Ubuntu安装VMware Tools

1.点击:虚拟机->安装VMware Tools 2.安装完成之后,打开文件夹,点击左侧VMware Tools,里面有压缩文件,将文件复制到home中,便于下面操作 3.打开终端(首页同时按住Ctrlaltt), 切换为root用…

解决虚拟机突然断网问题

被这个问题折磨了许多次,花费了很多时间,某一次突然就顺利解决了,以往都是只能卸载了重装一遍。其实最主要的操作,也包含在重装后设置网络的过程步骤中。不清楚我的经验是不是个例哈,没试验过是否适用所有情况&#xf…

虚拟机黑屏解决方法

在VM虚拟机操作过程中经常遇到黑屏的问题。而且黑屏一旦发生就会无法关闭和启动。 我在虚拟机安装中遇到很多次黑屏问题现在给兄弟们一些我成功的网上解决的办法。 第一种 WINR CMD(管理员模式运行) 输入netsh winsock reset 重启电脑 第二种 &#xf…

虚拟机无法上网的原因

原因之一:网关不一致。保证 WMare虚拟机、linux镜像系统 和 本地windows,三者网关一致即可 虚拟机网关配置,如下图所示 linux镜像系统配置网络中配置网关,如下图所示 本地windows网关配置,如下图所示 原理:镜像系统如果不能上网,需要借…

虚拟机JDK安装方法

虚拟机安装JDK 1、安装WinSCP 2、查找虚拟机IP(指令:ifconfig) 3、登录 4、找到JDK文件,拖入虚拟机opt文件夹内 5、进入虚拟机,使用指令cd切换文件夹路径,使用指令cd /opt切换到opt文件夹,再用ll查看JDK压缩包是否…

虚拟机如何进入PE系统

1、首先需要先制作一个iso PE系统 2、在虚拟机点击cd/dvd选项,选择刚制作的PE系统的 3、 选择:虚拟机》电源选项》打开电源时进入固件 4、进入boos系统后,选择boot》CD-ROM Drive》按 号键把CD-ROM Drive的位置调到第一位。按f10保存关机&a…

ENSP和虚拟机如何连接

在这里我们假设你已经安装好了vmaware和ensp。 首先,查看你的虚拟机绑定的虚拟网卡名称,一般测试环境下,我们绑定两个虚拟网卡,一个是nat,用于虚拟机上网;一个配置成dhcp动态获取或者静态IP,用…

VMware打开虚拟机

打开VMware虚拟机 自己电脑打开别人配置好的虚拟机步骤 1.打开vmware工具,选择虚拟网络编辑器。 2,进入虚拟网络编辑器,选择nat模式,记住自己的子网ip地址。 3.点击NAT设置,查看自己的NAT网关,我的是192…

安装windows server2008虚拟机

第一步:新建虚拟机 第二步:选择想安装的虚拟机版本 第三步:选择下载路径 第四步:分配虚拟机内存 第五步:编辑虚拟机设置并选择CD 第六步:选择虚拟机镜像 第七步:选择中文语言并继续安装 第八步&…

android的vmos虚拟机,vmospro虚拟机

游戏介绍 vmospro虚拟机是长时间受到用户推崇的虚拟软件,在vmospro虚拟软件中,整个模式从最初的VMOS(虚拟主机)进行了更新,该版本从根本上提供自定义ROM的权利,不再限制用户,鼓励用户自发更换ROM,发挥属于自…

随机硬件虚拟机修改教程

游戏虚拟机主要用于搬砖,那么就需要克隆多开以此实现收益最大化,但是多开又会有一个问题,克隆的显卡,硬盘,主板都是一样的,,这样就导致游戏容易封号。接下来这个教程就是实现显卡,硬…

win7虚拟机安装

第一步:右键新建虚拟机,选典型 第二步:选择想要安装的系统版本 第三步:将虚拟机安装在除C盘以外的硬盘中 第四步:分配磁盘大小同时将磁盘拆分为多个文件 第五步:一路下一步 第六步:将光盘映像应…

Ubuntu虚拟机更换国内清华源

使用ubuntu自带的源,下载或者更新软件默认是从国外的服务器下载,导致耗时时间非常长,所以修改为国内源,加快下载与更新速度。 查看ubuntu版本 切记!一定要查看对应的ubuntu版本,如果ubuntu18.04换的是ubu…

虚拟机双网卡配置

1、编辑 》 打开虚拟网络编辑器 》 更改设置 2、添加网络 3、选择要添加网络,然后点击确定 (仅主机模式),点击DHCP设置,然后注意IP地址的起始和结束地址 4、选中你要配置的虚拟机,鼠标右击,选择…

彻底删除VMware虚拟机

您是否和我一样被VMware气到了呢,您是否再也不想理VMware了呢,您是否不想再在自己电脑上看到VMware这几个英文字母了呢,来吧,跟着我的步骤,一起和VMware说拜拜吧~~~ 一. 在卸载VMware虚拟机之前,要先把与VM…

VMware 虚拟机操作命令收集

1、查看所有虚拟机列表 vim-cmd vmsvc/getallvms 2、挂起虚拟机 vim-cmd vmsvc/power.suspend 13 最后的数字为vmid,以下同理! 3、恢复或打开虚拟机 vim-cmd vmsvc/power.on 13 4、关闭虚拟机电源 vim-cmd vmsvc/power.off 13 5、关闭虚拟机操作系…

最高月薪 188 万!程序员偏爱的谷歌发大招了

程序员是公认的高收入群体,那么这个“高”具体是什么概念呢?本文罗列了Google公司内部17个薪水最高的岗位,看看在不在你的预料之内吧。 以下为译文: Google很喜欢工程师。但是,除了编程之外,Google还有很多…