华为最新大模型来了!盘古3.0问世,千亿参数规模3万亿tokens,放话「不作诗只做事」

来源 | 量子位 | 公众号 QbitAI

终于,华为的大模型动向来了!

盘古大模型3.0,今天正式发布。

最底层的基础大模型包括100亿参数、380亿参数、710亿参数和1000亿参数四个版本,预训练使用了超3万亿tokens。

图片

但和早先的传言不同,盘古大模型3.0并非是盘古版ChatGPT,而是一个面向行业的大模型系列。

用华为自己的话来说就是:

盘古大模型,不作诗。

(而且现场全程没有cue到“生成式”这个关键词)

所以在惯例的现场演示环节,华为也都是派行业大模型出战。

比如让政务大模型判断照片中除了货车外还有哪些车辆违规,可以看到大模型标出了三辆小轿车,而且给出了原因。

图片

与此同时,可提供2000P Flops单集群的昇腾AI云服务在乌兰察布和贵安同时上线。

“千亿规模大模型具备涌现、思维链能力”

不想作诗的盘古大模型3.0,想做的事是面向行业。

这从它的架构上就可以感受到,盘古大模型3.0分为三层:

  • L0:基础大模型,包括自然语言、视觉、多模态、预测、科学计算;

  • L1:N个行业大模型,比如政务、金融、制造、矿山、气象等;

  • L2:更细化场景的模型,提供“开箱即用”的模型服务

其中L0层的基础大模型负责提供通用技能。

模型可分为自然语言大模型和多模态大模型两类。能力覆盖了对话问答、文案生成、图像生成、图像理解等。

图片

预训练数据中包含了超过3万亿tokens,使用了超过1000+TB数据训练,指令微调数据也在千万级

图片

并且盘古基础大模型是一个可伸缩、高可扩展的稀疏-稠密语言大模型。

千亿级别稠密模型已经具备涌现、思维链能力,构成了底座;通过稀疏化使其成为不同“行业专家”,这样可使得推理过程更加高效。

图片

L1层由N个行业大模型构成。

在这方面,华为使用行业公开数据训练了多个行业通用大模型,如政务、金融、制造、矿山、气象等。

比如气象方面,盘古气象大模型的最新成果刚刚登上Nature正刊,只需要1.4秒就能完成24小时全球气象预报。

此外,行业可以换也能基于自有数据在L0、L1基础上,训练自己的专用大模型。

图片

L2层则提供更加细化场景的模型,主打“开箱即用”。可专注于政务热线、网点助手、先导药物筛选、传送带异物检测、台风路径预测等具体行业应用或特定业务场景。

据了解,为快速适配、快速满足行业需求,盘古大模型采用完全的分层解耦设计。

在L0和L1大模型的基础上,华为云还提供了大模型行业开发套件,通过对自有数据二次训练,就可以拥有自己的专属行业大模型。

同时,根据客户不同的数据安全与合规诉求,盘古大模型还提供了公用云、大模型云专区、混合云多样化的部署形态。

华为在最底层构建了以鲲鹏和昇腾为基础的AI算力云平台,以及异构计算架构CANN、全场景AI框架昇思MindSpore,AI开发生产线ModelArts等,能为大模型开发和运行提供分布式并行加速,算子和编译优化、集群级通信优化等关键能力。

基于华为的AI根技术,大模型训练效能可以调优到业界主流GPU的1.1倍。

图片

华为云2000P Flops单集群的昇腾AI云服务在乌兰察布和贵安同时上线。

披露数据表明,昇腾云AI服务的千卡训练30天长稳率达到90%,断点恢复时长不超过10分钟。

除了支持华为的AI框架Mindspore外,还支持Pytorch,Tensorflow等主流AI框架,框架中的90%算子,都可以通过华为的迁移工具从GPU平滑迁移到昇腾。

例如,美图仅用30天就将70个模型迁移到了昇腾,同时华为云和美图团队一起进行了30多个算子的优化以及流程的并行加速,AI性能较原有方案提升了30%。

气象大模型登上Nature正刊

在展示盘古大模型3.0的基础能力后,华为也对盘古大模型的一系列行业应用做了数据披露。

最近,盘古气象大模型登上Nature的消息刷屏了。

据悉,盘古气象大模型是首个精度超过传统数值预报方法的AI预测模型,同时预测速度也有大幅提升。

原来预测一个台风未来10天的路径,需要在3000台服务器的高性能计算机集群上花费5小时进行仿真。现在基于预训练的盘古气象大模型,通过AI推理的方式,研究者只需单台服务器上单卡配置,10秒内就可以获得更精确的预测结果。

图片

在药物研发领域,原来一款新药研发平均需要10年时间、花费10亿美金。盘古药物分子大模型助力西安交通大学第一附属医院刘冰教授团队发现全球40年来首个新靶点、新类别的抗生素,并将先导药物研发周期缩短至1个月、研发成本降低70%。

在铁路领域,盘古铁路大模型能精准识别现网运行的67种货车、430多种故障,无故障图片筛除率高达95%,成为货运列检员身边有力的数字助手,将列检员从每日数百万张的“图海”检测中解放出来。

图片

华为常务董事、华为云CEO张平安给最新动向,做了最凝练的总结:

盘古大模型要让每个行业、每个企业、每个人都拥有自己的专家助手,让工作更高效更轻松。

我们始终坚持AI for Industries的战略,在深耕行业的道路上不断前行。我坚信大模型将重塑千行百业,而每一个开发者,都将是改变世界的英雄。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/58492.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Nat Biotechnol -- 生成式AI进军更高效价抗体

类似于ChatGPT的语言模型已被应用于改进针对COVID-19、埃博拉和其他病毒的抗体疗法。 代码看不懂?ChatGPT 帮你解释,详细到爆! 单克隆抗体(Y形)与SARS-CoV-2病毒纤突蛋白(红色)上的结合位点&…

什么是科技大爆炸?2023年星云虚境绝对是AI人工智能行业大拿

什么是科技大爆炸?2023年绝对是AI人工智能发展最爆发那一年,自从315chatgpt发布,你看看一夜之间市面上出来了多少的AI工具,在普通人还在嘲笑现在的AI是个智障的时候,聪明的人已经使用这些工具极大的提高自己的生产力了…

华为最新大模型来了!盘古3.0问世,千亿参数规模3万亿tokens,放话「不作诗只做事」...

明敏 发自 东莞量子位 | 公众号 QbitAI 终于,华为的大模型动向来了! 盘古大模型3.0,今天正式发布。 最底层的基础大模型包括100亿参数、380亿参数、710亿参数和1000亿参数四个版本,预训练使用了超3万亿tokens。 但和早先的传言不同…

Unity实现简单卡牌游戏框架

Unity卡牌游戏教程(一)简单框架 前言 项目的初衷是以项目形式串起unity各种零散知识,语言风格较详细(啰嗦) 需求 先来看需要实现什么东西 构建卡牌对象 简单的UI系统 UI和场景的简单交互 前期准备 打开unity&…

卡牌游戏算法原理、代码

1、原理 卡片游戏算法桌上有一叠牌,从第一张牌(即位于顶面的牌)开始从上往下依次编号为1~n。当至少还剩两张牌时进行一下操作:把第一张牌扔掉,然后把第二张牌放到整叠牌的最后,以此往复。输入卡牌数量n&am…

Unity制作卡牌游戏

我的第一个unity项目是卡牌游戏,是看着慕课网以及用同学分享的项目资源跟着老师做的。慕课网课程的链接,希望老师允许我把课程的链接放在这里,宁静方致远 分享的项目,内含素材,希望他们可以同意把他们的链接放在这里。…

百度搜索框搜索时显示或者隐藏历史搜索记录

1.首先进入百度首页 2.找到设置下的搜索设置,如下图所示 3.点击“搜索设置”会出现如下图的弹框,有搜索历史记录的设置,“显示”或者“不显示”。

在谷歌搜索框内不显示搜索记录

在谷歌搜索框内不显示搜索记录 在不删除谷歌历史浏览记录的前提下,不主动显示浏览记录。 操作步骤如上图所示,在数据与个性化中找到网络与应用活动记录,点进去,然后关闭 推荐用edge,可以轻松切换用户,管理…

google 输入栏不显示历史搜索记录方法

网上看了很多回答,试了都不起作用。这里记录一下我的方法,供大家参考。 第一步:在google输入栏输入:chrome://version 查看浏览器信息。其中有个个人资料路径 第二步:在文件夹中找到该路径,路径下有个His…

企业数据分析分四步走:描述、诊断、预测、指导

谈到数据,大家都喜欢拿大数据说事儿,精准营销、客户管理、企业洞察,但事实上,对于大部分中小型企业来说,把创立至今多少年来各个渠道积攒下来的数据统合到一起,也仅仅只是小数据而已。 这些数据,选用合适的工具,可以非常轻松的管好。不过,在选工具之前可以先问自己这…

什么是RLHF

什么是RLHF? **字面翻译:**RLHF (Reinforcement Learning from Human Feedback) ,即以强化学习方式依据人类反馈优化语言模型。 强化学习从人类反馈(RLHF)是一种先进的AI系统训练方法,它将强化学习与人类…

ChatGPT,我跟不动了,你呢?

周末扒出来一个 10 多年前的老系统,搁现在绝对得老破旧一个,如果要升级改造,绝对不如重写速度快。打开编辑器,从 JSP 翻到 XML 配置文件,基本还算看得懂,不过还是太久远了,把玩起来难度比较大。…

chatgpt赋能python:用Python开发软件的步骤

用 Python 开发软件的步骤 Python 是一种广泛使用的编程语言,因其灵活性、易读性以及可扩展性而备受推崇。Python 也有许多应用场景。在本文中,我们将重点介绍使用 Python 开发软件的基本步骤,帮助初学者入门。 第一步:确定需求…

关于在手机端可以看到加入的百度网盘群,在pc段找不到的原因

1.应该有人和我遇到过一样的问题,在手机上加入的百度网盘群,一直都存在,而在电脑端的时候,有时候登陆会显示出群,有时候却找不到,遇到群友分享的学习资料下载下来却找不到路,你说气不气。为了让…

盖茨笔记:人工智能时代已经开始

来源:比尔盖茨 In my lifetime, I’ve seen two demonstrations of technology that struck me as revolutionary. 我平生见识过两次令我印象深刻、革命性的技术演示。 The first time was in 1980, when I was introduced to a graphical user interface—the fore…

人工智能时代已经开始

In my lifetime, I’ve seen two demonstrations of technology that struck me as revolutionary. 我平生见识过两次令我印象深刻、革命性的技术演示。 The first time was in 1980, when I was introduced to a graphical user interface—the forerunner of every modern op…

警惕GPT对个人电脑中文件的读取!!!

最近在使用chatgpt帮忙写代码时,出现了不可思议的一幕,有可能是是我的见识太浅薄。 由于和gpt对话时,用的多了以后,我的提问方式变得比较简洁,想不到GPT并没有给我代码,而是让我告诉他数据的路径和对应的列…

【工具】1744- Claude2:GPT4 强劲竞争对手来了,完全免费!

关注 “AI 工具派” 探索最新 AI 工具,发现 AI 带来的无限可能性! 「近期热门」 AI Colors:轻松定制你的网页配色方案Albus:探索你的无限创意PMAI:优秀的产品经理 AI 帮手Forefront Chat:免费的 GPT-4 聊天…

照片生成漫画头像的软件,试试这个方法很好用

相信很多朋友都喜欢看动漫或者漫画吧,有时候遇到喜欢的人物有没有过把自己代入漫画里呢?我倒是有过,想象自己在漫画里是什么样子,但是如果想把照片变成漫画效果,找画师的话既费时又费钱。其实只要使用把照片生成漫画的…

分享一个把照片变成漫画的方法

不知道小伙伴们平时喜欢看卡通动漫吗?在一些二次元圈子里的小伙伴肯定都会有一些自己非常喜欢的画风和角色,我也有将喜欢的动漫人物的卡通图片用作头像,这样的话不会像真人头像那样会暴露隐私说不定还会发现一些同样爱好的小伙伴。但是还有一…