百度智能云千帆大模型平台 2.0 产品技术解析

本文整理自 2023 年 9 月 5 日百度云智大会 - 智能计算&大模型技术分论坛,百度智能云 AI &大数据平台总经理忻舟的主题演讲《百度智能云千帆大模型平台 2.0 产品技术解析》。


这是关于技术主题的论坛,我首先问大家三个开发者的小问题。

第一个问题:蒸汽机的发明者是谁?

是 18 世纪著名的开发者瓦特?其实是比瓦特更早 60 年的纽可门。瓦特在纽可门蒸汽机的基础上做了大量改进,大幅提升了效率,开启了第一次工业革命。

再继续提问,大家知道发电机是谁发明的吗?

法拉第在 1831 年发明了世界上第一台直流电发电机,而 50 多年后的 1887 年特斯拉发明了交流电发电机。交流电发电机使得电力传输的效率更高,因此能够被传输的更远,随着交流电的普及,大大加速了第二次工业革命的进程。

最后一个问题,世界上第一台计算机叫什么?‍

ENAIC,1946 年在美国宾夕法尼亚大学诞生。而在 10 多年后的 1959 年,随着仙童公司的诺伊斯发明了集成电路之后,计算机开始大规模普及,成为第三次工业革命的重要基石。

大家一定都猜到为什么会有这三个问题。当一个技术被发明出来,到它真正被大规模应用,中间一定会经历一个效率提升、成本降低、大规模普及的过程。

在大模型时代,百度智能云千帆大模型平台就致力于推进这个过程,大幅提升大模型开发应用的效率降低成本,推进产业应用与创新。

图片

今年 3 月 27 日的时候,我们发布了千帆大模型平台 1.0 版本,有非常多的各行业企业开发者找到我们,希望双方一起探讨大模型的应用及落地。

截止到目前,我们的千帆大模型平台已经拥有 1 万多个企业和用户在上面做尝试和探索。我们测试了 400 多个场景,沉淀出了政务、金融、工业、交通等多行业解决方案,同时也根据企业实际训和用大模型中出现的问题,在各个环节都提供了更易用的产品工具和更稳定的技术性能。

所以今天非常高兴的在这里为大家介绍千帆大模型平台 2.0 的最新升级。

在 MaaS 层,包括文心大模型,我们总共接入了 42 个各具特色的大模型,满足产业应用方方面面的场景对大模型多样化的需求。我们对大模型全生命周期工具链进行了完善和增强——在这个平台上一步一步跟着走,就能快速搭建一个你想要的应用或者重构你现在的产品。

除了用大模型,很多行业的龙头企业都会用我们的平台训练大模型。在 PaaS层,我们结合 AI 开发平台的能力,可以实现训练加速、场景建模、应用集成等功能,为训练大模型的企业提供了最佳实践。

在 IaaS 层,百度百舸提供了高性能、稳定的 AI 基础设施。

下面我将逐一对我们的能力升级,为大家进行讲解。

图片

目前,千帆大模型平台提供了 42 个各具特色的大模型,除了文心大模型以外,还有市场上国内非常优秀的智谱华章的 ChatGLM,也有能够支持非常大的上文窗口的 RWKV,还有国外优秀的模型比如 BLOOMZ、Llama 2 等。

除此之外,我们提供了 41 个数据集,包含通用数据、专用数据、指令数据,涵盖教育、金融、法律等。开发者通过使用预置在千帆大模型平台的数据集,可以大幅降低训练时的数据成本,尤其是在冷启动阶段,快速的建立自己的行业模型。

图片

除此之外,我们根据企业的实际需求,对各类第三方模型进行了很多增强,其中一个是中文增强。像 BLOOMZ、LIama 2 这样优秀的开源模型,他们来到国内以后,大家会发现它有点水土不服,听不懂中文,百度利用自己多年中文数据积累和中文的知识对这些模型进行中文增强。

我们可以看到,不管是在 7B 还是 13B 参数量下面,经过中文增强后的 Llama 2,在中文数据级上的效果,各个评价标准上,相比原版有大于 10% 的效果提升。

同时,模型的应用是非常消耗资源的。我们对于模型的体积进行了压缩,对模型的推理速度进行了增强。千帆大模型平台对于开源模型体积平均可以降低 60% 以上,推理速度最高可以提高 5 倍,这对于我们模型的实际应用来说是非常大的福利。

除此之外,我们还提供了指令增强、性能增强、32K 上下文扩展、安全增强等增强的能力,满足企业日常和长尾的各类场景需求。

图片

刚才讲到百度百舸为上层的模型平台和模型应用提供高性能、稳定的异构计算平台。

百舸平台在训练稳定性,故障感知和容错等三个层面做了很多优化。

在训练稳定性方面,百舸的万卡任务有效训练时间占比达 95%。

在故障感知层面,针对任务退出,任务假死和运行慢几种常见故障场景建设感知能力。尤其是后两种故障,有比较大的隐蔽性。百舸平台基于百度内部大量的最佳实践制定了指标体系,可以秒级发现问题,分钟级进行故障定位,30分钟内就能完成故障恢复。

容错是做好稳定性建设的最后一道关卡。百舸平台提供了自动容错能力,百 GB Checkpoint 秒级写入,有效训练时间提升 10%。

图片

此外,针对大模型应用的高频场景,千帆平台提供了应用范式的样板间,能够降低企业应用落地的门槛。以域内知识增强的场景为例,我们介绍下整个过程。

首先,看图的最左边,用户输入的 query 经过 API 网关后传递到大模型,大模型对 query 进行意图拆解,拆分成不同的子任务。在这个环节,我们可以通过静态编排 Chain 的方式,或者动态编排 Agent 的方式,提前设定或学习相关的意图拆解能力。另外,对于拆解后的子任务,也可以进一步进行自动 prompt 优化,更加精准地传递到下游。

在这个场景,用户的 query 可能会被拆解成域内知识检索、搜索增强及一系列的工具调用和查询。在这一步分别执行不同的子任务,完成相关的工具调用及查询,获得子任务的返回结果。

图的最下方展示了在域内知识增强会被子任务调用的系统。比如:我们提前将领域相关的知识库、文档通过向量化,存储到百度智能云的数据库 BES 中。作为检索分析引擎,BES (Baidu Elasticsearch)在大模型时代全面升级了向量能力,为大模型提供知识和记忆,在提升业务表现的同时,也能有效保护企业私域数据安全。

在上一步,各子任务通过向量数据库查询,工具调用等,都获得了返回结果,再将这些结构都输入到大模型,进行内容加工、整合。最后再将大模型整合后的结果经过我们的内容安全模块过滤后,返回出去。

图的右侧是我们搭建整套系统所依赖的各类基础设施,比如:密钥管理、日志管理等。

整个应用样板间具备两个非常鲜明的特点:第一个特点就是内容非常全,向量索引包括搜索增强、SQL 增强,这些所有都需要用到域内知识检索的工具,我们都提供了。第二个点是支持快速构建应用,API 网关、LLM 高速的缓存以及密钥管理等企业级的应用所必需的功能,用户可以通过这个样板间直接使用这些功能,基于自己的应用和数据快速地构建自己企业级大模型应用。

类似这样的样板间,千帆大模型平台上已经提供了十多个,帮助企业和用户快速构建自己的生成式 AI 应用。

图片

百闻不如一见,刚才讲了那么多,还是希望能够给大家演示一下千帆平台的使用。我们来看一段视频,看看一个工程师如何在 7 个小时内重构企业的数据分析产品。

我们团队有一位暑假实习生同学,视频中记录了请他是如何使用千帆大模型平台快速构建一个生成式 AI 的应用。

对于大模型的开发和应用非常熟悉的朋友们,一定都能看出来他做的实际上是对于数据的交互式探查的功能。视频中他做了两件事:第一件事是对于自然语言处理到 SQL 语句的查询做了指令微调;第二个事情是利用域内的知识检索对于这个领域专业知识做了问答,最后在 DEMO 里面调试了这两个功能。

图片

在今天上午的主论坛,沈抖博士重磅发布了我们的 AI 原生应用 Family,其中,服务营销、办公提效、生产优化,都预置了千帆组件版。在这个能力的背后,是我们整体的全站 API 计划,让大模型应用的企业和厂商,都可以通过全站 API 更灵活地将千帆大模型及工具链集成到自己的应用中,构建自己的 AI 原生应用。

以 BI 与数据可视化产品 Sugar BI 为例,通过调用千帆上文心大模型的接口,在传统 BI 基础上,支持对话式数据探索,快速获取数据图表和数据结论,并能应用到报表和大屏制作中。Sugar BI 上线一个月就收到了几十位客户的 POC 需求,可见市场对 AI 原生应用的热情。

图片

AI 算力的发展非常快,更新换代是家常便饭。同时,市场上也已经有非常丰富的 AI 算力选择。

然而,这么多 AI 算力对大模型的开发应用而言是个噩梦。对于各种硬件的适配,是一件技术难度很高的工作,需要有同时熟悉硬件、框架、算法,同时在计算、存储、网络等领域有丰富经验的工程师来完成。

千帆大模型平台,已经为适配了主流的算力和模型的组合,并且可以纳管和调度不同的算力,使得企业的开发效率和资源利用率都能大幅提高。

图片

当前,大模型正处在产业落地前期,高质量的数据,是大模型实现大模型产业化的关键要素。

海量的数据训练,指令微调,基于人类反馈的强化学习,可以让大模型与人类价值观、思维方式不断对齐,使大模型更加可用。

百度智能云自主研发了业内领先的大模型数据标注平台,提供了数据服务和运营,能够打通大模型落地的最后一公里。该平台支持了从数据采集与清洗、指令微调标注与强化学习标注,到模型评估的数据生产闭环。

为保障数据标注质量,我们还搭建了全流程数据服务人才梯队,在百度智能云海口数据标注基地培养数百名专职大模型数据标注师,本科率达到 100%。

数据安全始终是重中之重,百度智能云可提供高安全性的端到端数据服务,标注平台支持私有部署,通过与基地资源联动,为客户提供多样化的数据安全方案。

图片

目前,我们已经与众多的企业一起实践,沉淀了 400 多个场景。包含泛科技、金融、能源、政务、等等,未来我们将与更多的行业进行深度合作,让大模型赋能千行百业。

图片

在今天的内容中,我们介绍了百度智能云千帆大模型平台最新的升级,包括:模型与数据集、工具链与应用范式、AI 基础设施百度百舸、全站 API、多芯适配等功能或者特性。也推出了满足大模型产业化应用的关键要素——大模型数据标注平台。

我们希望在未来,这些产品能够帮助企业伙伴进一步降低大模型的开发和应用成本,共同推进大模型的行业落地,共同推进产业创新,加速产业的智能化。

千帆竞发,共创辉煌!

—— END ——

推荐阅读

代码理解技术应用实践介绍

百度交易中台之内容分润结算系统架构浅析

小程序编译器性能优化之路

百度APP iOS端包体积50M优化实践(六)无用方法清理

基于异常上线场景的实时拦截与问题分发策略

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/161201.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何使用RockPlus MES系统帮助SMT行业实现降本增效

SMT(Surface Mount Technology)是现代电子行业中主要的组装技术,广泛应用于电子产品的生产。SMT工艺涵盖了锡膏印刷、元器件贴装和回流焊接。经过这些关键工序,元器件被精确固定在电路板上,完成一个电子产品组装。 SM…

SpringCloud: feign整合sentinel实现降级

一、加依赖&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache…

excel+requests管理测试用例接口自动化框架

背景&#xff1a; 某项目有多个接口&#xff0c;之前使用的unittest框架来管理测试用例&#xff0c;将每个接口的用例封装成一个py文件&#xff0c;接口有数据或者字段变动后&#xff0c;需要去每个py文件中找出变动的接口测试用例&#xff0c;维护起来不方便&#xff0c;为了…

Spring AOP归纳与总结

前言 AOP的核心思想是面向切面编程。AOP规范定义了多种概念&#xff0c;常用的aop框架有spring aop和AspectJ&#xff0c;两者功能和性能差异较大&#xff0c;现在默认的AOP框架是AspectJ&#xff0c;下面逐渐归纳其相关概念、功能及实现原理。 1. 概念 1. 切面&#xff1a;…

从零开始学习 Java:简单易懂的入门指南之线程池(三十六)

线程池 1.1 线程状态介绍1.2 线程池-基本原理1.3 线程池-Executors默认线程池1.4 线程池-Executors创建指定上限的线程池1.5 线程池-ThreadPoolExecutor1.6 线程池-参数详解1.7 线程池-非默认任务拒绝策略 1.1 线程状态介绍 当线程被创建并启动以后&#xff0c;它既不是一启动…

linux文件权限与目录配置

用户与用户组 linux一般将文件可读写的身份分为三个类别&#xff1a;拥有者&#xff08;owner&#xff09;、所属群组&#xff08;group&#xff09;、其他人&#xff08;other&#xff09; 三种身份都有读、写、执行等权限 文件拥有者 linux是个多人多任务的系统&#xff0c…

论文解析-moETM

论文解析-moETM 参考亮点动机发展现状现存问题 功能方法Encoder改进Decoder改进 评价指标生物保守性批次效应移除 实验设置结果多组学数据整合cell-topic mixture可解释性组学翻译性能评估RNA转录本、表面蛋白、染色质可及域调控关系研究1. 验证同一主题下&#xff0c;top gene…

什么是NetApp的DQP和如何安装DQP?

首先看看什么是DQP&#xff0c;DQPDisk Qualification Package&#xff0c;文字翻译就是磁盘验证包。按照NetApp的最佳实践&#xff0c;要定期升级DQP包&#xff0c;保证对最新磁盘和磁盘扩展柜的兼容。 本文主要介绍7-mode下如何升级DQP&#xff0c;至于cluster mode另外文章…

NewStarCTF2023week2-Upload again!

尝试传修改后缀的普通一句话木马&#xff0c;被检测 尝试传配置文件 .htaccess 和 .user.ini 两个都传成功了 接下来继续传入经过修改的木马 GIF89a <script language"php"> eval($_POST[cmd]); </script> 没有被检测&#xff0c;成功绕过 直接上蚁剑…

圣树唤歌最强阵容2023,圣树唤歌阵容推荐

无疑圣树唤歌作为一款备受欢迎的手机游戏&#xff0c;其深刻的战斗系统一直以来都受到大家的追捧。在这个虚拟世界中胜利的关键在于组建一支无懈可击的强大队伍&#xff0c;要想成为强者&#xff0c;就必须拥有最强阵容。 关注【娱乐天梯】&#xff0c;获取内部福利号 在本篇攻…

C++项目实战——基于多设计模式下的同步异步日志系统(总集篇)

文章目录 专栏导读项目介绍开发环境核心技术环境搭建日志系统介绍1.为什么需要日志系统2.日志系统技术实现2.1同步写日志2.2异步写日志 前置知识补充不定参函数C风格不定参函数不定参宏函数设计模式六大原则单例模式饿汉模式懒汉模式 工厂模式简单工厂模式工厂方法模式抽象工厂…

Linux:mongodb数据逻辑备份与恢复(3.4.5版本)

我在数据库aaa的里创建了一个名为tarro的集合&#xff0c;其中有三条数据 备份语法 mongodump –h server_ip –d database_name –o dbdirectory 恢复语法 mongorestore -d database_name --dirdbdirectory 备份 现在我要将aaa.tarro进行备份 mongodump --host 192.168.254…

攻防演练蓝队|Windows应急响应入侵排查

文章目录 日志分析web日志windows系统日志 文件排查进程排查新增、隐藏账号排查启动项/服务/计划任务排查工具 日志分析 web日志 dirpro扫描目录&#xff0c;sqlmap扫描dvwa Python dirpro -u http://192.168.52.129 -b sqlmap -u "http://192.168.52.129/dvwa/vulnera…

Jmeter接口测试:jmeter导入和导出接口的处理

JMeter测试导入接口 利用Jmeter测试上传文件&#xff0c;首先可根据接口文档或者fiddler抓包分析文件上传的接口&#xff1b;如下图&#xff1a; 以下是我通过fiddler所截取的文件上传的接口 1、填写导入接口的信息 查看文件上传栏下的填写信息&#xff1a; 文件名称&#x…

Unity中Shader的深度写入ZWrite

文章目录 前言一、更新深度缓冲区中值二、深度值的写入操作只有两个选择 开启 和 关闭ZWrite OnZWrite Off 三、深度写入在半透明物体物体中开启的情况1、特效一般都需要关闭深度写入2、如果在人物模型上使用 特效半透明 的 Shader&#xff0c;为了不出现模型自身穿透问题&…

Web3D虚拟人制作简明指南

如何在线创建虚拟人? 虚拟人,也称为数字化身、虚拟助理或虚拟代理,是一种可以通过各种在线平台与用户进行逼真交互的人工智能人。 在线创建虚拟人变得越来越流行,因为它为个人和企业带来了许多好处。 通过虚拟助理或代理,您可以以更具吸引力和个性化的方式与客户或受众进…

146.LRU缓存

双向链表哈希表 class LRUCache { public://1、定义双向链表结构、容量、哈希表等LRU数据成员struct Node{int key,value;Node *left,*right;Node(int _key,int _value):key(_key),value(_value),left(NULL),right(NULL){}}*L,*R;int n;unordered_map<int,Node*> ump;//…

李航:关于大模型的思考及研究热点

本文阐述李航老师对 LLM 的一些看法&#xff0c;主要观点如下&#xff1a; ChatGPT 的突破主要在于规模带来的质变和模型调教方式的发明。 LLM 融合了实现人工智能的三条路径。 LLM 的开发需要结合第三者体验和第一者体验。 LLM 能近似生成心智语言。 LLM 需要与多模态大模…

SamSung三星笔记本NP930QCG-K02CN原装出厂OEM预装Win10系统

下载链接&#xff1a;https://pan.baidu.com/s/13GsR_r9caJkLjiWWaXa30Q?pwdncp9 系统自带指纹驱动、声卡,网卡,显卡等所有驱动、三星出厂时主题壁纸、系统属性三星专属LOGO标志、Office办公软件等三星出厂时自带的预装程序 由于时间关系,绝大部分资料没有上传&#xff0c;不…

Unity之ShaderGraph如何实现上下溶解

前言 我们经常在电影中见到的一个物体或者人物&#xff0c;从头上到脚下&#xff0c;慢慢消失的效果&#xff0c;我么今天就来体验一下这个上下溶解。 主要节点 Position节点&#xff1a;提供对网格顶点或片段的Position 的访问 Step节点&#xff1a;如果输入In的值大于或…