百度智能云千帆,产业创新新引擎

image.png
本文整理自 3 月 21 日百度副总裁谢广军的主题演讲《百度智能云千帆,产业创新新引擎》。


各位领导、来宾、媒体朋友们,大家上午好。很高兴今天在石景山首钢园,和大家一起沟通和探讨大模型的发展趋势,以及百度最近一段时间的思考和实践。

自去年 3 月 27 日发布千帆大模型平台到今天,刚好过去了一年的时间。过去这一年,国内外的大模型都在迅速发展,相关应用的爆发趋势也更加明显。

从发展趋势来看,有如下几个特点:

  • 第一, 大模型的技术在不断进步。通过模型架构改进、训练算法调优等方式,大模型的效率和性能都得到了显著提升;

  • 第二,行业应用场景的成熟。大模型在各种行业已经开始落地,这些实践经验激发了行业更多的兴趣和投入;

  • 第三,政府、投资机构对人工智能技术的支持不断增加。这也为大模型的研发、部署和应用提供了更多资源和机会;

  • 第四,社会对人工智能技术的理解和接受度不断提高。用户对于智能化、个性化服务的需求, 也推动了大模型在各种场景中的应用。

但在过去一年与企业的实际接触过程中,我们发现企业落地大模型时,也面临着在落地场景的探索、应用开发的门槛、推理和训练的成本和落地应用的效果等四个方面的挑战。

image.png

为了解决这些挑战,帮助企业用户落地,千帆提供了包括算力、模型开发、应用开发在内的一整套的大模型开发工具,为企业打造了大模型服务的超级工厂,帮助企业降低成本、提高效率与模型应用的效果。

image.png

千帆平台自发布以来一直保持着高速增长的趋势,相比于去年 12 月,千帆的日均季度环比增长了 97%,翻了接近一倍。

image.png

同时,我们也很高兴地跟大家宣布,千帆平台服务客户数已经突破了 8 万,最近一个月就增长了近 1 万。

同时,平台已经精调出 1.3w 个模型,开发应用数也达到了 16w。基于这些数据大家也可以看到,大模型已经真正进入到了快速增长的阶段。

未来,千帆也将帮助企业客户、开发者看到更多「创新机会」。随着千帆客户数量不断增多,我们也感受到,大家目前更关心的是怎么把大模型「用起来」,真正给企业业务带来价值。

image.png

今天,我为大家带来全新升级的 AI 原生应用开发平台 AppBuilder,以最好的应用效果、最优的开发体验支撑 AI 原生应用的繁荣。

image.png

千帆 AppBuilder,是一个产业级的 AI 原生应用开发平台。它可以帮助广大的客户和开发者不断降低应用开发门槛。

AppBuilder 底层由基础组件和高级组件构成。在基础组件中,包含大模型组件、AI 能力组件等。这些组件都是基于百度多年的技术和实践经验沉淀的。

除了基础组件,AppBuilder 还面向典型的应用场景,深入调优建设了一系列高级组件,比如知识问答类的 RAG、具备运算能力的代码解释器,以及生成式数据分析 GBI 等。

基础组件和高级组件共同支撑 Agent。一方面可以通过工作流编排实现更为复杂的业务逻辑,另一方面 Agent 也具备强大的自主任务规划能力。所有这些底层能力,通过代码态和零代码态两种形态提供服务。同时,多渠道对外集成分发。

image.png

千帆 AppBuilder 具备三大核心优势特点:

  • 第一,应用效果领先,具备高精度知识问答效果及精准的自主任务规划能力;

  • 第二,组件多元化且支持自定义接入;

  • 第三,产品开放易用。

接下来我来为大家详细介绍。

image.png

讲应用效果就离不开场景。知识问答(也就是 RAG )是大模型最典型的应用场景之一。AppBuilder 在这个场景建设了企业级全链路检索增强的应用框架及周边工具,并做了很多深入细致的优化工作,包括底层基座模型的 SFT 调优、文档解析、语义匹配、问题拆解等环节的策略优化,使得知识问答的效果达到更好的水平。

通过这些优化,AppBuilder 的 RAG 在多场景问答准确率、友好回复、准确拒答等方面可接受度达 95% 以上。大家可以看到下图中的对比数据, AppBuilder 在效果上超越了其他同类产品。

image.png

另一个非常典型的应用场景是 Agent。AppBuilder 构建了具备精准自主任务规划能力的 Agent 框架,可实现多工具自动编排, 准确率达到 90% 以上。官方提供了近 30 种编排工具,覆盖电商/互娱/办公/专业服务等主流场景。

同时,AppBuilder 支持开发者接入自定义工具, 通过自动编排与手动编排的结合,实现复杂场景需求的定制。此外,代码解释器的效率与效果持续提升,相比 升级前性能提升 40%、数据分析场景可接受度提升到 95%。

image.png

AppBuilder 具备丰富的组件工具,目前已扩充到 55 个。这些组件包括基于百度技术积累和自有业务沉淀的大模型能力组件,如多轮改写、复杂 Query 分解等;也包括 AI 能力组件,比如 TTS、OCR、图像识别等。通过大小模型联合及业务场景化工具组件,共同支撑 AI 原生应用的开发。

此外,AppBuilder 还提供了百度独家开放的业务组件,如在搜索领域有深厚积累的百度搜索,以及一些业界主流场景的第三方 API,比如航班查询、论文查询等。

同时,AppBuilder 支持用户接入自定义组件。我们还提供百度基础云的一些组件,比如 BES 等,这里特别提下专用向量数据库 VDB,它也迎来了一次全新的升级。

image.png

向量数据库是企业不可或缺的知识库核心组件,它针对传统知识库问答系统所遇到的性能瓶颈、 维护挑战及规模限制等问题提供了有力解决方案。

VDB 1.0 这一革命性的数据库内核,不仅集成了全面的运维控制和安全防护能力,还兼容了千帆、LangChain 等主流生态系统,使企业能够轻松管理数以千万计的文档知识。

在性能表现上,VDB 与同类型开源产品相比,其在不同应用场景下的性能有不同程度的提升,最高可达 10 倍,真正实现了毫秒级的向量检索速度。

同时,在扩展性方面,支持最大百亿级别的向量数据存储,以及秒级的弹性伸缩响应。这些突出优势确保了 VDB 能够伴随企业业务的不断发展而升级,持续满足日益增长的业务需求。

image.png

再回到 AppBuilder。它的第三大优势是开放易用。

  • 首先是主流场景的工具组件开放可灵活编排, 提供丰富的应用示例,用户一次鉴权全部接入。

  • 其次, 提供开源的 RAG 和 Agent SDK ,支持二次开发。本次升级后,最快只需要三步即可完成应用的创建于开发,还可一键对接百度灵境矩阵、微信公众号、微信客服、Web 端/ H5 等渠道。

这里也特别说一下百度灵境矩阵,此次与灵境矩阵的打通,应用将有机会在百度强大的搜索场景中轻松实现分发和挂载,同时也能融入百度的信息流场景,吸引更多潜在用户的目光。

image.png

目前,已经有上万开发者和伙伴,通过 Appbuilder 创建出各种场景的 AI 原生应用。

刚刚我分享的是如何帮助企业快速去搭建应用。除了降低企业的应用开发门槛,企业还会有另外一个需求,就是开发出的应用效果怎么能够做好。这背后是通过我们的各种基座模型的能力去实现的。

image.png

今天,在千帆大模型平台上的模型迎来了关键升级和全新模型发布,首先让我们来一起看下文心大模型 3.5 和 4.0 的重磅升级。

image.png

首先,我来为大家介绍文心大模型 ERNIE 3.5 的重磅升级。

升级后的 ERNIE 3.5,在指令遵循、上下文学习和逻辑推理能力都有显著的效果提升, 同时我们可以看到企业核心的文案创作、信息抽取、工具调用场景都有不同程度的效果优化。

除了普遍应用的 ERNIE 3.5,另一个受到行业广泛关注的是大模型 ERNIE 4.0。它在理解、生成、逻辑、记忆能力等方面均达到业界顶尖水平。

经权威机构测评,ERNIE 4.0 在专项学科能力、安全与责任、以及综合得分均排名第一。作为目前行业领先、以及中文领域最强模型,ERNIE 4.0 已经成为企业在复杂场景应用的最佳选择。

image.png

以上就是我们文心大模型 3.5 和 4.0 的升级内容。

随着接触客户及场景越来越多,我们发现一个趋势:很多的公司在使用大模型的时候,成本是他们考虑的关键因素。我们总结了一下这类需求,归纳为【效价比】

结合百度持续的技术升级及领域深耕,我们发现,在特定场景下,参数较小的大模型经过精调可以达到甚至超越大模型的效果,而且能为企业大幅降低成本及响应速度。

image.png

今天,我们将为大家带来三款轻量级大模型的发布,便于企业通过推理、精调的方式去实现最优效价比。

image.png

首先是全新发布 ERNIE Speed,这是一个最适合微调的基座模型,同时上下文最高支持 128K。

大家可以看到右边的这组数据对比:以小说角色扮演和英语口语练习的场景为例,可以明显看到微调后的 ERNIE Speed 效果超越了大参数量级模型 ERNIE 4.0。

image.png

如果企业还要追求更快、更轻、成本更低, 第二款产品 ERNIE Lite 将是企业的首选,同时 Lite 也是一款非常适合低算力、AI 加速卡推理使用的轻量级大模型。

ERNIE Lite 是 ERNIE-Bot-turbo 模型的升级版。我们可以看到新版的 Lite,相较于 Turbo 在情感分析、多任务学习、自然推理等场景下效果提升了 20% 左右。

除了效果上的提升,企业在该模型上的推理调用成本,对比升级前降低了 53%。

image.png

最后一款模式可以说是极致低成本、低延迟的最佳模型:ERNIE Tiny。

Tiny 是目前文心系列中部署与精调成本最低的模型,非常适用于检索、推荐、意图识别等高并发、低延时的场景。

举个例子,在搜索推荐场景下,精调后的 Tiny 在推荐词激发环节,相较于之前使用 ERNIE 3.5 模型,对话轮次增长了 3.5%,成本下降了 32%。

image.png

除了文心大模型升级以及轻量级大模型的发布外,我们此次还基于垂直场景, 推出了两个产业级最佳实践模型:ERNIE Character 和 ERNIE Functions。

ERNIE-Character 是专为角色扮演类场景研发的一款大模型,非常适合游戏 NPC、客服对话等业务应用。

举一个实际的应用案例,目前我们的某个智能硬件厂商客户,通过 Character 模型打造智能助理,在人设一致性,以及激发用户聊天欲望等方面,给业务带来了显著提升。

另外,ERNIE Functions 作为一款工具调用场景大模型,优点是结构化回答及合成能力强,并且输出格式稳定。我们某个旅游出行客户,通过 ERNIE Functions 打造了智能客服助手,在执行订票、查询航班状态等多种场景下,调用的准确率达到了 92% 以上。

image.png

今天,我已经发布完 5 款全新的模型,那么在企业具体应用中,这些模型是如何为企业带来最优效价比的?我来通过一个模型路由的案例,为大家具体说明一下。

模型路由,来源于现在比较流行的 MoE。它的核心理念就是通过轻量级大模型降本增效。

大家可以看到左边,在用户输入问题之后,就接入到 router 模型中。router 模型负责判别用户的意图,在把用户的意图分发到不同的大模型中。

以前整个场景都在用大参数模型。现在,我们就可能基于这种意图判别把很多的垂类场景请求分发到更小尺寸的模型中。在企业的实际应用过程当中,模型路由是一个非常划算的方式。

以手机智能助手为例,通过该模式,用户推理成本可以降低 15%,同时效果和 ERNIE 3.5 持平。未来我们也会把这套方案做成产品,让用户通过精调的方式自主选择分流的方案。

image.png

最后,我们再用一张图,来回顾和梳理下百度智能云千帆大模型平台的模型矩阵。

文心大模型 3.5 和 4.0 适合通用复杂场景。轻量级大模型中,ERNIE Speed 和 ERNIE Lite 适用于垂直场景的定制训练。ERNIE Tiny 更快、更实惠,可用于特定场景的自然语言到指令调用,也适用边缘设备推理场景。

垂直场景模型 ERNIE Character 适合角色扮演,ERNIE Functions 适合对话或问答场景中的外部工具使用和业务函数调用。

模型效果能力越强的模型,成本也会更高。 轻量级的大模型在特定场景,经过精调也会达到大参数模型的效果。企业可以在实际应用中,根据业务的需求来灵活选择不同的模型或者模型组合。

image.png

以上就是我今天发布的全部内容。

助力产业创新,千帆竞航未来  希望千帆能够助力企业和开发者在大模型的浪潮里,竞发向前,共赢未来。感谢大家!

image.png

- - - - - - - - - - END - - - - - - - - - -

推荐阅读

一文带你完整了解Go语言IO基础库

百度交易中台之系统对账篇

揭秘百度数仓融合计算引擎

教不会你算我输系列 | 手把手教你HarmonyOS应用开发

漫谈数据分布可视化分析

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/289833.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

牛客NC26 括号生成【中等 递归 Java,Go,PHP】

题目 题目链接: https://www.nowcoder.com/practice/c9addb265cdf4cdd92c092c655d164ca 思路 答案链接:https://www.lintcode.com/problem/427/solution/16924 参考答案Java import java.util.*;public class Solution {/*** 代码中的类名、方法名、参…

Llama模型下载

最近llama模型下载的方式又又变了,所以今天简单更新一篇文章,关于下载的,首先上官网,不管在哪里下载你都要去官网登记一下信息:https://llama.meta.com/llama2 然后会出现下面的信息登记网页: 我这里因为待…

软件工程学习笔记12——运行维护篇

运行维护篇 一、版本发布1、关于软件版本2、版本发布前,做好版本发布的规划3、规范好发布流程,保障发布质量 二、DevOps工程师1、什么是 DevOps 三、线上故障1、遇到线上故障,新手和高手的差距在哪里2、大厂都是怎么处理线上故障的 四、日志管…

MGRE实验

MGRE实验 1、实验要求 2、实验分析 IP地址分类 私网IP:192.168.1.0等隧道IP:192.168.5.0和192.168.6.0公网IP:15.0.0.1等 配置IP地址 配置acl访问控制列表 用于将内部网络中的私有IP地址转换为公共IP地址,以实现与外部网络的通…

helm 部署 Kube-Prometheus + Grafana + 钉钉告警部署 Kube-Prometheus

背景 角色IPK8S 版本容器运行时k8s-master-1172.16.16.108v1.24.1containerd://1.6.8k8s-node-1172.16.16.109v1.24.1containerd://1.6.8k8s-node-2172.16.16.110v1.24.1containerd://1.6.8 安装 kube-prometheus mkdir -p /data/yaml/kube-prometheus/prometheus &&…

集成在零售行业的应用

随着科技的飞速发展,集成化应用正在各行各业中发挥着越来越重要的作用。在零售行业,集成技术的广泛应用不仅提升了运营效率,还优化了顾客体验,推动了行业的转型升级。本文将深入探讨集成在零售行业的应用,并展望其未来…

深度学习论文: Attention is All You Need及其PyTorch实现

深度学习论文: Attention is All You Need及其PyTorch实现 Attention is All You Need PDF:https://arxiv.org/abs/1706.03762.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks 大多数先进的神经序列转换模型采用编码器-解码器结构,其中编码器将…

MySQL 8:GROUP BY 问题解决 —— 怎么关闭ONLY_FULL_GROUP_BY (详细教程)

在使用 GROUP BY 时,我们可能会遇到以下报错: Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column …… 这是因为我们在select语句中所查询的列并不被group by后面接的列所包含。 对于GROUP BY聚合操作&#xf…

flink on yarn-per job源码解析、flink on k8s介绍

Flink 架构概览–JobManager JobManager的功能主要有: 将 JobGraph 转换成 Execution Graph,最终将 Execution Graph 拿来运行Scheduler 组件负责 Task 的调度Checkpoint Coordinator 组件负责协调整个任务的 Checkpoint,包括 Checkpoint 的开始和完成通过 Actor System 与 …

8、鸿蒙学习-HAR

HAR(Harmony Archive)是静态共享包,可以包含代码、C库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。HAR不同于HAP,不能独立安装运行在设备上。只能作为应用模块的依赖项被引用。 一、创建…

边缘计算AI盒子目前支持的AI智能算法、视频智能分析算法有哪些,应用于大型厂矿安全生产风险管控

一、前端设备实现AI算法 主要是基于安卓的布控球实现,已有的算法包括: 1)人脸;2)车牌;3)是否佩戴安全帽;4)是否穿着工装; 可以支持定制开发 烟雾&#xf…

20221124 kafka实时数据写入Redis

一、上线结论 实现了将用户线上实时浏览的沉浸式视频信息,保存在Redis中这样一个功能。为实现沉浸式视频离线推荐到实时推荐提供了强有力的支持。目前只是应用在沉浸式场景,后续也能扩展到其他所有场景。用于两个场景:(1&#xf…

Apache Hive的基本使用语法(二)

Hive SQL操作 7、修改表 表重命名 alter table score4 rename to score5;修改表属性值 # 修改内外表属性 ALTER TABLE table_name SET TBLPROPERTIES("EXTERNAL""TRUE"); # 修改表注释 ALTER TABLE table_name SET TBLPROPERTIES (comment new_commen…

掌握Flutter底部导航栏:畅游导航之旅

1. 引言 在移动应用开发中,底部导航栏是一种常见且非常实用的用户界面元素。它提供了快速导航至不同功能模块或页面的便捷方式,使用户可以轻松访问应用程序的各个部分。在Flutter中,底部导航栏也是一项强大的功能,开发者可以利用…

寄主机显示器被快递搞坏了怎么办?怎么破?

大家好,我是平泽裕也。 最近,我在社区里看到很多关于开学后弟弟寄来的电脑显示器被快递损坏的帖子。 看到它真的让我感到难过。 如果有人的数码产品被快递损坏了,我会伤心很久。 那么今天就跟大家聊聊寄快递的一些小技巧。 作为一名曾经的…

在scroll-view中使用input,input键盘弹出时,滚动页面,输入框内容会出现错位问题?

解决办法 <view classpages><view><scroll-view scroll-y"{{sysScroll}}" scroll-top"{{scrollTop}}" class"scroll-hei-2 bg-def">...<input bindfocus"onfocus" bindblur"onblur" placeholder&quo…

如何在Apache Arrow中定位与解决问题

如何在apache Arrow定位与解决问题 最近在执行sql时做了一些batch变更&#xff0c;出现了一个 crash问题&#xff0c;底层使用了apache arrow来实现。本节将会从0开始讲解如何调试STL源码crash问题&#xff0c;在这篇文章中以实际工作中resize导致crash为例&#xff0c;引出如何…

车载以太网AVB交换机 gptp透明时钟 8口 千兆/百兆可切换 SW1100TR

SW1100车载以太网交换机 一、产品简要分析 8端口千兆和百兆混合车载以太网交换机&#xff0c;其中包含2个通道的1000BASE-T1采用罗森博格H-MTD接口&#xff0c;5通道100BASE-T1泰科MATEnet接口和1个通道1000BASE-T标准以太网(RJ45接口)&#xff0c;可以实现车载以太网多通道交…

利用R语言和curl库实现网页爬虫的技术要点解析

R语言简介 R语言是一种自由、跨平台的编程语言和软件环境&#xff0c;专门用于统计计算和数据可视化。它具有丰富的数据处理、统计分析和图形展示功能&#xff0c;被广泛应用于数据科学、机器学习、统计建模等领域。 R语言技术优势 丰富的数据处理功能&#xff1a; R语言拥有…

入门指南|营销中人工智能生成内容的主要类型 [新数据、示例和技巧]

由于人工智能技术的进步&#xff0c;内容生成不再是一项令人头疼的任务。随着人工智能越来越多地接管手动内容制作任务&#xff0c;营销人员明智的做法是了解现有的不同类型的人工智能生成内容&#xff0c;以及哪些内容从中受益最多。这些工具可以帮助我们制作对您的受众和品牌…