Agent:OpenAI的下一步,亚马逊云科技站在第5层

什么是Agent?在大模型语境下,可以理解成能自主理解、规划、执行复杂任务的系统。Agent也将成为新的起点,成为各行各业构建新一代AI应用必不可少的组成部分。

对此,初创公司Seednapse AI创始人提出构建AI应用的五层基石理论,受到业界关注。

  1. Models,也就是我们熟悉的调用大模型API。
  2. Prompt Templates,在提示词中引入变量以适应用户输入的提示模版。
  3. Chains,对模型的链式调用,以上一个输出为下一个输入的一部分。
  4. Agent,能自主执行链式调用,以及访问外部工具。
  5. Multi-Agent,多个Agent共享一部分记忆,自主分工相互协作。

创业先锋之外,连AI基础设施的巨头也已经开始在Agent上发力。

比如亚马逊云科技纽约峰会上宣布的Amazon Bedrock Agents新功能,便是这种趋势最有代表性的体现。

 

Amazon Bedrock Agents在全托管基础模型服务的基础上,又把开发、部署和管理多个Agent的能力打包集成在一起。如果按照前面的五层基石理论,这类服务相当于直接从第五层开始,大大降低开发门槛。正如亚马逊云科技在发布会上所形容:只用几次点击,搞定能执行任务的生成式AI应用。可以预见的是,降低了门槛的Agent应用也将在各行各业全面爆发。

Agent,AI应用新时代的起点

怎样才算一个Agent应用?OpenAI华人科学家翁丽莲给出直观的“配方”:Agent=大模型+记忆+主动规划+工具使用。

以亚马逊云科技平台为例,开发Agent应用首先要根据具体任务场景给Agent选择合适的基础模型。Amazon Bedrock上除了自家的Amazon Titan大模型,还集结了擅长安全可控的Anthropic、擅长检索汇总信息的Cohere、以及专攻文生图的stability.ai等各家模型。选好后,把要执行的任务指令直接用文字描述出来,让Agent明白要扮演的角色和要完成的目标。指令可以是包括一系列“问题-思考步骤-行动步骤-示例”的结构化提示词,在ReAct(协同推理和行动)技术支持下,基础模型可以通过推理和决策找出相应的解决方案。

接下来的重头戏便是Add Action Group(添加动作组)。Agent要完成的具体任务,以及能使用的工具如企业系统API、Lambda函数等都是在这里设置。官方演示中是一个保险索赔管理场景,Agent通过提取未结索赔的列表、确定每个索赔的未完成文书工作并向保单持有人发送提醒来管理保险索赔。所有动作组设置好后,创建Agent和部署都是几次点击就能完成。

部署完成后,在测试中就可以看到Agent理解用户请求、将任务分解为多个步骤(收集未结保险索赔、查找索赔ID、发送提醒)并执行相应的操作。Amazon Bedrock通过向导式交互界面,减少了配置基础模型所需的编码工作量。动作组提供调用API实现特定功能,以及使用自己的数据构建差异化应用程序,又让基础模型能够完成更复杂的实际业务任务。

在整个流程中,还可以配合亚马逊云科技平台上的各种安全服务。比如使用PrivateLin建立基础模型和本地网络之间的私有连接,所有流量都不会暴露给互联网。又通过提供完全托管的服务,让开发者不需要管理底层系统就能发挥基础模型的能力。最终缩短从基础模型到实际应用的周期,加速基础模型为业务创造的价值。

加速大模型应用,还应关注什么

有了Amazon Bedrock的Agent能力,我们得以快速将大模型投入实际业务,为企业实现降本增效或创新。但要真正利用生成式AI的全部价值、发挥全部潜力,并与其他竞争对手拉开潜力,私有数据才是其中根本。换言之,大模型应用落地的关键,是企业自己宝贵的行业数据。

如何集成这些丰富的资源到我们的Agent之中,保证我们的大模型应用在执行任务时能够高效访问到正确的信息——是当下每一个企业都要面对的问题。当然,这一切都必须以保证隐私为前提。

除了私有数据的集成和调用,在大模型应用落地的路上,最为底层的支撑,算力,也始终是一个百说不厌的话题。众所周知,当下的显卡资源异常稀缺,且价格不菲。无论是购买还是租用,这都成了全球各企业在探索生成式AI应用上的一大笔支出。如何让这一笔花销更为经济实惠?这也是每个企业的思虑所在。

值得关注的是,以亚马逊云科技为代表的领先供应商,正在针对生成式AI落地过程中的这些挑战和痛点提供系统性的解决方案,对上述问题一一破解。针对个性化数据问题,亚马逊云科技宣布为三款数据服务提供向量引擎,用来助力生成式AI应用与业务整合。在生成式AI爆发之后,向量数据库也实在火爆不已。因为相比传统的关系数据库,它能给予与模型上下文更相关的响应。

 

亚马逊云科技这一最新服务,就是将私有数据存储到具有向量引擎的数据库中,在进行生成式AI应用时,通过简单的API调用就能方便地查询企业内部的数据。

而根据当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings的数量和性能需求等不同需求,亚马逊云科技提供了3个选项来满足:

  1. Amazon Aurora PostgreSQL兼容版关系型数据库,支持pgvector开源向量相似性搜索插件;
  2. 分布式搜索和分析服务Amazon OpenSearch,带有k-NN(k最近邻)插件和适用于Amazon OpenSearch Serverless的向量引擎;
  3. 兼容PostgreSQL的Amazon RDS(Amazon Relational Database Service)关系型数据库,支持pgvector插件。

 

当然,最值得说道的是这次最新推出的Amazon OpenSearch Serverless服务,它最大的优点就是让企业只关心向量数据的存储和检索,而不用背上任何底层运维的负担。

解决完数据集成问题,在底层支撑上,亚马逊云科技这次也直接推出H100支持的全新Amazon EC2 P5实例,这一曾经对于大多数企业都相当难得的算力资源,现在也变得“唾手可得”了。

据了解,该实例包含8个英伟达H100 Tensor Core GPU,640GB高带宽GPU内存,同时提供第三代AMD EPYC处理器、2TB系统内存和30TB本地NVMe存储,以及3200Gbps的聚合网络带宽和GPUDirect RDMA支持,可实现更低延迟和高效的横向扩展性能。相比上一代基于GPU的实例,Amazon EC2 P5可以让训练时间最多可缩短6倍(从几天缩短到几小时),降低高达40%的训练成本。

再加上亚马逊云科技之前基于自研芯片发布的Amazon EC2 Inf2和Amazon EC2 Trn1n等性能也表现不错的实例,在算力需求这一问题上,可以说是有了非常多的按需选择空间。

除了以上这些基础支持,各种开箱即用的AI服务也不“缺席”。如针对开发环节的AI编程助手Amazon CodeWhisperer,现在它与Amazon Glue实现集成,将AI代码生成的场景又扩展到一个新人群:数据工程师,只需自然语言(比如“利用json文件中的内容创建一个Spark DataFrame”),这些开发人员即可搞定各种任务;再如针对商业智能(BI)的Amazon QuickSight,也能够让业务分析师们使用自然语言执行日常任务,在几秒钟内创建各种数据可视化图表;还有Amazon HealthScribe,可以用于医疗行业生成临床文档,节省医生时间。这些工具都是主打让企业专注于核心业务,提高生产效率。

从今年4月起,亚马逊云科技就结合自身定位并基于真实用户需求出发,正式宣布进军生成式AI市场,为一切想要利用生成式AI技术加速或创新业务的企业提供服务。在短短的4个月期间,亚马逊云科技已推出了各类底座资源,从基础模型到算力支撑,从私人数据存储到高效开发工具,应用尽有。

而这次在纽约峰会释出的最新动向,则是继续加码生成式AI应用开发所需的一切。从Amazon EC2 P5实例代表的算力层、到Amazon OpenSearch Serverless向量引擎、Amazon Bedrock Agents代表的工具层、再到Amazon QuickSight等代表的应用层,一项端到端的解决方案已然形成。

在这之中,亚马逊云科技不断降低生成式AI的门槛,无论是初创企业还是传统行业,无论是处于生成式AI进程的哪一层,都能在这里找到合适的工具,无需耗费太多精力在底层逻辑之上,便可快速投入实际业务。

如亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian所说:我相信生成式AI将改变每一个应用程序、行业和企业。在各行各业都全力奔赴的这场全新技术变革之下,亚马逊云科技的这一系列服务,无疑为普通玩家赢得了宝贵的时间和机会。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/81078.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IO(JavaEE初阶系列8)

目录 前言: 1.文件 1.1认识文件 1.2结构和目录 1.3文件路径 1.4文本文件vs二进制文件 2.文件系统的操作 2.1Java中操作文件 2.2File概述 2.2.1构造File对象 2.2.2File中的一些方法 3.文件内容的操作 3.1字节流 3.1.1InPutStream的使用方法 3.1.2OutPu…

设计模式之三大类

目录 设计模式分类 1.创建型模式(Creational Patters) 2.结构型模式(Structural Patterns) 3.行为型模式(Behavioral Patterns) 3.1命令模式(The Command Pattern) 2.1适配器模式 2.1.1Object and Class Adapters 设计模式分类 1.创建型模式(Creational Patters) Fato…

SaaS系统相比传统软件,为何数据更安全?

随着云计算、5G等技术的不断进步,SaaS行业步入了快速发展的阶段,应用场景也日趋多元化。预计2023年底,中国SaaS行业市场规模将达到555.1亿元。 中研网对于SaaS发展态势预测这样评价: 当前,我国在多个维度上具备发展 S…

【机器学习】处理样本不平衡的问题

文章目录 样本不均衡的概念及影响样本不均衡的解决方法样本层面欠采样 (undersampling)过采样数据增强 损失函数层面模型层面采样集成学习 决策及评估指标 样本不均衡的概念及影响 机器学习中,样本不均衡问题经常遇到,比如在金融…

详解Kafka分区机制原理|Kafka 系列 二

Kafka 系列第二篇,详解分区机制原理。为了不错过更新,请大家将本号“设为星标”。 点击上方“后端开发技术”,选择“设为星标” ,优质资源及时送达 上一篇文章介绍了 Kafka 的基本概念和术语,里面有个概念是 分区(Part…

验证码安全志:AIGC+集成环境信息信息检测

目录 知己知彼,黑灰产破解验证码的过程 AIGC加持,防范黑灰产的破解 魔高一丈,黑灰产AIGC突破常规验证码 双重防护,保障验证码安全 黑灰产经常采用批量撞库方式登录用户账号,然后进行违法违规操作。 黑灰产将各种方…

鸿鹄工程项目管理系统em Spring Cloud+Spring Boot+前后端分离构建工程项目管理系统 em

​ Java版工程项目管理系统 Spring CloudSpring BootMybatisVueElementUI前后端分离 功能清单如下: 首页 工作台:待办工作、消息通知、预警信息,点击可进入相应的列表 项目进度图表:选择(总体或单个)项目…

算法与数据结构-跳表

文章目录 什么是跳表跳表的时间复杂度跳表的空间复杂度如何高效的插入和删除跳表索引动态更新代码示例 什么是跳表 对于一个单链表来讲,即便链表中存储的数据是有序的,如果我们要想在其中查找某个数据,也只能从头到尾遍历链表。这样查找效率…

Makefile

什么是 Makefile 一个工程中的源文件不计其数,其按类型、功能、模块分别放在若干个目录中, Makefile文件定义了一系列的规则来指定哪些文件需要先编译,哪些文件需要后编 译,哪些文件需要重新编译,甚至于进行更复杂的功…

Plecs最新安装免费版下载链接/Plecs 电力仿真软件4.7.5版本下载/实测能用

Plecs最新安装免费版下载链接 Plecs 电力仿真软件4.7.5版本下载 实测能用:

Flutter 让软键盘不再自动弹起

1、问题说明: 在开发中,经常遇到这种事,一个页面有输入框,点击输入框后,会弹起软键盘,同时输入框会聚焦,手动收起软键盘后,点击另一个按钮前往下一个页面或者显示一个弹窗&#xff0…

web集群学习--基于CentOS构建LVS-DR集群、配置nginx负载均衡

基于CentOS构建LVS-DR集群 环境准备 主机名 ip地址 node1 192.168.1.140 client node2 192.168.1.141 LVS node3 192.168.1.142 RS1 node4 192.168.1.143 RS2配置 1.关闭防火墙和SELinux [rootclient~]# systemctl stop firewalld [rootclient~]# systemctl disabl…

数据可视化(八)堆叠图,双y轴,热力图

1.双y轴绘制 #双Y轴可视化数据分析图表 #add_subplot() dfpd.read_excel(mrbook.xlsx) x[i for i in range(1,7)] y1df[销量] y2df[rate] #用来正常显示负号 plt.rcParams[axes.unicode_minus]False figplt.figure() ax1fig.add_subplot(1,1,1)#一行一列,第一个区域…

机器学习笔记:李宏毅ChatGPT Finetune VS Prompt

1 两种大语言模型:GPT VS BERT 2 对于大语言模型的两种不同期待 2.1 “专才” 2.1.1 成为专才的好处 Is ChatGPT A Good Translator? A Preliminary Study 2023 Arxiv 箭头方向指的是从哪个方向往哪个方向翻译 表格里面的数值越大表示翻译的越好 可以发现专门做翻…

HOT79-跳跃游戏 II

leetcode原题链接&#xff1a;跳跃游戏 II 题目描述 给定一个长度为 n 的 0 索引整数数组 nums。初始位置为 nums[0]。 每个元素 nums[i] 表示从索引 i 向前跳转的最大长度。换句话说&#xff0c;如果你在 nums[i] 处&#xff0c;你可以跳转到任意 nums[i j] 处: 0 < j &…

笔记本WIFI连接无网络【实测有效,不用重启电脑】

笔记本Wifi连接无网络实测有效解决方案 问题描述&#xff1a; 笔记本买来一段时间后&#xff0c;WIFI网络连接开机一段时间还正常连接&#xff0c;但是过一段时间显示网络连接不上&#xff0c;重启电脑太麻烦&#xff0c;选择编写重启网络脚本解决。三步解决问题。 解决方案&a…

2.4 网络安全新技术

数据参考&#xff1a;CISP官方 目录 云计算安全大数据安全移动互联网安全物联网安全工业互联网安全 一、云计算安全 1、云计算定义 云计算是指通过网络访问可扩展的、灵活的物理或虚拟共享资源池&#xff0c;并按需自助获取和管理资源的模式。在云计算中&#xff0c;计算资…

SDXL 1.0出图效果直逼Midjourney!手把手教你快速体验!

介绍 最近&#xff0c;Stability AI正式推出了全新的SDXL 1.0版本。经过我的实际测试&#xff0c;与之前的1.5版本相比&#xff0c;XL的效果有了巨大的提升&#xff0c;可以说是全方位的超越。不仅在理解提示词方面表现出色&#xff0c;而且图片的构图、颜色渲染和画面细腻程度…

一零六七、JVM梳理

JVM&#xff1f; Java虚拟机&#xff0c;可以理解为Java程序的运行环境&#xff0c;可以执行Java字节码&#xff08;Java bytecode&#xff09;并提供了内存管理、垃圾回收、线程管理等功能 java内存区域划分?每块内存中都对应什么? 方法区&#xff1a;类的结构信息、常量池、…

排序算法(九大)- C++实现

目录 基数排序 快速排序 Hoare版本&#xff08;单趟&#xff09; 快速排序优化 三数取中 小区间优化 挖坑法&#xff08;单趟&#xff09; 前后指针法&#xff08;单趟&#xff09; 非递归实现&#xff08;快排&#xff09; 归并排序 非递归实现&#xff08;归并&am…