使用生成式 AI 增强亚马逊云科技智能文档处理

数据分类、提取和分析对于处理大量文档的组织来说可能具有挑战性。传统的文档处理解决方案是手动的、昂贵的、容易出错的,并且难以扩展。利用 Amazon Textract 等 AI 服务,亚马逊云科技智能文档处理(IDP)允许您利用业界领先的机器学习(ML)技术来快速准确地处理任何扫描文档或图像中的数据。生成式人工智能(生成式AI)补充了 Amazon Textract, 以进一步自动化文档处理工作流程。诸如标准化关键字段和汇总输入数据等功能支持更快地管理文档流程工作流程,同时减少错误的可能性。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

生成式 AI 由称为基础模型(FMs)的大型 ML 模型驱动。FMs 正在改变您可以解决传统上复杂文档处理工作负载的方式。除了现有的功能之外,企业需要汇总来自诸如财务报告和银行对账单等文档的特定类别的信息。FMs 使从提取的数据中生成此类见解变得更加容易。为了优化人工审核所花费的时间并提高员工的工作效率,可以以自动化的方式标记诸如电话号码中缺少数字,缺少文档或地址中缺少门牌号等错误。在当前场景中,您需要投入资源通过人工审核和复杂的脚本来完成这些任务。这种方法既乏味又昂贵。FMs 可以帮助以更快的速度、更少的资源完成这些任务,并将不同的输入格式转换为可以进一步处理的标准模板。在亚马逊云科技,我们提供诸如 Amazon Bedrock 等服务,这是使用FMs构建和扩展生成式 AI 应用程序的最简单方法。 Amazon Bedrock 是一个完全托管的服务,通过 API 提供来自领先的 AI 创业公司和 Amazon FMs,以便您可以找到最适合您要求的模型。 我们还提供 Amazon SageMaker JumpStart,它允许 ML 从业人员从广泛的开源FMs中进行选择。 ML 从业人员可以将FMs部署到专用 Amazon SageMaker 实例中从一个网络隔离的环境中,并使用SageMaker 定制模型进行模型训练和部署。

Ricoh 提供旨在帮助客户管理和优化业务信息流的工作场所解决方案和数字化转型服务。产品组合解决方案开发副总裁 Ashok Shenoy 说:“我们正在将生成式 AI 添加到我们的 IDP 解决方案中,以帮助客户利用诸如问答、汇总和标准化输出等新功能更快、更准确地完成工作。 亚马逊云科技允许我们在保持每个客户的数据分离和安全的同时利用生成式AI。”

在本文中,我们将分享如何使用生成式 AI 增强亚马逊云科技上的 IDP 解决方案。

改进 IDP 流程

在本节中,我们将回顾如何通过 FMs 增强传统的 IDP 流程,并通过 Amazon Textract 与 FMs 的示例用例进行演练。

Amazon IDP 由三个阶段组成:分类、提取和扩充。有关每个阶段的更多详细信息,请参阅使用亚马逊云科技 AI 服务进行智能文档处理:第1部分和第2部分。在分类阶段,FMs 现在可以在没有任何额外训练的情况下对文档进行分类。这意味着即使模型之前没有见过类似的示例,也可以对文档进行分类。提取阶段的FMs可以标准化日期字段、验证地址和电话号码,同时确保一致的格式。丰富阶段的 FMs 允许推理、逻辑推理和总结。当您在每个 IDP 阶段使用 FMs 时,您的工作流程将更加流畅,性能也会得到改进。下图说明了具有生成式AI 的 IDP 流程。

9-1.How-to-get-started.png

IDP 流程的提取阶段

当 FMs 无法直接以原生格式(如 PDF、img、jpeg 和 tiff)作为输入来处理文档时,需要一种机制将文档转换为文本。为了从文档中提取文本然后将其发送到 FMs 进行进一步处理,您可以使用 Amazon Textract。使用 Amazon Textract,您可以提取行和单词,并将它们传递给下游的 FMs。以下架构使用 Amazon Textract 从任何类型的文档中准确提取文本,然后将其发送到FMs进行进一步处理。

9-2.textract-and-FM.png

通常,文档包含结构化和半结构化信息。Amazon Textract 可用于从表格和表单中提取原始文本和数据。表格和表单中的数据关系在自动化业务过程方面发挥着至关重要的作用。某些类型的信息可能无法由 FMs 直接处理。因此,我们可以选择将此信息存储在下游存储中或将其发送到 FMs。下图是一个例子,展示了 Amazon Textract 如何从文档中提取结构化和半结构化信息,以及需要由 FMs 处理的文本行。

9-3.ML-14527-input-putput-image.png

使用亚马逊云科技无服务器服务利用 FMs 进行总结

我们前面演示的 IDP 流程可以使用亚马逊云科技无服务器服务无缝自动化。大型企业中存在高度非结构化的文档。这些文档可能跨越从银行业的证券交易委员会(SEC)文件到医疗保险行业的保障文件等多个行业。随着亚马逊云科技上生成式 AI 的发展,这些行业的人们正在寻找以自动化和经济高效的方式从这些文档中获取摘要的方法。无服务器服务提供了一种快速构建 IDP 解决方案的机制。诸如 Amazon Lambda、Amazon Step Functions 和 Amazon EventBridge 等服务可以帮助构建与 FMs 集成的文档处理流程,如下图所示。

9-4.serverless-services.jpg

上述架构中使用的示例应用程序是事件驱动的。事件被定义为最近发生的状态变化。例如,当对象被上传到 Amazon Simple Storage Service (Amazon S3) 存储桶时,Amazon S3 会发出对象创建事件。来自 Amazon S3 的此事件通知可以触发 Lambda 函数或 Step Functions 工作流程。这种类型的架构称为事件驱动架构。在本文中,我们的示例应用程序使用事件驱动架构来处理示例病人出院小结,并总结文档的详细信息。工作流程如下:

  1. 当文档上传到 S3 存储桶时,Amazon S3 会触发对象创建事件。

  2. EventBridge 默认事件总线根据 EventBridge 规则将事件传播到 Step Functions。

  3. 状态机工作流程开始处理文档,从 Amazon Textract 开始。

  4. Lambda 函数转换经过分析的数据以用于下一步。

  5. 状态机调用托管 FM 的 SageMaker endpoint,通过直接的 Amazon SDK 集成。

  6. 摘要 S3 目标存储桶接收从 FM 收集的摘要响应。

我们使用示例应用程序及 flan-t5 Hugging face 模型来总结以下使用 Step Functions 工作流程的示例病人出院小结。

9-5.patient-discharge.png

Step Functions工作流程使用 Amazon SDK 集成调用 Amazon Textract AnalyzeDocument 和 SageMaker 运行时InvokeEndpoint API,如下图所示。

9-6.flow-of-functions.png

此工作流程生成存储在目标存储桶中的摘要 JSON 对象。JSON 对象如下所示:

{"summary": ["John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help."],"forms": [{"key": "Ph: ","value": "(888)-(999)-(0000) "},{"key": "Fax: ","value": "(888)-(999)-(1111) "},{"key": "Patient Name: ","value": "John Doe "},{"key": "Patient ID: ","value": "NARH-36640 "},{"key": "Gender: ","value": "Male "},{"key": "Attending Physician: ","value": "Mateo Jackson, PhD "},{"key": "Admit Date: ","value": "07-Sep-2020 "},{"key": "Discharge Date: ","value": "08-Sep-2020 "},{"key": "Discharge Disposition: ","value": "Home with Support Services "},{"key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ","value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. "},{"key": "Summary: ","value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet "}]}

使用 IDP 与无服务器实现在大规模上生成这些摘要,可以以高效的方式为组织提供有意义、简洁和可呈现的数据。 Step Functions 不限于一次处理一个文档的方式来处理文档。它的分布式映射功能可以按计划总结大量文档。

示例应用程序使用 flan-t5 Hugging face 模型;但是,您可以选择自己的 FM endpoint。模型的训练和运行超出了示例应用程序的范围。请遵循 GitHub 仓库中的说明来部署示例应用程序。上述架构提供了如何使用 Step Functions 编排 IDP 工作流的指导。有关使用亚马逊云科技 AI 服务和 FMs 构建应用程序的详细说明,请参阅 IDP 生成式AI Workshop。

设置解决方案

按照 README 中的步骤设置解决方案架构(SageMaker endpoint 除外)。在您拥有自己的 SageMaker endpoint 后,可以将 endpoint 名称作为参数传递给模板。

清理

为了节省费用,请删除教程中部署的资源:

  1. 按照 README 中的清理部分的步骤进行操作。

  2. 从 Amazon S3 控制台中删除 S3 存储桶中的任何内容,然后删除存储桶。

  3. 通过 SageMaker 控制台删除您可能创建的任何 SageMaker endpoint。

结论

生成式 AI 正在改变您可以如何使用 IDP 来洞察文档。Amazon Textract 等亚马逊云科技 AI 服务以及 Amazon FMs 可以帮助准确处理任何类型的文档。有关在亚马逊云科技上使用生成式AI的更多信息,请参阅发布在亚马逊云科技上构建生成式 AI 的新工具。

文章来源:https://dev.amazoncloud.cn/column/article/64e5fcaa5cf856038494f188?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/122176.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android后退堆栈

修改代码 现在的ItemClick使得用户单击其中一个项目时就会跳转,现在要修改其使得在一个小屏幕设备上才会这样做,在一个大屏幕设备上运行用户选择一个训练项目时在右边的片段显示响应的信息。 希望片段处理后退的方式:假设用户在手机上运行这…

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

在一起,共迎新机遇!8月25-26日,2023华为数据存储用户精英论坛在西宁召开。酷克数据作为国内云原生数据仓库的代表企业,也是华为重要的生态合作伙伴,受邀参与本次论坛,并展示了云数仓领域最新前沿技术以及联…

华为云Stack的学习(五)

六、华为云stack服务简介 1.云服务在华为云Stack中的位置 云服务对接多个数据中心资源池层提供的资源,并向各种行业应用提供载体。 2.华为云Stack通用服务 2.1 云计算的服务模式 2.2 计算相关的云服务 2.3 存储相关的云服务 2.4 网络相关的云服务 3.云化案例 **…

C#,数值计算——NRf2的计算方法与源程序

1 文本格式 using System; namespace Legalsoft.Truffer { public class NRf2 : UniVarRealValueFun { public NRf3 f3 new NRf3(); public RealValueFun z1; public RealValueFun z2; public NRf2(RealValueFun zz1, RealValueFun zz2) …

SLAM从入门到精通(矩阵的使用)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 学习SLAM,离开了矩阵肯定是玩不转的。大学数学里面除了微积分,剩下的就是线性代数和概率论。而矩阵就是线性代数的一部分。…

微信短链跳转到小程序指定页面调试

首先说下背景:后端给了短链地址,但是无法跳转到指定页面。总是在小程序首页。指定的页面我们是h5页面。排查步骤如下: 1、通过快速URL Scheme 编译。上部普通编译 下拉找到此选项。 、 2、按照小程序的要求的URL Scheme输入。另外后端给的…

事务的优化

例子: 举例:假设我们有一个文件上传的uploadFile方法,在这个方法中我们会先执行上传一个文件到分布式文件系统中的方法addMediaFilesToMinIO( ),上传成功后执行文件资源数据入库的addMediaFilesToDb( ),那么这个时候事务应该加在哪…

Revit SDK 介绍:EventsMonitor 事件监控器

前言 这个例子实现了一个事件监控器,当有事件被触发的时候,会生成一条日志记录。 内容 核心逻辑: 用户通过对话框选择想要注册的事件对选中的事件进行注册,事件处理函数都是app_eventsHandlerMethod当事件被触发,事…

uniapp实现移动端的视频图片轮播组件

1、视频轮播组件app体验地址 https://tt.appc02.com/nesxr6 2、支持小程序、H5、APP,在小程序上运行的效果图 3、使用方法 第一步,按照截图步骤配置好 "app-plus": {"subNVues": [{"id": "videoMask", // 唯…

Vue3+Ts实现父子组件间传值的两种方式

文章目录 写在前面1、v-modelemit传值1.1父向子传递数据1.2子向父传递数据 2、使用v-bindemit2.1父向子传递数据2.2子向父传递数据 总结 写在前面 对于常用的组件间传参最近有了有点小心得总结一下,主要是两种子向父组件传参的方式总结。欢迎评论区讨论 概览&…

Jmeter性能综合实战 —— 签到及批量签到

提取性能测试的三个方面:核心、高频、基础功能 签 到 请 求 步 骤 1、准备工作: 签到线程组n HTTP请求默认值n HTTP cookie 管理器n 首页访问请求n 登录请求n 查看结果树n 调试取样器l HTTP代理服务器 (1)创建线程组 &#xf…

Build阶段-Maven安装配置

构建Java项目的工具一般有两种选择,一个是Maven,一个是Gradle。 这里我们选择Maven作为项目的编译工具。 具体安装Maven流程不做阐述,但是需要确保配置好Maven仓库私服以及JDK编译版本

哈希的应用——位图

文章目录 前言1. 面试题思考2. 位图2.1 位图的概念2.2 思路讲解及代码实现结构定义构造函数set和reset接口实现set和reset测试观察test接口实现test接口测试思考 3. 位图的应用习题1习题2习题3 4. 总结5. 源码5.1 bitset.h5.2 Test.c 前言 前面的文章里我们学习了哈希表&#x…

vs+opencv+QT调试程序

2021-09-28vsopencvQT简单的图像处理工程_opencv 用qt还是vs_二两山栀子的博客-CSDN博客 【vsopencvQt搭建简单的图像处理界面】https://www.bilibili.com/video/BV16T411j7XQ?vd_source0aeb782d0b9c2e6b0e0cdea3e2121eba 调试过程一直出现这种问题,后来改DEBUG为…

JAVA宝典----容器(理解记忆)

目录 一、Java Collections框架是什么? 二、什么是迭代器? 三、Iterator与ListIterator有什么区别? 四、ArrayList、Vector和LinkedList有什么区别? 五、HashMap、Hashtable、TreeMap和WeakHashMap有哪些区别? 六…

一辆新能源汽车的诞生之旅:比亚迪常州工厂探营

作为在新能源汽车领域首屈一指的国产品牌,比亚迪近年来可以说是捷报频传,高奏凯歌。 以比亚迪常州工厂为例,据介绍该工厂当初规划设计时定下的生产目标,是年产量能够达到20万辆。然而在2023年上半年,该工厂光是主要销往…

自然语言处理实战项目17-基于多种NLP模型的诈骗电话识别方法研究与应用实战

大家好,我是微学AI,今天给大家介绍一下自然语言处理实战项目17-基于NLP模型的诈骗电话识别方法研究与应用,相信最近小伙伴都都看过《孤注一掷》这部写实的诈骗电影吧,电影主要围绕跨境网络诈骗展开,电影取材自上万起真…

「网页开发|前端开发|Vue」05 Vue实战:从零到一实现一个网站导航栏

本文主要介绍如何从最开始的草图,通过确定基本结构、修改元素布局、美化外观来实现一个网站导航栏,从而熟悉网页开发的基本流程。同时,我们会把性能、规范性、可维护性方面的代码优化也考虑其中。 文章目录 本系列前文传送门一、场景说明&am…

Mac Homebrew中常用的 Brew 命令

Mac 中常用的 Brew 命令集 Brew(Homebrew)是一个强大的包管理器,用于在 macOS 上安装、更新和管理各种软件包。它使得在 Mac 上安装开发工具、应用程序和库变得轻松和便捷。本博客将介绍一些在 Mac 中常用的 Brew 命令,以帮助您更…

用通俗易懂的方式讲解大模型分布式训练并行技术:流水线并行

近年来,随着Transformer、MOE 架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此,我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。 而利用AI集群&…