通用信息抽取大模型PP-UIE开源发布，强化零样本学习与长文本抽取能力，全面适配多场景任务

背景与简介

信息抽取（information extraction）是指，从非结构化或半结构化数据（如自然语言文本）中自动识别、提取并组织出结构化信息。通常包含多个子任务，例如：命名实体识别（NER）、关系抽取（RE）、事件抽取（EE）。由于任务目标的多样性（如实体、关系、事件和情感等）、文本结构的异构性（如片段、三元组、记录等）以及特定应用需求的多变性，传统的信息抽取方法往往针对特定任务或领域进行优化，难以在跨任务或跨领域的情境中迁移和泛化。

随着大语言模型的发展，通用信息抽取大模型逐渐成为主流。此类模型将不同任务和领域统一为端到端的框架，并能够在未见过的数据或领域上展现出较好的性能。然而，当前主流的通用信息抽取大模型通常规模较大，这些模型在本地部署时，面临推理速度较慢、计算资源受限等问题，难以满足实际应用的需求。为应对上述挑战，飞桨团队基于开源模型和高质量数据集，开发了通用信息抽取大模型PP-UIE。PP-UIE借鉴了百度UIE的建模思想，旨在支持中英文信息抽取任务。模型涵盖命名实体识别（NER）、关系抽取（RE）和事件抽取（EE）等任务，提供0.5B、1.5B、7B和14B四个版本，以适应不同场景中的需求。同时模型在零样本预测能力上，在多个数据集（包含 Boson、CLUENER、CCIR2021等常见数据集）相比传统UIE-Base模型的抽取效果大幅度得到提升，具备更好的实用价值。

产品亮点

1. 效果更佳的零样本信息抽取能力PP-UIE具备强零样本学习能力，能快速适应新任务和数据，相比UIE-Base模型在 通用领域、新闻领域等多个数据上效果抽取效果平均提升66% ；相比开源信息抽取大模型YaYi-UIE在F1指标上提高18.3个百分点，相比DeepSeek-R1-Distill-Qwen-14B 在F1指标上提高25.8个百分点。同时PP-UIE具备更好小样本能力，只需要1-10条样本就可以快速提升模型在特定业务上的效果，相比传统的信息抽取模型，大幅降低数据标注成本。

2. 强大的长文档信息抽取能力PP-UIE具备处理长文本能力，能跨越多个段落或句子识别关键信息，形成完整理解。该能力对于大型文档等复杂文本尤为重要，传统的UIE-Base模型只能支持 256 个Token长度的文本抽取，而PP-UIE可以支持8192个Token长度文档的信息抽取，支持的文本长度提升3 2倍。

3. 完备的大模型信息抽取定制能力本模型基于PaddleNLP 3.0，提供模块化、可定制化的训练和推理流程，支持灵活调整以满足不同需求。训练效率较LLama-Factory提升1.8倍 。 同时，在推理阶段，PaddleNLP 3.0还为用户提供了便捷的调用方式，助力用户快速完成模型的部署与实际应用。

欢迎开发者前往开源项目主页直接体验：

https://github.com/PaddlePaddle/PaddleNLP

在这里插入图片描述

亮点一： 效果更佳的零样本信息抽取能力

信息抽取任务中，要获取高质量的标注数据不仅成本高昂，而且耗时长。为了应对这一挑战，PaddleNLP开发的通用信息抽取大模型特别强化了零样本（Zero-shot）学习的能力，旨在通过少量甚至没有标注数据的支持，实现快速冷启动和高效迁移学习。

下表为模型在各数据集的零样本（zero-shot）和小样本（few-shot）能力。

在这里插入图片描述

从表格中可以看出，随着模型规模的增大，无论是零样本（zero-shot）能力还是小样本（few-shot）能力都有显著提升。具体来说：

  • 在零样本（zero-shot）任务中，模型的表现随着规模的增加逐步提高。例如，PP-UIE-0.5B模型在CMeEE数据集中F1分数为0.479，而PP-UIE-14B模型的F1分数则达到了0.556，显示出明显的提升。

抽取内容："嫌疑人,案发城市,资损金额"输出："贺某,孙某,杞县阳堌镇北村,杞县,3700多元,1300元"
  • 在小样本（few-shot）任务中，随着模型参数的增大，F1值也呈现出相应的增长。PP-UIE-14B在CMeEE数据集中少样本条件下的F1达到了0.588，优于其他规模较小的模型。PP-UIE通过在输入数据前增加对应输出格式和输出内容样例，提升模型的输出准确性和格式规范性。

抽取内容："身体部位"zero-shot输出："肾上腺皮质,肾上腺皮质,肾上腺皮质"few-shot输出："肾上腺皮质"

综上所述，模型的规模与其在零样本和小样本任务中的表现成正比，增大模型规模能够显著提高其性能。

在这里插入图片描述

PP-UIE系列 zero-shot和Few-Shot样例

同时我们和开源的信息抽取大模型YaYi-13B、DeepSeek-R1-Distill-Qwen-14B进行了效果对比测试，下表为不同数据集领域中zero-shot的效果对比
在这里插入图片描述

综合来看，PP-UIE-0.5B在零样本任务中的整体表现明显超过YaYi-UIE-13B 和DeepSeek-R1-Distill-Qwen-14B，说明PP-UIE-0.5B具有更强的零样本学习能力，且PP-UIE-0.5B可以大幅降低推理部署成本。

亮点二： 长跨度的信息抽取能力

当前，用户面临着前所未有的海量文本数据，其中不乏长篇文章、报告和文档。因此，用户对于长文信息抽取的必要性愈发凸显。在此背景下，PP-UIE系列模型凭借其长文能力，为用户提供长文信息抽取的高效工具。PP-UIE能跨越多个段落或句子识别关键信息，形成对文本内容的完整理解。传统的UIE-Base模型在处理文本时存在局限性，只能支持256个Token长度的文本抽取，这大大限制了其在处理长文本时的应用。而 PP-UIE 则突破了这一限制，可以支持8192个Token长度的文档级别的信息抽取，使得长文档信息抽取能力得到大幅提升。这一改进使得 PP-UIE 在处理复杂文本时更加高效、准确，具有广泛的应用前景。


抽取内容："嫌疑人,案发城市,资损金额"输出："贺某,孙某,杞县阳堌镇北村,杞县,3700多元,1300元"


抽取内容："时间,公司,财务数据,业务"输出："2023年10月18日,摩根士丹利,2023年第三季度,72亿美元,18%,165亿美元,145亿美元,14%,88亿美元,12%,全球财富管理市场,高净值客户市场,北美和欧洲市场,高净值客户,并购和IPO业务,美国联邦储备系统（美联储）,债券交易业务,债券交易收入,同比下降了8%,人工智能（AI）,数字化金融,科技创新基金,绿色债券,环境、社会和治理（ESG）投资,绿色金融产品,清洁能源项目,可再生能源,碳排放减排技术,高盛集团,瑞士信贷,花旗银行,全球信用卡和零售银行业务,亚洲市场,中国,印度,新兴市场,全球高净值客户,大数据,人工智能"

亮点三： 完备的大模型信息抽取定制能力

对于基础的信息抽取任务，PP-UIE系列模型可以直接上手，高效完成信息抽取。然而，面对更为复杂或特定领域的任务场景，我们强烈推荐利用轻定制功能（即仅需标注少量数据即可对模型进行微调）以进一步提高模型效果。PaddleNLP 为通用信息抽取大模型提供了完整的、可定制化的训练和推理全流程，使用户能够根据具体应用需求灵活调整模型，实现更高效、更精准的信息抽取任务。相较于LLama-Factory，PaddleNLP在训练效率上实现了1.8倍的提升（特别针对7B模型），进一步展示了其在大模型精调上的卓越性能。
在这里插入图片描述

1. 定制自己的训练数据集

步骤1：准备语料并标注

首先，需要准备相应的预标注文本，预标注文本中一行代表一条数据，并保存为txt以下格式

2022年语言与智能技术竞赛由中国中文信息学会和中国计算机学会联合主办，百度公司、中国中文信息学会评测工作委员会和中国计算机学会自然语言处理专委会承办，已连续举办4届，成为全球最热门的中文NLP赛事之一。

我们推荐使用数据标注平台doccano进行数据标注，标注方法的详细介绍请参考doccano数据标注指南。标注完成后，在doccano平台上导出文件。

· doccano数据标注指南：

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/llm/application/doccano.md

步骤2：数据集格式转换

在doccano平台上导出的json格式的文件，通常不能直接用来模型微调。PaddleNLP也打通了从标注到训练的通道，即doccano导出数据后可通过doccano.py脚本轻松将数据转换为输入模型时需要的形式，实现无缝衔接。

--doccano_file your/data/path \--save_dir ./data \--splits 0.8 0.2 0 \--schema_lang ch

执行以上脚本进行数据转换，执行后会在./data目录下生成训练/验证/测试集文件。

2. 模型微调

推荐使用大模型精调对模型进行微调。只需输入模型、数据集等就可以高效快速地进行微调和模型压缩等任务，可以一键启动多卡训练、混合精度训练、梯度累积、断点重启、日志显示等功能，并且针对训练过程的通用训练配置做了封装，比如：优化器、学习率调度等。

使用下面的命令，使用paddlenlp/PP-UIE-1.5B作为预训练模型进行模型微调，将微调后的模型保存至指定路径中。

如果在GPU环境中使用，可以指定gpus参数进行多卡训练：


# 返回llm目录python -u  -m paddle.distributed.launch --gpus "0,1" run_finetune.py ./config/qwen/sft_argument.json

sft_argument.json的参考配置如下：

"model_name_or_path": "paddlenlp/PP-UIE-1.5B","dataset_name_or_path": "./application/information_extraction/data","output_dir": "./checkpoints/ie_ckpts","per_device_train_batch_size": 1,"gradient_accumulation_steps": 1,"per_device_eval_batch_size": 1,"eval_accumulation_steps":8,"num_train_epochs": 3,"learning_rate": 3e-05,"warmup_steps": 30,"logging_steps": 1,"evaluation_strategy": "epoch","save_strategy": "epoch","src_length": 1024,"max_length": 2048,"fp16": true,"fp16_opt_level": "O2","do_train": true,"do_eval": true,"disable_tqdm": true,"load_best_model_at_end": true,"eval_with_do_generation": false,"metric_for_best_model": "accuracy","recompute": false,"save_total_limit": 1,"tensor_parallel_degree": 1,"pipeline_parallel_degree": 1,"sharding": "stage2","zero_padding": false,"unified_checkpoint": true,"use_flash_attention": false}

3. 定制模型一键推理

PaddleNLP提供了两种可选的方式对模型进行推理：
（1）使用 PaddleNLP的高性能 predictor进行快速推理
  • 内置全环节融合算子策略
  • 支持 Weight Only INT8及 INT4推理，支持权重、激活、Cache KV 进行 INT8、FP8量化的推理
  • 支持动态图推理和静态图推理两种方式

python predict/predictor.py \--model_name_or_path paddlenlp/PP-UIE-1.5B \--dtype float16 \--data_file ./application/information_extraction/data/test.json \--output_file ./output.json \--src_length  512 \--max_length  20 \--batch_size  4 \

更多关于predictor.py的配置参数说明，请参考大模型推理教程：

https://paddlenlp.readthedocs.io/zh/latest/llm/docs/predict/inference.html**

（2）使用taskflow进行快速推理

paddlenlp.Taskflow支持装载定制模型，通过task_path指定模型权重文件的路径，路径下需要包含训练好的模型权重文件


>>> from paddlenlp import Taskflow>>> schema = {"竞赛名称": ["主办方", "承办方", "已举办次数"]}# 设定抽取目标和定制化模型权重路径>>> my_ie = Taskflow("information_extraction", schema=schema, model='paddlenlp/PP-UIE-1.5B',precision = "bfloat16", task_path='./checkpoints/ie_ckpts')>>> pprint(my_ie("2022年语言与智能技术竞赛由中国中文信息学会和中国计算机学会联合主办，百度公司、中国中文信息学会评测工作委员会和中国计算机学会自然语言处理专委会承办，已连续举办4届，成为全球最热门的中文NLP赛事之一。"))[{'竞赛名称': [{'relations': {'主办方': [{'text': '中国中文信息学会,中国计算机学会'}],'已举办次数': [{'text': '4'}],'承办方': [{'text': '百度公司,中国中文信息学会评测工作委员会,中国计算机学会自然语言处理专委会'}]},'text': '2022年语言与智能技术竞赛'}]}]

· 飞桨星河社区教程链接

https://aistudio.baidu.com/projectdetail/8796056

· PaddleNLP 链接

https://github.com/PaddlePaddle/PaddleNLP

为了帮助您迅速且深入地了解PP-UIE，并熟练掌握实际操作技巧，百度高级研发工程师为您详细解读从通用信息抽取大模型 PP-UIE在多场景任务下的信息抽取能力，课程视频点击链接入群即可观看；另外，我们还为您开展《PP-UIE信息抽取》实战营，助力实操PP-UIE进行信息抽取，报名即可免费获得项目消耗算力（限时一周），名额有限，先到先得:https://www.wjx.top/vm/mBKC6pb.aspx?udsid=611062

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/29213.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

前端开发10大框架深度解析

前端开发10大框架深度解析

摘要 在现代前端开发中，框架的选择对项目的成功至关重要。本文旨在为开发者提供一份全面的前端框架指南，涵盖 React、Vue.js、Angular、Svelte、Ember.js、Preact、Backbone.js、Next.js、Nuxt.js 和 Gatsby。我们将从 简介、优缺点、适用场景 以及 实际…
阅读更多...
AI数据分析：deepseek生成SQL

AI数据分析：deepseek生成SQL

在当今数据驱动的时代，数据分析已成为企业和个人决策的重要工具。随着人工智能技术的快速发展，AI 驱动的数据分析工具正在改变我们处理和分析数据的方式。本文将着重介绍如何使用 DeepSeek 进行自动补全SQL 查询语句。 我们都知道，SQL 查询语…
阅读更多...
解决：Word 保存文档失败，重启电脑后，Word 在试图打开文件时遇到错误

解决：Word 保存文档失败，重启电脑后，Word 在试图打开文件时遇到错误

杀千刀的微软，设计的 Word 是个几把，用 LaTex 写完公式，然后保存，卡的飞起 我看文档卡了很久，就关闭文档，然后 TMD 脑抽了重启电脑 重启之后，文档打不开了，显示 杀千刀的&#xff…
阅读更多...
【LeetCode 热题 100】3. 无重复字符的最长子串 | python 【中等】

【LeetCode 热题 100】3. 无重复字符的最长子串 | python 【中等】

美美超过管解 题目： 3. 无重复字符的最长子串 给定一个字符串 s ，请你找出其中不含有重复字符的 最长的长度。 示例 1: 输入: s "abcabcbb" 输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。 注…
阅读更多...
weblogic部署报错汇总

weblogic部署报错汇总

weblogic部署报错汇总 Weblogic部署遇到的问题 1.部署完weblogic，进入weblogic控制台，后提示无资源可访问。 解决方法： 权限问题，检查weblogic应用的启动用户和所属用户是否一致。 2. 安装weblogic，创建域的时候特别…
阅读更多...
如何在后端服务发布过程中使用蓝绿部署

如何在后端服务发布过程中使用蓝绿部署

一、概念 蓝绿部署（Blue-Green Deployment）是一种常用的零停机发布策略，旨在减少发布过程中的风险和系统停机时间。它通过在同一环境中并行维护两个相似的环境（蓝色环境和绿色环境）来实现无缝的应用发布。以下是蓝绿部署策略在后端服务发布中的应用流程以及一些注意事项。…
阅读更多...
辛格迪客户案例 | 深圳善康医药科技GMP培训管理（TMS）项目

辛格迪客户案例 | 深圳善康医药科技GMP培训管理（TMS）项目

01 善康医药：创新药领域的探索者 深圳善康医药科技股份有限公司自2017年创立以来，便扎根于创新药研发领域，专注于成瘾治疗药物的研究、生产与销售。公司坐落于深圳，凭借自身独特的技术优势与研发实力，在行业内逐渐崭露…
阅读更多...
ArcGIS Pro：轻松制作地震动画，洞察灾害动态

ArcGIS Pro：轻松制作地震动画，洞察灾害动态

在当今的信息展示领域，动画因其直观、生动的特点，逐渐成为各类汇报、研究展示中的重要元素。 尤其是在地理信息领域，通过动画来展示动态的地理现象，能够让观众更清晰地理解数据背后所蕴含的信息。 地震作为一种突发性的自然灾害…
阅读更多...
redis测评

redis测评

一、身份鉴别 身份标识与鉴别 Redis默认无口令即可登录，需通过配置文件（redis.conf）设置requirepass参数启用密码认证。密码需满足复杂度要求（如长度、字符组合），但Redis自身不支持复杂度策略，需…
阅读更多...
单例模式的五种实现方式

单例模式的五种实现方式

1、饿汉式 ①实现：在类加载的时候就初始化实例 ②优点：线程安全 ③缺点：实例在类加载的时候创建，可能会浪费资源 //饿汉式 public class EagerSingleton{private EagerSingleton(){} //私有构造方法private static EagerSingle…
阅读更多...
2025-03-04 学习记录--C/C++-C语言 判断是否是素数

2025-03-04 学习记录--C/C++-C语言 判断是否是素数

合抱之木&#xff0c;生于毫末&#xff1b;九层之台&#xff0c;起于累土&#xff1b;千里之行&#xff0c;始于足下。&#x1f4aa;&#x1f3fb; C语言 判断是否是素数 一、代码 ⭐️ #include <stdio.h> #include <stdbool.h> // 使用 bool 类型// 判断是否是…
阅读更多...
MR的环形缓冲区（底层）

MR的环形缓冲区（底层）

MapReduce的大致流程&#xff1a; 1、HDFS读取数据&#xff1b; 2、按照规则进行分片&#xff0c;形成若干个spilt&#xff1b; 3、进行Map 4、打上分区标签&#xff08;patition&#xff09; 5、数据入环形缓冲区&#xff08;KVbuffer&#xff09; 6、原地排序&#xff…
阅读更多...
LeetCode hot 100—二叉树的中序遍历

LeetCode hot 100—二叉树的中序遍历

题目 给定一个二叉树的根节点 root &#xff0c;返回 它的 中序 遍历 。 示例 示例 1&#xff1a; 输入&#xff1a;root [1,null,2,3] 输出&#xff1a;[1,3,2]示例 2&#xff1a; 输入&#xff1a;root [] 输出&#xff1a;[]示例 3&#xff1a; 输入&#xff1a;root […
阅读更多...
aws(学习笔记第三十一课) aws cdk深入学习（batch-arm64-instance-type）

aws(学习笔记第三十一课) aws cdk深入学习（batch-arm64-instance-type）

aws(学习笔记第三十一课) aws cdk深入学习 学习内容&#xff1a; 深入练习aws cdk下部署batch-arm64-instance-type 1. 深入练习aws cdk下部署batch-arm64-instance-type 代码链接 代码链接 代码链接 -> batch-arm64-instance-type之前代码学习 之前学习代码链接 -> aw…
阅读更多...
C语言基础之【指针】（下）

C语言基础之【指针】（下）

C语言基础之【指针】&#xff08;下&#xff09; 指针和字符串字符指针字符指针做函数参数const修饰的指针变量指针数组做为main函数的形参项目开发常用字符串应用模型while和do-while模型两头堵模型字符串反转模型 字符串处理函数strchr()strrchr()strstr()strtok()strcpy()st…
阅读更多...
【够用就好006】如何从零开发游戏上架steam面向AI编程的godot独立游戏制作实录001流程

【够用就好006】如何从零开发游戏上架steam面向AI编程的godot独立游戏制作实录001流程

记录工作实践 这是全新的系列&#xff0c;一直有个游戏制作梦 感谢AI时代&#xff0c;让这一切变得可行 长欢迎共同见证&#xff0c;期更新&#xff0c;欢迎保持关注&#xff0c;待到游戏上架那一天&#xff0c;一起玩 面向AI编程的godot独立游戏制作流程实录001 本期是第…
阅读更多...
java 重点知识 — JVM存储模块与类加载器

java 重点知识 — JVM存储模块与类加载器

1 jvm主要模块 方法区 存储了由类加载器从.class文件中解析的类的元数据&#xff08;类型信息、域信息、方法信息&#xff09;及运行时常量池&#xff08;引用符号及字面量&#xff09;。 所有线程共享&#xff1b;内存不要求连续&#xff0c;可扩展&#xff0c;可能发生垃圾回…
阅读更多...
Docker基础篇——什么是Docker与Docker的仓库、镜像、容器三大概念

Docker基础篇——什么是Docker与Docker的仓库、镜像、容器三大概念

大家好我是木木&#xff0c;在当今快速发展的云计算与云原生时代&#xff0c;容器化技术蓬勃兴起&#xff0c;Docker 作为实现容器化的主流工具之一&#xff0c;为开发者和运维人员带来了极大的便捷 。下面我们一起了解下什么是Docker与与Docker的仓库、镜像、容器三大概念。 …
阅读更多...
网页制作11-html,css,javascript初认识のCCS样式列表（下）

网页制作11-html,css,javascript初认识のCCS样式列表（下）

六、外边距，内边距，边框属性 盒子模型： 1、外边距：margin img{ margin:40px 30px 10px 20px; }/*外边距复合属性:上右下左*/ 2、内边距 body{ padding:10px 20px 40px 30px; }/*内边距复合属性:上右下左*/ 3、边框 1）边框样式 取…
阅读更多...
爬虫Incapsula reese84加密案例：Etihad航空

爬虫Incapsula reese84加密案例：Etihad航空

声明： 该文章为学习使用，严禁用于商业用途和非法用途，违者后果自负，由此产生的一切后果均与作者无关 一、找出需要加密的参数 1.js运行 atob(‘aHR0cHM6Ly93d3cuZXRpaGFkLmNvbS96aC1jbi8=’) 拿到网址，F12打开调试工具，随便搜索航班，切换到network搜索一个时间点可以找…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023