Hutool - DFA:基于 DFA 模型的多关键字查找

一、简介

在文本处理中,常常需要在一段文本里查找多个关键字是否存在,例如敏感词过滤、关键词匹配等场景。Hutool - DFA 模块基于确定性有限自动机(Deterministic Finite Automaton,DFA)模型,为我们提供了高效的多关键字查找功能。DFA 模型是一种状态机,它通过预先构建一个状态转移表,能够在一次遍历文本的过程中,快速判断是否存在多个关键字,时间复杂度为 O ( n ) O(n) O(n),其中 n n n 是文本的长度,这使得它在处理大规模文本和大量关键字时具有很高的效率。

二、引入依赖

若使用 Maven 项目,在 pom.xml 中添加以下依赖:

<dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.16</version>
</dependency>

如果是 Gradle 项目,在 build.gradle 中添加:

implementation 'cn.hutool:hutool-all:5.8.16'
三、基本使用步骤
1. 创建 DFA 匹配器
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class DFAExample {public static void main(String[] args) {// 创建 WordTree 对象,用于构建 DFA 模型WordTree wordTree = new WordTree();// 添加关键字List<String> keywords = new ArrayList<>();keywords.add("苹果");keywords.add("香蕉");keywords.add("葡萄");wordTree.addWords(keywords);}
}

在上述代码中,首先创建了一个 WordTree 对象,它是 Hutool - DFA 中用于构建 DFA 模型的核心类。然后,创建一个包含多个关键字的列表,并使用 addWords 方法将这些关键字添加到 WordTree 中,从而完成 DFA 模型的构建。

2. 进行关键字查找
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class DFAExample {public static void main(String[] args) {// 创建 WordTree 对象,用于构建 DFA 模型WordTree wordTree = new WordTree();// 添加关键字List<String> keywords = new ArrayList<>();keywords.add("苹果");keywords.add("香蕉");keywords.add("葡萄");wordTree.addWords(keywords);// 待查找的文本String text = "我喜欢吃苹果和香蕉。";// 查找文本中包含的关键字List<FoundWord> foundWords = wordTree.matchAll(text);for (FoundWord foundWord : foundWords) {System.out.println("找到关键字:" + foundWord.getWord() + ",起始位置:" + foundWord.getStartIndex() + ",结束位置:" + foundWord.getEndIndex());}}
}

在这个代码片段中,定义了一段待查找的文本,然后使用 matchAll 方法在文本中查找之前添加的关键字。matchAll 方法会返回一个 FoundWord 对象的列表,每个 FoundWord 对象包含了找到的关键字、关键字在文本中的起始位置和结束位置。通过遍历这个列表,我们可以输出找到的关键字及其位置信息。

四、高级用法
1. 忽略大小写匹配
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class CaseInsensitiveDFAExample {public static void main(String[] args) {WordTree wordTree = new WordTree();List<String> keywords = new ArrayList<>();keywords.add("Apple");wordTree.addWords(keywords);String text = "I like apple.";// 忽略大小写进行匹配List<FoundWord> foundWords = wordTree.matchAll(text, true);for (FoundWord foundWord : foundWords) {System.out.println("找到关键字:" + foundWord.getWord() + ",起始位置:" + foundWord.getStartIndex() + ",结束位置:" + foundWord.getEndIndex());}}
}

matchAll 方法中,第二个参数设置为 true 表示忽略大小写进行匹配。这样,即使文本中的关键字大小写与添加的关键字不一致,也能被正确匹配。

2. 最长匹配原则
import cn.hutool.dfa.FoundWord;
import cn.hutool.dfa.WordTree;
import java.util.ArrayList;
import java.util.List;public class LongestMatchDFAExample {public static void main(String[] args) {WordTree wordTree = new WordTree();List<String> keywords = new ArrayList<>();keywords.add("苹果");keywords.add("红苹果");wordTree.addWords(keywords);String text = "我喜欢吃红苹果。";// 开启最长匹配List<FoundWord> foundWords = wordTree.matchAll(text, false, true);for (FoundWord foundWord : foundWords) {System.out.println("找到关键字:" + foundWord.getWord() + ",起始位置:" + foundWord.getStartIndex() + ",结束位置:" + foundWord.getEndIndex());}}
}

matchAll 方法中,第三个参数设置为 true 表示使用最长匹配原则。在上述示例中,文本中包含“红苹果”,由于开启了最长匹配,只会匹配到“红苹果”,而不会匹配到“苹果”。

五、注意事项
  • 关键字添加顺序:关键字的添加顺序不影响匹配结果,因为 DFA 模型是基于状态转移的,所有关键字会被统一构建到状态转移表中。
  • 性能考虑:DFA 模型在处理大规模文本和大量关键字时具有较高的性能,但在构建 DFA 模型时,需要消耗一定的内存和时间。因此,在实际应用中,应根据具体情况合理管理关键字的数量。
  • 字符编码:确保文本和关键字使用相同的字符编码,避免因编码问题导致匹配失败。

通过使用 Hutool - DFA,开发者可以方便地实现高效的多关键字查找功能,无论是敏感词过滤、信息检索还是其他文本处理场景,都能轻松应对。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21798.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2025.2.23机器学习笔记:PINN文献阅读

2025.2.23周报 一、文献阅读题目信息摘要Abstract创新点网络架构架构A架构B架构C 实验结论后续展望 一、文献阅读 题目信息 题目&#xff1a; Physics-Informed Neural Networks for Modeling Water Flows in a River Channel期刊&#xff1a; IEEE TRANSACTIONS ON ARTIFICI…

SpringBoot 配置文件

介绍 配置文件时用来解决硬编码问题&#xff0c;把可能会发生改变的信息放在一个集中的地方也就说配置文件上&#xff0c;当我们启动某个程序的时候&#xff0c;应用程序会从配置文件中读取数据&#xff0c;并加载运行。 硬编码是指将数据直接嵌入到源代码中&#xff0c;也就…

Redis三剑客解决方案

文章目录 缓存穿透缓存穿透的概念两种解决方案: 缓存雪崩缓存击穿 缓存穿透 缓存穿透的概念 每一次查询的 key 都不在 redis 中&#xff0c;数据库中也没有。 一般都是属于非法的请求&#xff0c;比如 id<0&#xff0c;比如可以在 API 入口做一些参数校验。 大量访问不存…

LeeCode题库第二十八题

28.找出字符串第一个匹配项的下标 项目场景&#xff1a; 给你两个字符串 haystack 和 needle &#xff0c;请你在 haystack 字符串中找出 needle 字符串的第一个匹配项的下标&#xff08;下标从 0 开始&#xff09;。如果 needle 不是 haystack 的一部分&#xff0c;则返回 …

亚马逊AI图像模型Nova深度体验(含源代码)(上)

在本系列的上篇中&#xff0c;我们介绍了如何利用Amazon Nova Canvas进行创意图片内容生成&#xff0c;并使用Amazon Bedrock的InvokeModel API进行文本到图像&#xff08;文生图&#xff09;的生成。并且介绍了Nova Canvas提供的广泛的功能&#xff0c;包括图像修复、画布扩展…

【MySQL】第八弹---全面解析数据库表的增删改查操作:从创建到检索、排序与分页

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】【C详解】【Linux系统编程】【MySQL】 目录 1 表的增删改查 1.1 Create 1.1.1 单行数据 全列插入 1.1.2 多行数据 指定列插入 1.1.3 插入否则更新 1.1.4 替…

标量化rknn的输入输出向量转换处理

这是一篇技术探索。yolo11模型生成后&#xff0c;我发现它无法在rknn环境正确识别出目标对象。而在宿主机上&#xff0c;或者直接调用.pt转换过的.onnx模型是可以得到正确结果的。这篇文章对应近乎一天的工作。最终的结论就是。这是一个模型量化的问题&#xff0c;与yolo的版本…

边缘安全加速(Edge Security Acceleration)

边缘安全加速&#xff08;Edge Security Acceleration&#xff0c;简称ESA&#xff09;是一种通过将安全功能与网络边缘紧密结合来提升安全性和加速网络流量的技术。ESA的目标是将安全措施部署到接近用户或设备的地方&#xff0c;通常是在网络的边缘&#xff0c;而不是将所有流…

图表控件Aspose.Diagram入门教程:使用 Python 将 VSDX 转换为 PDF

将VSDX转换为PDF可让用户轻松共享图表。PDF 文件保留原始文档的布局和设计。它们广泛用于演示文稿、报告和文档。在这篇博文中&#xff0c;我们将探讨如何在 Python 中将 VSDX 转换为 PDF。 本文涵盖以下主题&#xff1a; Python VSDX 到 PDF 转换器库使用 Python 将 VSDX 转…

两相四线步进电机的步距角为什么是1.8度

机缘 在CSDN查了好多文章&#xff0c;发现都是用公式来解释1.8的步距角&#xff08;Q&#xff1d;360&#xff0f;MZ&#xff09;&#xff0c;因为转子是50齿&#xff0c;4拍一个循环&#xff0c;所以θ360度/&#xff08;50x4&#xff09;1.8度。估计第一次接触步进电机的什么…

Helix——Figure 02发布通用人形机器人控制的VLA:一组神经网络权重下的快与慢双系统,让两个机器人协作干活

前言 过去一周&#xff0c;我花了很大的心思、力气&#xff0c;把deepseek的GRPO、MLA算法的代码解析通透&#xff0c;比如GRPO与PPO的详细对比&#xff0c;再比如MLA中&#xff0c;图片 公式 代码的一一对应 2.20日晚&#xff0c;无意中刷到figure 02发布Helix的一个演示视频…

Unity游戏制作中的C#基础(2)变量与数据类型

1.变量 &#xff08;1&#xff09;变量的定义&#xff1a;变量是用于存储数据的容器。 &#xff08;2&#xff09;变量的作用&#xff1a;在程序运行过程中&#xff0c;我们可以将各种类型的数据存储在变量中&#xff0c;方便后续使用和操作。 &#xff08;3&#xff09;变量…

革新之力:数字科技——重塑未来的超越想象之旅

在21世纪的科技浪潮中&#xff0c;数字科技如同一股不可阻挡的洪流&#xff0c;正以前所未有的速度和广度改变着我们的生活、工作乃至整个社会的结构。它不仅是技术的简单迭代&#xff0c;更是对人类社会认知边界的拓宽&#xff0c;对经济模式、社会治理、文化形态等多方面的深…

python pandas下载

pandas pandas:就是一个可以处理数据的 python 库 核心功能&#xff1a; 数据的清洗&#xff1a;处理丢失值&#xff0c;重复值数据分析&#xff1a;计算和统计信息&#xff0c;或分组汇总数据可视化&#xff1a;结合 图标库&#xff08;Matplotlib&#xff09;完成数据可视化…

将Google文档导入WordPress:简单实用的几种方法

Google文档是内容创作者非常实用的写作工具。它支持在线编辑、多人协作&#xff0c;并能够自动保存内容。但当我们想把Google文档中的内容导入WordPress网站时&#xff0c;可能会遇到一些小麻烦&#xff0c;比如格式错乱、图片丢失等问题。本文将为大家介绍几种简单实用的方法&…

java面试场景问题

还在补充&#xff0c;这几天工作忙&#xff0c;闲了会把答案附上去&#xff0c;也欢迎各位大佬评论区讨论 1.不用分布式锁如何防重复提交 方法 1&#xff1a;基于唯一请求 ID&#xff08;幂等 Token&#xff09; 思路&#xff1a;前端生成 一个唯一的 requestId&#xff08;…

【笔记ing】C语言补充、组成原理数据表示与汇编实战、操作系统文件实战(高级阶段)

【第19节 C语言语法进阶】 【19.1 条件运算符与逗号运算符】 1 条件运算符 条件运算符是C语言中唯一的一种三亩运算符。三目运算符代表有三个操作数&#xff1b;双目运算符代表有两个操作数&#xff0c;如逻辑运算符就是双目运算符&#xff1b;弹幕运算符代表有一个操作数&a…

GAMES101-现代计算机图形学入门笔记

主讲老师&#xff1a;闫令琪&#xff0c;此处仅做个人笔记使用。如果我的分享对你有帮助&#xff0c;请记得点赞关注不迷路。 课程链接如下&#xff1a;GAMES101-现代计算机图形学入门-闫令琪_哔哩哔哩_bilibili 课程分为四部分&#xff1a;光栅化、几何、光线追踪、模拟 图形…

激光工控机在自动化生产线中有什么关键作用?

激光工控机作为自动化生产线的核心设备&#xff0c;通过高精度控制、快速响应和智能化集成&#xff0c;在提升效率、保障质量、实现柔性制造等方面发挥着不可替代的作用。以下是其关键作用的具体分析&#xff1a; 一、实现高效连续生产&#xff1a; 1.高速加工能力&#xff1…

高等数学(上)题型笔记(六)定积分的应用

目录 1 三角函数定积分的结论 2 定积分的微元法&#xff08;元素法&#xff09; 2.1 使用条件 2.2 使用步骤 3 定积分的几何应用 3.1 平面图形的面积 3.1.1 直角坐标系的情形 3.1.1.1 X型 3.1.1.2 Y型 3.1.1.3 双型 3.1.1.4 复合&#xff1a;分割型 3.1.1.5 引入参…