从零开发短视频电商 Tesseract OCR识别增强

文章目录

    • 概要
    • 图像预处理阶段
      • 默认
      • 反转图像
      • 重新缩放
      • 二值化
      • 噪音消除
      • 膨胀/腐蚀
      • 旋转/偏移校正
      • 边框
        • 缺少边框
        • 边框太大
        • 扫描边框去除
      • 透明度/Alpha通道
    • 引擎处理阶段
      • 语言模型
      • 配置
      • 提高识别速度
      • 词典、单词列表和模式
      • 表格识别
    • 使用 Tesseract OCR 的 GUI 和其他项目

原文如下：

  • https://github.com/tesseract-ocr/tessdoc/blob/main/ImproveQuality.md

概要

在优化Tesseract OCR识别效果的过程中，我们可以分为三个关键阶段，分别是图像预处理阶段、引擎处理阶段和后处理阶段。通过在每个阶段采取适当的措施，我们可以显著提高识别的准确性和效率。

  • 图像预处理阶段，在这一阶段，我们通过多种手段优化输入图像，以确保Tesseract能够更好地理解文本。以下是一些建议的预处理步骤：
    • 重新缩放： 将图像缩放到适当的大小，以减少计算负担并提高识别速度。
    • 二值化： 将图像转换为黑白二值图像，以突出文本轮廓。
    • 去噪： 使用滤波器或其他去噪技术，消除图像中的不必要细节。
    • 膨胀/腐蚀： 通过膨胀和腐蚀操作，强调和连接字符轮廓，提高字符识别准确性。
    • 旋转/偏移矫正： 识别前对图像进行旋转和偏移矫正，确保文本水平且居中。
    • 边框： 添加适当的边框以帮助Tesseract正确识别文本。
    • 透明度/Alpha通道： 根据需要处理图像透明度或Alpha通道。
  • 引擎处理阶段，在这个阶段，我们针对Tesseract OCR引擎进行优化，以提高其识别效果。
    • 配置选项： 使用Tesseract提供的配置选项调整引擎参数，例如指定语言模型、字符宽度的阈值等。
    • 页面分割方法： 选择适当的页面分割方法，确保Tesseract能够正确识别文本的边界。
    • 引擎和tessdata： 确保使用最新版本的Tesseract引擎和适当的tessdata文件，以获取最佳性能和支持最新的语言模型。
    • 模式： 针对不同类型的文本，选择适当的Tesseract识别模式，例如文本、数字等。
  • 后处理阶段

图像预处理阶段

Tesseract在执行实际的OCR之前，内部使用Leptonica库进行各种图像处理操作。它通常做得很好，但不可避免地会有一些情况不够好，这可能导致准确性显著降低。

您可以通过在运行Tesseract时将配置变量tessedit_write_images设置为true（或使用configfile get.images）来查看Tesseract如何处理图像。

重点：如果生成的tessinput.tif文件看起来有问题，请在将图像传递给Tesseract之前尝试一些这些图像处理操作。

  • 重新缩放

  • 二值化

  • 去噪

  • 膨胀/腐蚀

  • 旋转/偏移矫正

  • 边框

  • 透明度/Alpha通道

获取tessinput.tif文件，方式一: tesseract.ProcessPage

import org.bytedeco.javacpp.BytePointer;
import org.bytedeco.leptonica.PIX;
import org.bytedeco.tesseract.TessBaseAPI;
import org.bytedeco.tesseract.TessResultRenderer;import static org.bytedeco.leptonica.global.leptonica.pixDestroy;
import static org.bytedeco.leptonica.global.leptonica.pixRead;
import static org.bytedeco.tesseract.global.tesseract.PSM_AUTO;public class TesseractExample {public static void main(String[] args) {// 创建 Tesseract 实例TessBaseAPI tesseract = new TessBaseAPI();String dataPath = "C:\\tess4j\\tessdata";// 初始化 Tesseract 实例，你需要将 "path/to/tessdata" 替换为你的 tessdata 文件夹的路径if (tesseract.Init(dataPath, "eng", OEM_LSTM_ONLY) != 0) {System.err.println("无法初始化 Tesseract。");System.exit(1);}String fileName = "C:\\laker\\demo3\\69c7f2a6-3f0e-4ced-86c3-4ea42dcb7c34.PNG";// 读取图像文件并转换为 Leptonica PIX 对象PIX image = pixRead(fileName);// 设置输出文件名（这是一个示例，你需要根据实际情况进行调整）String outputFileName = "output_file";// 设置页面索引（如果有多页）int pageIndex = 0; // Note: Page index starts from 0// 设置重试配置（可以为null）String retryConfig = null;// 设置超时时间（毫秒）int timeoutMillisec = 5000;// 设置渲染器（可以为null）TessResultRenderer renderer = null;// 设置变量，这里是为了将识别结果写为图像文件，你可以根据需要进行调整tesseract.SetVariable("tessedit_write_images", "1");// 设置 OCR Engine Mode（这里设置为 Oem.TESSERACT_ONLY，你可以根据需要进行调整）tesseract.SetPageSegMode(PSM_AUTO);// 调用 ProcessPage 方法tesseract.SetImage(image);tesseract.ProcessPage(image, pageIndex, outputFileName, null, timeoutMillisec, renderer);// 打印识别结果BytePointer outText = tesseract.GetUTF8Text();System.out.println("识别结果：" + outText.getString());// 释放 Leptonica PIX 对象内存pixDestroy(image);// 结束 Tesseract 实例tesseract.End();}
}

方式二：也可以用api.GetThresholdedImage()直接获取，跟设置一样的效果。

// 获取二值化图像
PIX thresholdedImage = api.GetThresholdedImage();// 将二值化图像保存到文件
String thresholdedImageFilePath = "C:\\thresholded_image.tif";
pixWrite(thresholdedImageFilePath, thresholdedImage, IFF_TIFF_G4);

内部源码：

https://github.com/tesseract-ocr/tesseract/blob/637be531f649832032fc477fd7f82249bb7d776b/src/api/baseapi.cpp#L1292

if (tesseract_->tessedit_write_images) {Pix *page_pix = GetThresholdedImage();std::string output_filename = output_file_ + ".processed";if (page_index > 0) {output_filename += std::to_string(page_index);}output_filename += ".tif";pixWrite(output_filename.c_str(), page_pix, IFF_TIFF_G4);pixDestroy(&page_pix);
}

默认

原始图片：

内部生成的tessinput.tif文件：

在这里插入图片描述

当前识别结果为：

int timeoutMillisec = 5000;
TessResultRenderer renderer = null;tesseract.SetVariable( name: write_images", value: "1v); // 这一行错误tesseract.SetPageSegHode (PSH_AUTO) ;   // 这一行错误tesseract.SetImage (image);tesseract.ProcessPage (image, pageIndex, outputFileName, retry config: null, timeoutMillisec, renderer);
CSDN @lakernote

反转图像

在Tesseract版本3.05（以及更早版本）中，处理反转图像（暗色背景和亮色文本）时没有问题，但在4.x版本中，请使用亮色背景上的暗色文本。

重新缩放

Tesseract在至少300 dpi的图像上效果最佳，因此调整图像大小可能是有益的。

二值化

Tesseract在内部使用Otsu算法执行图像转为黑白的操作，但结果可能不理想，特别是当页面背景的暗度不均匀时。

Tesseract 5.0.0版本新增了两种基于Leptonica的二值化方法：自适应Otsu和Sauvola。您可以使用命令 tesseract --print-parameters | grep thresholding_ 查看相关的可配置参数。

如果您无法通过提供更好的输入图像来解决问题，可以尝试使用不同的算法。请参考ImageJ自动阈值（Java）、OpenCV图像阈值处理（Python）或scikit-image阈值处理文档（Python）。

噪音消除

噪声是图像中亮度或颜色的随机变化，它会使图像的文本更难以阅读。在二值化步骤中，Tesseract 无法消除某些类型的噪声，这可能会导致准确率下降

膨胀/腐蚀

粗体字符或细体字符（尤其是带有衬线的字符）可能会影响细节的识别，降低识别准确率。许多图像处理程序允许在公共背景下对字符边缘进行膨胀和腐蚀，以扩大或增大（膨胀）或缩小（腐蚀）。

历史文献中的大量墨水渗色可以通过使用侵蚀技术来补偿。侵蚀可用于将字符缩小回其正常的字形结构。

旋转/偏移校正

倾斜的图像是指扫描的页面不直。如果页面太倾斜，Tesseract 的线分割质量会显着降低，这会严重影响 OCR 的质量。要解决此问题，请旋转页面图像，使文本行处于水平位置。

边框

缺少边框

如果您仅对没有任何边框的文本区域进行 OCR，则 tesseract 可能会出现问题。请参阅tesseract 用户论坛#427中的一些详细信息。您可以使用ImageMagick®轻松添加小边框（例如 10 px） ：

convert  427-1.jpg  -bordercolor White -border 10x10 427-1b.jpg
边框太大

大边框（尤其是在大背景上处理单个字母/数字或一个单词时）可能会导致问题（“空页”）。请尝试将您输入的图像裁剪到具有合理边框（例如10像素）的文本区域。

扫描边框去除

扫描的页面周围通常有黑色边框。这些可能会被错误地视为额外字符，特别是当它们的形状和渐变不同时。

透明度/Alpha通道

某些图像格式（例如 png）可以具有用于提供透明度功能的Alpha 通道。

Tesseract 3.0x 期望用户在 tesseract 中使用图像之前从图像中删除 alpha 通道。这可以通过 ImageMagick 命令来完成：

convert input.png -alpha off output.png

Tesseract 4.00 使用 leptonica 函数pixRemoveAlpha()删除 alpha 通道：它通过将 alpha 分量与白色背景混合来删除它。在某些情况下（例如电影字幕的 OCR ）这可能会导致问题，因此用户需要自行删除 Alpha 通道（或通过反转图像颜色来预处理图像）。

引擎处理阶段

语言模型

tessdata_best：这个仓库包含了Tesseract 4.0的最高精度训练数据，这些数据的识别精度更高，但是运行速度较慢。如果你的应用场景对识别精度有很高的要求，可以使用这个仓库的数据。

配置

tessBaseAPI.SetVariable("tessedit_char_whitelist","ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789"); // 识别白名单
tessBaseAPI.SetVariable("tessedit_char_blacklist", "®!@#$%^&*()_+=-[]}{;:'\"\\|~`,./<>?"); // 识别黑名单tessBaseAPI.setPageSegMode(TessBaseAPI.PageSegMode.PSM_AUTO_OSD);//设置识模式
// 设置dpi 300，如果不设置老打印 Estimating resolution as xxx
tessBaseAPI.SetVariable("user_defined_dpi","300");

如果名称查找失败，则返回 false。例如，使用 SetVariable(“tessedit_char_blacklist”, “xyz”); 可以忽略 x、y 和 z。

或者使用 SetVariable(“classify_bln_numeric_mode”, “1”); 可以设置为仅数字模式。

SetVariable 可以在 Init 之前使用，但设置将在 End() 时恢复为默认值。注意：必须在 Init 之后调用。仅适用于非初始化变量（初始化变量应该在 Init() 中传递）。

–dpi N

在DPI中为输入图像指定分辨率N.N的典型值为300.如果没有此选项，则从图像中包含的元数据中读取分辨率。如果图像不包含该信息，Tesseract会尝试猜测它。

–psm N

将Tesseract设置为仅运行分析的某个子集并假设某种形式的图像。N的选项是：

0 =仅限方向和脚本检测（OSD）。
1 =使用OSD自动分页。
2 =自动页面分割，但没有OSD或OCR。
3 =全自动页面分割，但没有OSD。（默认）
4 =假设一列可变大小的文本。
5 =假设一个垂直对齐文本的统一块。
6 =假设一个统一的文本块。
7 =将图像视为单个文本行。
8 =将图像视为单个单词。
9 =将图像视为圆形中的单个单词。
10 =将图像视为单个字符。
11 =稀疏文本。找到尽可能多的文本，没有特定的顺序。
12 =带OSD的稀疏文本。
13 =原始线。将图像视为单个文本行，绕过特定于Tesseract的黑客攻击。

–oem N

指定OCR引擎模式。N的选项是：

0 =仅原始Tesseract。
1 =神经网络仅限LSTM。
2 = Tesseract + LSTM。
3 =默认，基于可用的内容。

–user-patterns FILE

指定用户模式文件的位置,
用于某种“正则表达式”.如果我们假设您正在扫描具有相同格式的数据的书籍,则可以使用它.

–user-words FILE

指定用户词文件的位置。

提高识别速度

如果您正在运行 Tesseract 4，则可以使用“快速”整数模型。

Tesseract 4 在处理一个页面时还使用最多四个 CPU 线程，因此对于单个页面来说它会比 Tesseract 3 更快。

如果您的计算机只有两个 CPU 核心，那么运行四个线程会显着减慢速度，最好使用单个线程或最多两个线程！使用单线程消除了多线程的计算开销，也是通过每个 CPU 核心运行一个 Tesseract 进程来处理大量图像的最佳解决方案。

使用环境变量设置最大线程数OMP_THREAD_LIMIT。

要禁用多线程，请使用OMP_THREAD_LIMIT=1.

更新 2019-10-06：最近的 tesseract 代码允许使用-c tessedit_do_invert=0带来额外速度的选项。

词典、单词列表和模式

默认情况下，Tesseract 经过优化以识别单词句子。如果您尝试识别其他内容，例如收据、价目表或代码，您可以采取一些措施来提高结果的准确性，并仔细检查是否选择了适当的细分方法。

如果您的大部分文本不是字典单词，则禁用 Tesseract 使用的字典应该会提高识别度。可以通过将配置变量 load_system_dawg和设置load_freq_dawg为 来禁用它们false。

还可以将单词添加到 Tesseract 用于帮助识别的单词列表中，或者添加常见的字符模式，如果您对期望的输入类型有很好的了解，这可以进一步帮助提高准确性。Tesseract 手册对此进行了更详细的解释。

如果您知道只会遇到该语言中可用字符的子集，例如仅数字，则可以使用tessedit_char_whitelist 配置变量。请参阅常见问题解答以获取示例。

表格识别

众所周知，tesseract 在没有自定义分段/布局分析的情况下识别表中的文本/数据存在问题（请参阅问题跟踪器）。您可以尝试使用/测试Sintun 提案，或者使用 PyTesseract 和 OpenCV / Text-Extraction-Table-Image 代码从表格图像中的文本提取中获得一些想法

使用 Tesseract OCR 的 GUI 和其他项目

  • https://github.com/tesseract-ocr/tessdoc/blob/main/User-Projects-%E2%80%93-3rdParty.md

可以从 https://github.com/tesseract-ocr/tessdata_best 获得相同的语言和脚本。tessdata_best提供慢速语言和脚本模型。训练需要这些模型。它们也可以提供更好的OCR结果，但识别需要更多时间。

tessdata_fast和tessdata_best都只支持LSTM OCR引擎。

还有第三个存储库，https://github.com/tesseract-ocr/tessdata， 其模型支持Tesseract 3传统OCR引擎和Tesseract 4 LSTM OCR引擎。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/246477.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【网络协议测试】畸形数据包——圣诞树攻击（DOS攻击）

【网络协议测试】畸形数据包——圣诞树攻击（DOS攻击）

简介 TCP所有标志位被设置为1的数据包被称为圣诞树数据包&#xff08;XMas Tree packet&#xff09;&#xff0c;之所以叫这个名是因为这些标志位就像圣诞树上灯一样全部被点亮。 标志位介绍 TCP报文格式&#xff1a; 控制标志&#xff08;Control Bits&#xff09;共6个bi…
阅读更多...
安全基础~通用漏洞1

安全基础~通用漏洞1

文章目录 知识补充Acess数据库注入MySQL数据库PostgreSQL-高权限读写注入MSSQL-sa高权限读写执行注入Oracle 注入Mongodb 注入sqlmap基础命令 知识补充 order by的意义&#xff1a; union 操作符用于合并两个或多个 select语句的结果集。 union 内部的每个 select 语句必须拥有…
阅读更多...
MVC架构模式与三层架构

MVC架构模式与三层架构

提示&#xff1a;博客中的图片来源于动力节点在B站的视频讲解。 MVC架构模式与三层架构 一、三层架构二、MVC&#xff08;model view controller&#xff09;1.MVC 架构的工作流程&#xff08;1&#xff09;JSP Servlet javabean实现MVC。&#xff08;2&#xff09;SSM&#…
阅读更多...
防御保护---安全策略

防御保护---安全策略

文章目录 一.安全策略概述 概述&#xff1a; 安全策略的作用&#xff1a; 包过滤防火墙的安全风险 状态检测防火墙访问过程 安全策略与传统防火墙的区别 二.案例分析 基础配置&#xff1a;&#xff08;正常数通&#xff09; 安全策略配置 练习 一.安全策略概述 概述&#xff1…
阅读更多...
数据挖掘笔记1

数据挖掘笔记1

课程&#xff1a;清华大学-数据挖掘&#xff1a;理论与算法&#xff08;国家级精品课&#xff09;_哔哩哔哩_bilibili 一、Learning Resources 二、Data 数据是最底层的一种表现形式。数据具有连续性。从存储上来讲&#xff0c;数据分为逻辑上的和物理层的。大数据&#xff1…
阅读更多...
Elasticsearch8.11集群部署

Elasticsearch8.11集群部署

集群就是多个node统一对外提供服务&#xff0c;避免单机故障带来的服务中断&#xff0c;保证了服务的高可用&#xff0c;也因为多台节点协同运作&#xff0c;提高了集群服务的计算能力和吞吐量。ES是一个去中心化的集群&#xff0c;操作一个节点和操作一个集群是一样的&#xf…
阅读更多...
Jmeter接口测试总结

Jmeter接口测试总结

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 关注公众号【互联网杂货铺】&#xff0c;回复 1 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 Jmeter介绍&测试准备 Jmeter介绍&#xff1a;Jmeter是软件…
阅读更多...
LeetCode：1706. 球会落何处（Java 模拟）

LeetCode：1706. 球会落何处（Java 模拟）

目录 1706. 球会落何处 题目描述&#xff1a; 实现代码与解析&#xff1a; 原理思路&#xff1a; 1706. 球会落何处 题目描述&#xff1a; 用一个大小为 m x n 的二维网格 grid 表示一个箱子。你有 n 颗球。箱子的顶部和底部都是开着的。 箱子中的每个单元格都有一个对角线…
阅读更多...
ubuntu 20.04 使用 webrtc-streamer自动退出，报错GLIBC 问题解决方法

ubuntu 20.04 使用 webrtc-streamer自动退出，报错GLIBC 问题解决方法

文章目录 前言Ubuntu 20.4中使用webrtc-streamer报错总结 前言 前端vue2 项目需要播放海康的视频流&#xff0c;本地启动起来了&#xff0c;现在需要的服务器上部署&#xff0c;服务器是Ubuntu 20.04&#xff0c;下面是部署时遇到的问题及解决方法&#xff0c;总耗时2天。 不知…
阅读更多...
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models导读

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models导读

通过生成一系列中间推理步骤&#xff08;即“思维链”&#xff09;显著提高大型语言模型进行复杂推理的能力 这篇论文探讨了如何通过生成一系列中间推理步骤&#xff08;即“思维链”&#xff09;显著提高大型语言模型进行复杂推理的能力。研究人员使用一种简单的方法——思维…
阅读更多...
司铭宇老师：汽车销售培训：汽车销售员培训：汽车销售技巧培训：汽车销售技巧和话术

司铭宇老师：汽车销售培训：汽车销售员培训：汽车销售技巧培训：汽车销售技巧和话术

汽车销售培训&#xff1a;汽车销售员培训&#xff1a;汽车销售技巧培训&#xff1a;汽车销售技巧和话术 汽车销售是一项充满挑战性的工作&#xff0c;它需要销售人员具备良好的沟通技巧、谈判技巧以及产品讲解能力。在这篇文章中&#xff0c;我们将详细探讨汽车销售中的技巧和话…
阅读更多...
iOS推送通知

iOS推送通知

文章目录 一、推送通知的介绍1. 简介2. 通知的分类 二、本地通知1. 本地通知的介绍2. 实现本地通知3. 监听本地通知的点击 三、远程通知1. 什么是远程通知2. 为什么需要远程通知3. 远程通知的原理4. 如何做远程通知5. 远程通知证书配置6. 获取远程推送要用的 DeviceToken7. 测试…
阅读更多...
Spring Security 存储密码之 JDBC

Spring Security 存储密码之 JDBC

Spring Security的JdbcDaoImpl实现了UserDetailsService接口，通过使用JDBC提供支持基于用户名和密码的身份验证。 JdbcUserDetailsManager扩展了JdbcDaoImpl，通过UserDetailsManager接口提供UserDetails的管理功能。 当Spring Security配置为接受用户名/密码进行身份验证时，…
阅读更多...
5｜领域建模实践（上）：怎样既准确又深刻地理解业务知识？

5｜领域建模实践（上）：怎样既准确又深刻地理解业务知识？

上节课咱们完成了事件风暴&#xff0c;梳理了系统的行为需求。但你可能也发现了&#xff0c;其实还有些微妙的业务概念还没有澄清&#xff0c;这就要靠领域建模来完成了。 建立领域模型是 DDD 的核心。要建好领域建模&#xff0c;需要理论和实践相结合。由于我们的模型有一定的…
阅读更多...
vue3+elementPlus pc和小程序ai聊天文生图

vue3+elementPlus pc和小程序ai聊天文生图

websocket封装可以看上一篇文章 //pc端 <template><div class"common-layout theme-white"><el-container><el-aside><div class"title-box"><span>AI Chat</span></div><div class"chat-list&…
阅读更多...
【软件测试】学习笔记-构建并执行 JMeter 脚本的正确姿势

【软件测试】学习笔记-构建并执行 JMeter 脚本的正确姿势

有些团队在组建之初往往并没有配置性能测试人员&#xff0c;后来随着公司业务体量的上升&#xff0c;开始有了性能测试的需求&#xff0c;很多公司为了节约成本会在业务测试团队里选一些技术能力不错的同学进行性能测试&#xff0c;但这些同学也是摸着石头过河。他们会去网上寻…
阅读更多...
一天吃透计算机网络面试八股文

一天吃透计算机网络面试八股文

面试网站&#xff1a;topjavaer.cn 目录&#xff1a; 网络分层结构三次握手两次握手可以吗&#xff1f;四次挥手第四次挥手为什么要等待2MSL&#xff1f;为什么是四次挥手&#xff1f;TCP有哪些特点&#xff1f;说说TCP报文首部有哪些字段&#xff0c;其作用又分别是什么&…
阅读更多...
idea结合git回到某个提交点

idea结合git回到某个提交点

概述&#xff1a;在IntelliJ IDEA中&#xff0c;你可以使用Git工具来回到某个提交点。 第一步&#xff1a;打开idea&#xff0c;打开git的管理面 可以看到&#xff0c;由于我的大改动&#xff0c;导致现在出问题了&#xff0c;所以我准备回退到某一版本。 点击左下角的git 点…
阅读更多...
使用IntelliJ IDEA快速搭建springboot 基础模板项目

使用IntelliJ IDEA快速搭建springboot 基础模板项目

使用IntelliJ IDEA快速搭建springboot 基础模板项目&#xff01;今天和大家分享一下&#xff0c;如何使用IntelliJ IDEA里面的maven插件&#xff0c;来快速搭建一个简单的Springboot基础项目。 第一步&#xff0c;菜单里面找到&#xff0c;文件-》新建-项目。如图。我们勾选了是…
阅读更多...
这是一片测试文章

这是一片测试文章

这是一片测试文章 这是一片测试文章 这是一片测试文章 这是一片测试文章 这是一片测试文章 这是一片测试文章 真的是测试文章 -111122225555444433333333222211111 dddddaaa
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023