PaddleOCR学习笔记

Paddle

功能特性

PP-OCR系列模型列表

https://github.com/PaddlePaddle/PaddleOCR#%EF%B8%8F-pp-ocr%E7%B3%BB%E5%88%97%E6%A8%A1%E5%9E%8B%E5%88%97%E8%A1%A8%E6%9B%B4%E6%96%B0%E4%B8%AD
PP-OCR系列模型列表（V4，2023年8月1日更新）

配置文件内容与生成

https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7/doc/doc_ch/config.md

文字检测

关键要点: 配置文件、预训练模型、数据加载
https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7/doc/doc_ch/detection.md

实际使用过程中，建议加载官方提供的预训练模型，在自己的数据集中进行微调，关于检测模型的微调方法，请参考：模型微调教程

也可以选择加载backbone预训练模型再训练，不过收敛速度会很慢
微调指令(推荐):

python3 tools/train.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml \-o Global.pretrained_model=./pretrain_models/ch_PP-OCRv3_det_distill_train/ch_PP-OCRv3_det_distill_train/student.pdparams

有两种预测方式:
1.直接加载checkpoints模型做预测

python3 tools/infer_det.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o Global.infer_img="./doc/imgs_en/img_10.jpg" Global.pretrained_model="./output/ch_PP-OCR_V3_det/latest"

2.先导出模型再加载inference模型做预测

python3 tools/infer/predict_det.py --det_algorithm="DB" --det_model_dir="./output/det_db_inference/" --image_dir="./doc/imgs/" --use_gpu=True

文本识别

微调指令(推荐):

python3 tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml \-o Global.pretrained_model=./pretrain_models/ch_PP-OCRv3_rec_train/best_accuracy.pdparams

有两种预测方式:
1.直接加载checkpoints模型做预测

python3 tools/infer_rec.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml -o Global.infer_img="./train_data/ic15_rec/train/word_34.png" Global.pretrained_model="./output/rec_ppocr_v3_distillation/latest"

2.先导出模型再加载inference模型做预测

关键信息抽取

https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7/ppstructure/kie/README_ch.md

简介

文本检测、识别、端到端识别、结构化分析四种方向
中英文超轻量PP-OCRv3模型:

  • 总模型大小仅17M，仅1个检测模型（3.8M）+方向分类器（1.4M）+1个识别模型（12M）组成
  • 同时支持中英文识别
  • 支持倾斜、竖排等多种方向文字识别
  • 支持GPU（T4 卡平均预测耗时87ms）、CPU预测

PaddleOCR发布的PP-OCRv3超轻量模型由1个文本检测模型（3.8M）、1个方向分类器（1.4M）和1个文本识别模型（12.0M）组成，共17M。其中，文本检测模型是基于2020年发表于AAAI上的DB[1]算法进行改进得到的，文本识别模型基于2022年发表于IJCAI上的SVTR[4]算法进行改进得到的

PaddleOCR

1、检测
PaddleOCR提供了EAST、DB、SAST、PSE和FCE五种文本检测算法
2、方向分类
3、识别
PaddleOCR提供了CRNN、Rosseta、StarNet、RARE、SRN、NRTR、SAR、SEED八种文本识别算法

中文OCR数据集

ICDAR2019-LSVT：共45w中文街景图像，包含5w（2w测试+3w训练）全标注数据（文本坐标+文本内容），40w弱标注数据（仅文本内容）。
ICDAR2017-RCTW-17：共包含12,000+图像，大部分图片是通过手机摄像头在野外采集的，有些是截图。这些图片展示了各种各样的场景，包括街景、海报、菜单、室内场景和手机应用程序的截图。
中文街景文字识别：ICDAR2019-LSVT行识别任务的数据集，共包括29万张图片，其中21万张图片作为训练集（带标注），8万张作为测试集（无标注）。数据集采自中国街景，并由街景图片中的文字行区域（例如店铺标牌、地标等等）截取出来而形成。所有图像都经过一些预处理，将文字区域利用仿射变化，等比映射为一张高为48像素的图片。
中文文档文字识别：共约364万张图片，按照99:1划分成训练集和验证集。数据利用中文语料库（新闻 + 文言文），通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成。包含汉字、英文字母、数字和标点共5990个字符。
ICDAR2019-ArT：共包含10,166张图像，训练集5603图，测试集4563图。由Total-Text、SCUT-CTW1500、Baidu Curved Scene Text (ICDAR2019-LSVT部分弯曲数据) 三部分组成，包含水平、多方向和弯曲等多种形状的文本。

拉取镜像

docker pull registry.baidubce.com/paddlepaddle/paddle:2.5.2-gpu-cuda11.2-cudnn8.2-trt8.0

启动容器

docker run --gpus all --shm-size=4g --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --name paddle -it -v $PWD:/paddle registry.baidubce.com/paddlepaddle/paddle:2.5.2-gpu-cuda11.2-cudnn8.2-trt8.0-v1 /bin/bash

教程

https://www.paddlepaddle.org.cn/tutorials/projectdetail/3977289

准备运行环境

conda create --name paddle python=3.8
conda activate paddle
python -m pip install paddlepaddle==2.5.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
git clone https://github.com/PaddlePaddle/PaddleOCR
cd PaddleOCR
pip install -r requirements.txt
pip install jupyter notebook
pip install Pillow==9.5.0

下载模型

download_model.sh

#!/bin/bash# 创建inference目录
mkdir inference# 进入inference目录
cd inference# 下载中英文检测模型并解压
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tar
tar xf ch_PP-OCRv3_det_infer.tar# 下载中英文方向分类器模型并解压
wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/ch/ch_ppocr_mobile_v2.0_cls_infer.tar
tar xf ch_ppocr_mobile_v2.0_cls_infer.tar# 下载中英文识别模型并解压
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_infer.tar
tar xf ch_PP-OCRv3_rec_infer.tar

推理指令

检测+识别
python3 tools/infer/predict_system.py --image_dir="./doc/imgs/11.jpg" --det_model_dir="./inference/ch_PP-OCRv3_det_infer/"  --rec_model_dir="./inference/ch_PP-OCRv3_rec_infer/" --rec_image_shape="3,48,320"
说明:
image_dir支持传入单张图像和图像所在的文件目录，当image_dir指定的是图像目录时，运行上述指令会预测当前文件夹下的所有图像中的文字，并将预测的可视化结果保存在inference_results文件夹下

预测结果示例如下:

训练自定义模型

生产自定义的模型可分为三步：训练文本检测模型、训练文本识别模型、模型串联预测

训练文字检测模型


下载预训练的backbone模型

mkdir pretrain_models
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/MobileNetV3_large_x0_5_pretrained.pdparams
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/ResNet50_vd_ssld_pretrained.pdparams

python3 tools/train.py -c configs/det/det_mv3_db.yml -o Global.epoch_num=1 Global.eval_batch_step=[0,50]
测试文字检测模型
python3 tools/infer_det.py -c configs/det/det_mv3_db.yml -o Global.infer_img="./doc/imgs_en/img_10.jpg"  Global.checkpoints="./output/db_mv3/best_accuracy"
训练文字识别模型


下载预训练的backbone模型

wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/rec_mv3_none_bilstm_ctc.tar
cd pretrain_models && tar -xf rec_mv3_none_bilstm_ctc.tar && rm -rf rec_mv3_none_bilstm_ctc.tar && cd ..

python3 tools/train.py -c configs/rec/rec_icdar15_train.yml -o Global.pretrained_model=./pretrain_models/rec_mv3_none_bilstm_ctc/best_accuracy Global.eval_batch_step=[0,200]
测试文字识别模型
python3 tools/infer_rec.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints=./output/rec/ic15/best_accuracy Global.infer_img=./doc/imgs_words/en/word_1.png

测试

PP-ChatOCRv2在线识别效果测试: https://aistudio.baidu.com/application/detail/10368
PP-OCRv4在线识别效果测试: https://aistudio.baidu.com/application/detail/7658

思考问题

不确定预训练的backbone是否导入成功，感觉收敛速度很慢
回答: 是导入成功了的，想要收敛快，最好是进行微调训练

还没有在自己制作的数据集上训练过

思考关键词、LLM进行结构化分析的可能性
回答: LLM确实很不错，但是我看了下关键信息抽取也是一个不错的选择，数据构建可以借助LLM来制作

用的是v3还没接触v4
回答: 两者的使用方式差别不大，主要还是配置文件的切换

开源的ocr识别项目: https://github.com/tesseract-ocr/tesseract
回答: 可以再多了解下除Paddle之外的一些OCR开源项目

可以拿飞机票来测试LLM结构化分析的效果
回答: 脑洞开大点儿，让LLM模型去学习实体关联，我只需要准备相应形式的数据就可以，从数据中自动学习模式

训练配置yaml文件
推理py代码

PP-ChatOCRv2

一个SDK，覆盖20+高频应用场景，支持5种文本图像智能分析能力和部署，包括通用场景关键信息抽取（快递单、营业执照和机动车行驶证等）、复杂文档场景关键信息抽取（解决生僻字、特殊标点、多页pdf、表格等难点问题）、通用OCR、文档场景专用OCR、通用表格识别。针对垂类业务场景，也支持模型训练、微调和Prompt优化

PP-OCRv4

提供mobile和server两种模型
PP-OCRv4-mobile：速度可比情况下，中文场景效果相比于PP-OCRv3再提升4.5%，英文场景提升10%，80语种多语言模型平均识别准确率提升8%以上
PP-OCRv4-server：发布了目前精度最高的OCR模型，中英文场景上检测模型精度提升4.9%， 识别模型精度提升2% 可参考快速开始 一行命令快速使用，同时也可在飞桨AI套件(PaddleX)中的通用OCR产业方案中低代码完成模型训练、推理、高性能部署全流程

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/208205.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【阿里云】图像识别 智能分类识别 增加网络控制功能点(三)

【阿里云】图像识别 智能分类识别 增加网络控制功能点(三)

一、增加网络控制功能 实现需求TCP 心跳机制解决Soket异常断开问题 二、Linux内核提供了通过sysctl命令查看和配置TCP KeepAlive参数的方法。 查看当前系统的TCP KeepAlive参数修改TCP KeepAlive参数 三、C语言实现TCP KeepAlive功能 四、setsockopt用于设置套接字选项的系…
阅读更多...
基于STM32的四轴飞行器的控制系统（论文+源码）

基于STM32的四轴飞行器的控制系统（论文+源码）

1.系统设计 本次基于stm32单片机的四轴飞行器控制系统主要包括硬件和软件这两大部分，其中硬件部分是基于单片机的四轴飞行器控制系统实现的基石，其中主要STM32单片机负责整个系统功能的实现；NRF24L01无线模块负责对四轴飞行器的远程控制&…
阅读更多...
【蓝桥杯软件赛 零基础备赛20周】第5周——高精度大数运算与队列

【蓝桥杯软件赛 零基础备赛20周】第5周——高精度大数运算与队列

文章目录 1. 数组的应用–高精度大数运算1.1 Java和Python计算大数1.2 C/C高精度计算大数1.2.1 高精度加法1.2.2 高精度减法 2. 队列2.1 手写队列2.1.1 C/C手写队列2.1.2 Java手写队列2.1.3 Python手写队列 2.2 C STL队列queue2.3 Java队列Queue2.4 Python队列Queue和deque2.5 …
阅读更多...
1688API接口系列，1688开放平台接口使用方案（商品详情数据+搜索商品列表+商家订单类）

1688API接口系列，1688开放平台接口使用方案（商品详情数据+搜索商品列表+商家订单类）

1688商品详情接口是指1688平台提供的API接口，用于获取商品详情信息。通过该接口，您可以获取到商品的详细信息，包括商品标题、价格、库存、描述、图片等。 要使用1688商品详情接口，您需要先申请1688的API权限，并获取ac…
阅读更多...
仿京东淘宝商品列表筛选组件：实现一个高效的侧边栏弹框筛选功能

仿京东淘宝商品列表筛选组件：实现一个高效的侧边栏弹框筛选功能

仿京东淘宝商品列表筛选组件：实现一个高效的侧边栏弹框筛选功能 一、引言 随着电子商务的快速发展，用户体验成为了竞争的关键因素。在众多的电商网站中，如京东和淘宝，商品列表筛选功能为用户提供了便捷的途径来找到心仪的商品。本…
阅读更多...
Clion+Ubuntu(WSL)+MySQL8.0开发环境搭建

Clion+Ubuntu(WSL)+MySQL8.0开发环境搭建

1. 下载 MySQL 源码 访问 MySQL 官方网站（MySQL :: Download MySQL Community Server）并下载 MySQL 8.0 的源码包（mysql-boost-8.0.31.tar.gz）。 2. 安装编译依赖 1）更换镜像源 参考：Linux Ubuntu 修改…
阅读更多...
多线程06 单例模式,阻塞队列以及模拟实现

多线程06 单例模式,阻塞队列以及模拟实现

前言 上篇文章我们讲了wait和notify两个方法的使用.至此,多线程的一些基本操作就已经结束了,今天我们来谈谈多线程的一些简单应用场景. 单例模式 单例模式,顾名思义,只有一个实例的模式,我们有两种实现方式,分别是懒汉式和饿汉式,我们来分别给出代码. 饿汉式(此处的饿表示创建实…
阅读更多...
使用 Go 构建高性能的命令行工具

使用 Go 构建高性能的命令行工具

命令行工具（CLI）在软件开发中扮演着重要的角色，尤其是在自动化工具、开发工具链和服务器管理等领域。Go 语言以其简洁性和高性能而闻名，非常适合用来创建强大且高效的 CLI 工具。本文将详细介绍如何使用 Go 语言来构建 CLI 应用&a…
阅读更多...
Concurrent Security of Anonymous Credentials Light, Revisited

Concurrent Security of Anonymous Credentials Light, Revisited

目录 摘要引言 摘要 我们重新审视了著名的匿名证书轻（ACL）方案（Baldimtsi和Lysyanskaya，CCS’13）的并发安全保证。该方案最初被证明在按顺序执行时是安全的，其并发安全性仍然是一个悬而未决的问题。Benham…
阅读更多...
一致性Hash算法

一致性Hash算法

Hash算法 哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。 Hash算法在安全加密领域MD5、SHA等加密算法，数据存储和查找的Hash表等方面均有应用。Hash表的数…
阅读更多...
MOS管的静电击穿问题

MOS管的静电击穿问题

MOS管输入电阻很高，为什么一遇到静电就不行了？ 静电击穿：由于静电的积累导致电压超过了原本MOS的绝缘能力，导致电流突然增大的现象。 MOS管基础知识了解： G极(gate)—栅极，不用说比较好认 S极(source)—源…
阅读更多...
分享一个国内可用的免费GPT4-AI提问AI绘画网站工具

分享一个国内可用的免费GPT4-AI提问AI绘画网站工具

一、前言 ChatGPT GPT4.0，Midjourney绘画，相信对大家应该不感到陌生吧？简单来说，GPT-4技术比之前的GPT-3.5相对来说更加智能，会根据用户的要求生成多种内容甚至也可以和用户进行创作交流。 然而，GPT-4对普…
阅读更多...
2017年五一杯数学建模A题公交车排班问题解题全过程文档及程序

2017年五一杯数学建模A题公交车排班问题解题全过程文档及程序

2017年五一杯数学建模 A题 公交车排班问题 原题再现 随着徐州市经济的快速发展，公交车系统对于人们的出行扮演着越来越重要的角色。在公交车资源有限的情况下，合理的编排公交车的行车计划成为公交公司亟待解决的问题。以下给出公交车排班问题中的部分名…
阅读更多...
vue+echarts实现依赖关系无向网络拓扑结图节点折叠展开策略

vue+echarts实现依赖关系无向网络拓扑结图节点折叠展开策略

目录 引言 一、设计 1. 树状图（不方便呈现节点之间的关系，次要考虑） 2. 力引导依赖关系图 二、力引导关系图 三、如何实现节点的Open Or Fold 1. 设计逻辑 节点展开细节 节点收缩细节 代码实现 四、结果呈现 五、完整代码 引言 我…
阅读更多...
重生奇迹MU再生原石

重生奇迹MU再生原石

通过坎特鲁提炼之塔的NPC艾尔菲丝提炼成功就可以可获得再生宝石。 重生奇迹mu里的再生原石的用法： 1、打怪获得再生原石去提炼之塔（进入坎特鲁遗址的141188位置的传送台）。 2、找到（艾儿菲丝）把原石提炼成再生宝石。…
阅读更多...
2016年五一杯数学建模C题二孩政策问题解题全过程文档及程序

2016年五一杯数学建模C题二孩政策问题解题全过程文档及程序

2016年五一杯数学建模 C题 二孩政策问题 原题再现 多年来实施的严、紧计划生育政策对控制人口增长起到关键作用。在优生优育政策的指引下，我国人口质量显著提高，但也带来了不利影响，生育率偏低、男女比例失衡、人口老龄化情况严重等问题。2…
阅读更多...
小程序如何进行一键修复

小程序如何进行一键修复

在使用小程序过程中，难免会遇到一些问题，比如程序崩溃、功能异常等等。这时，版本一键修复就显得尤为重要了。下面，我们就来介绍一下小程序如何进行版本一键修复。 一、什么是版本一键修复？ 版本一键修复是指在小程序…
阅读更多...
ELK---filebeat日志收集工具

ELK---filebeat日志收集工具

elk---filebeat日志收集工具 filebeat是一个轻量级的日志收集工具，所使用的资源比logstash部署和启动时使用的资源小的多。 filebeat可以在非Java环境收集日志，它可以代替logstash在非Java环境上收集日志。 filebeat无法实现数据的过滤，一般…
阅读更多...
Linux 调试工具：gdb

Linux 调试工具：gdb

调试复习 调试可谓是 “贯穿” 了程序员的一生，调试的重要性，就不再赘述啦！如果你还不知道什么是调试，可以看看 Windows 系统的 Visual Studio 是如何调试的：➡️ visual stuudio 使用调试技巧 下载调试软件 gdb yu…
阅读更多...
java学习part29线程通信

java学习part29线程通信

139-多线程-线程间的通信机制与生产者消费者案例_哔哩哔哩_bilibili 1.等待唤醒 类似于golang的channel， 1.1用法 类似于go的wait()， 1.sleep和wait的一个重大区别是，sleep不会让线程失去同步监视器，而wait会释放 2.wait必须tr…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023