Python自动化(5)——ocr识字
通过网络识字
网络识字的平台有很多,主要有百度以及科大讯飞,这里以百度智能云来简单示例。
首先需要在百度智能云上注册一个账号,并创建一个应用,网址:
https://console.bce.baidu.com/ai/#/ai/ocr/app/list
获取到API Key和Secret Key之后,python安装request模块。
接下来就可以写代码了,此处直接上代码(部分):
获取百度智能云的access token
def getAccessToken(self):# 获取token值# client_id 为官网获取的API_KEY, client_secret 为官网获取的SECRET_KEYhost = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=' + \'client_credentials&client_id=' + self.apiKey + \'&client_secret=' + self.secretKeyresponse = requests.get(host)access_token = response.json()['access_token']return access_token# 联网识字,通过百度api识字# @border 识别区域# @type 识别方式,默认是2(通用文字识别(标准含位置版))def getWordsByBaiDu(self, border=None, type=2):assessToken = self.getAccessToken()request_url = Noneif type == self.type_general_basic:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/general_basic"# 通用文字识别(标准版)1000次/月,QPS/并发:2qpselif type == self.type_general:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/general"# 通用文字识别(标准含位置版)1000次/月,QPS/并发:2qpselif type == self.type_accurate_basic:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/accurate_basic"# 通用文字识别(高精度版)1000次/月,QPS/并发:2qpselif type == self.type_accurate:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/accurate"# 通用文字识别(高精度含位置版)500次/月,QPS/并发:2qpselif type == self.type_webimage:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/webimage"# 网络图片文字识别 1000次/月,QPS/并发:2qpselif type == self.type_webimage_loc:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/webimage_loc"# 网络图片文字识别(含位置版)总量500次,QPS/并发:2qpselif type == self.type_table:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/table"# 表格文字识别V2 500次/月,QPS/并发:2qpselif type == self.type_handwriting:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/handwriting"# 手写文字识别 500次/月,QPS/并发:2qpselif type == self.type_numbers:request_url = "https://aip.baidubce.com/rest/2.0/ocr/v1/numbers"# 数字识别 1000次/月,QPS/并发:2qps# qimg = self.screen.captureScreen('getWords.png', border)try:f = open('getWords.png', 'rb')imgBytes = base64.b64encode(f.read())params = {"image":imgBytes}request_url = request_url + "?access_token=" + assessTokenheaders = {'content-type': 'application/x-www-form-urlencoded'}response = requests.post(request_url, data=params, headers=headers)print(str(response.json()["words_result"]))except Exception as e:print('网络识图出错了')print(str(e))return []else:return response.json()["words_result"]
这里我实现的是通过截图的方式保存一张临时图片,然后再发送这张图片给百度识字。其中,self.apiKey填写获取到的API Key,self.secretKey填写获取到的Secret Key。百度智能云的OCR分了很多种不同场景使用的API,并且免费版的有次数和迸发限制,具体如下:
通用文字识别(标准版)1000次/月,QPS/并发:2qps
通用文字识别(标准含位置版)1000次/月,QPS/并发:2qps
通用文字识别(高精度版)1000次/月,QPS/并发:2qps
通用文字识别(高精度含位置版)500次/月,QPS/并发:2qps
网络图片文字识别 1000次/月,QPS/并发:2qps
网络图片文字识别(含位置版)总量500次,QPS/并发:2qps
表格文字识别V2 500次/月,QPS/并发:2qps
手写文字识别 500次/月,QPS/并发:2qps
数字识别 1000次/月,QPS/并发:2qps
其它的业务不免费。
使用一个文本文档来测试一下,测试代码以及结果:
from PyQt5.QtWidgets import QApplication
import sys
app = QApplication(sys.argv)
t = Text()
t.bind(2102088)
r = t.getWordsByBaiDu()
可以看到,基本上能正确识别出来结果(只是多了一个“》”号)。
这种方法的优缺点也很明显,优点是使用的是百度的识字模型,百度的识字模型一般都不会太差,并且也不用把模型保存在本地,可以省点空间,使用起来也很快捷。缺点是需要网络,并且有迸发限制,次数限制,还有网络延迟,可以说缺点比较多,因此更建议使用本地的OCR识字模块。
使用Easy OCR识字
首先安装EasyOCR模块。
接下来就比较简单,就是通过easyocr的模型来识别图片中的文字,直接上代码:
import easyocr
self.easyocr = easyocr.Reader(['ch_sim','en'])
def getWordsByEasyOcr(self, border=None):qimg = self.screen.captureScreen(None, border)res = self.easyocr.readtext(self.screen.qimageToNDArray(qimg))print('getWordsByEasyOcr words: '+str(res))return res
测试代码:
from PyQt5.QtWidgets import QApplication
import sys
app = QApplication(sys.argv)
t = Text()
t.bind(2691300)
r = t.getWordsByEasyOcr()
这里用到了屏幕截图的qimageToNDArray方法,就是用于将截取出来的图片(QImage类型)转换成可以被easyocr识别的NDArray类型。因为用到了屏幕截图,所以还是需要加上QApplication类
结果:
首次运行时,easyocr会自动下载所需的模型到电脑里,下载位置:C:\Users\Administrator.EasyOCR
创建easyocr的时候,传入的第一个参数是需要识别的语言,是一个数组,可以同时识别多种语言,easyocr常用的语言代号:
ch_sim:简体中文
ch_tra:繁体中文
en:英语
ja:日语
ko:韩语
de:德语
fr:法语
es:西班牙语
pt:葡萄牙语
注意,初始化easyocr时,会有一个warnning,意思是,CUDA不可用,默认使用CPU,使用GPU时,此模块的速度要快得多。如果要使用的话,可以开启显卡的CUDA功能,不过此处不做说明(因为本人也没有开启…)。创建easyocr类的时候是默认开启的,就算设置成不开启,也会弹提示,因此这里我就没管。
后面就是识字的结果,可以看到,是正确识别出我所输入的文本了。结果是一个大数组,每一段识别出来的文本都是一个元组(使用英文小括号括住的),元组里面第一个数组就是识别出的文本区域4个点的坐标,接着是识别出的文本,以及识别结果的相似度。
多行文本会识别出多段结果。
当然,easyocr也可以直接识别一张图片,传入一张图片的地址就行,例如:
t.easyocr.readtext(‘xxx.png’)
这样也能识别出图片中的文本。不过easyocr有一个问题,就是识别多行文本的时候,可能会识别不出来(我就试过,不过忘记了复现不出来),因此我使用了paddleocr。
使用Paddle OCR识字
paddlerocr的使用和easyocr其实差别不大,首先安装paddleocr模块。
接着同样是使用paddleocr直接识别就行:
self.paddleOcr = PaddleOCR(use_angle_cls=True, lang="ch")
def getWordsByPaddleocr(self, border=None):qimg = self.screen.captureScreen(None, border)res = self.paddleOcr.ocr(self.screen.qimageToNDArray(qimg))print('getWordsByPaddleocr words: '+str(res))return res
与easyocr相同,使用paddleocr同样需要下载模型,首次运行时会自动下载所需的模型。创建paddleocr时,use_angle_cls参数用于确定是否使用角度分类模型,即是否识别垂直方向的文字。lang参数定义需要识别的文字类型,ch是中文。
Paddleocr常用的语言代号:
ch:中文
en:英语
japan:日语
korean:韩语
german:德语
fr:法语
测试代码:
from PyQt5.QtWidgets import QApplication
import sys
app = QApplication(sys.argv)
t = Text()
t.bind(2691300)
r = t.getWordsByPaddleocr()
结果:
paddlerocr初始化时会有一大堆的log输出,这些可以忽略。识别结果还是比较准确的,格式和easyocr稍微有些不一样,这里我改了下方法,让识别结果的格式与easyocr识别结果一致。
def getWordsByPaddleocr(self, border=None):qimg = self.screen.captureScreen(None, border)res = self.paddleOcr.ocr(self.screen.qimageToNDArray(qimg))easyOcrRes = [] # 转换成EasyOcr的返回格式for i in range(len(res[0])):pos = res[0][i][0]text = res[0][i][1][0]similar = res[0][i][1][1]easyOcrRes.append((pos, text, similar))print('getWordsByPaddleocr words: '+str(res))return easyOcrRes
这样识别出来的结果经过封装后,和easyocr识别结果的格式一致了,这样使用的时候会方便一点。
完整自动化工程代码:https://gitee.com/chj-self/PythonRobotization
大佬们找到问题欢迎拍砖~