opencv项目实践二（银行卡卡号识别）

任务说明

在这里插入图片描述
将银行卡卡号打印输出

实现

一、思路
1、定位银行卡卡号数字区域
2、将银行卡每个卡号数字单独提取出来
3、处理模板图片，将每个模板数字单独提取出来
4、通过模板匹配来识别每个卡号

二、具体代码实现
1、处理模板
卡号数字模板
在这里插入图片描述

# 读取模板图片
img_m = cv2.imread("ocr_a_reference.png",1)
img_m_g = cv2.cvtColor(img_m,cv2.COLOR_BGR2GRAY)
# 反二值化处理，常见的二值图像一般前景为白色，背景为黑色
img_m_g = cv2.threshold(img_m_g,0,255,cv2.THRESH_OTSU|cv2.THRESH_BINARY_INV)[1]
# 查找图像的轮廓
img_m_g_con = cv2.findContours(img_m_g,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
img_m_g_dst = cv2.drawContours(img_m.copy(),img_m_g_con,-1,(0,0,255),2)
imshow(img_m_g_dst)

在这里插入图片描述
将每个模板数字分割开，并保存到字典中

# 画模板图片的矩形包围盒
l1 = []
for con in img_m_g_con:(x,y,w,h) = cv2.boundingRect(con)l1.append(x)# 将其包围盒按照x坐标排序，这样就得到了按序排列的0~9模板数字图片，
#（因为查找得到的模板是无序的，排序后可以确认每个模板对应的数字）
(img_m_g_con,l1) = zip(*sorted(zip(img_m_g_con,l1),key=lambda x :x[1],reverse=False))
# 将模板数字图像分割开
digits = {}
for i,con in enumerate(img_m_g_con):(x,y,w,h) = cv2.boundingRect(con)roi = img_m_g[y:y+h,x:x+w]
#     （57，88）为调整后的模板图像的大小，也可以设置为其他大小digits[i] = cv2.resize(roi,(57,88))
#     imshow(digits[i])
# 至此，从0到9的模板图像已经保存在了digits中，模板图像就处理完了。

2、处理银行卡图片

# 加载
img_card = cv2.imread("credit_card_01.png",1)
img_card_gray = cv2.cvtColor(img_card,cv2.COLOR_BGR2GRAY)# 顶帽操作，原始图像-开运算图像，作用：提取噪音、高亮的区域。
kernel = np.ones((5,5))
tophat = cv2.morphologyEx(img_card_gray,cv2.MORPH_TOPHAT,kernel)
imshow(tophat)

在这里插入图片描述
求图像的梯度（边缘）的目的是方便之后的形态学操作，将目标区域连通在一起。

#求图像梯度
grady =  cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=0,dy=1,ksize = 3)
# Sobel计算出来的像素值类似为float，需要将其规范到(0~255),并且将其格式转为Uint8
grady = cv2.convertScaleAbs(grady)
# imshow(grady)
gradx = cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=1,dy=0,ksize=3)
gradx = cv2.convertScaleAbs(gradx)
# imshow(gradx) 
# 将X方向的梯度和Y方向的梯度融合。
# 只用单方向梯度也可以达到目的
grad = cv2.addWeighted(gradx,0.5,grady,0.5,0)
imshow(grad)
#使用Canny边缘检测，也可以得到类似的效果

在这里插入图片描述
形态学操作，将目标区域连通在一起

# 接下来执行闭操作（先腐蚀后膨胀）一是为了去除一些白色小点噪音，二是将单独的数字给连接成一个小区域
kernel = np.ones((3,3))
grad_close = cv2.morphologyEx(grad,cv2.MORPH_CLOSE,kernel,iterations = 1)
imshow(grad_close)
grad_dst = cv2.threshold(grad_close,0,255,cv2.THRESH_OTSU)[1]
# imshow(grad_dst)
# 注意到第三个区域还没有连通，继续进行闭操作
grad_close = cv2.morphologyEx(grad_dst,cv2.MORPH_CLOSE,kernel,iterations=8)
imshow(grad_close)

闭操作执行的次数和银行卡的格式是严格相关的，不同格式的银行卡要设置不用的参数，参数值通过实验经验获得。
其主要目的是将目标区域联通在一起，并且要求连通后的区域不可以包含额外区域，比如参数设置过大会导致左侧目标区域与下方区域连通，设置过小会导致目标区域无法连通。
在这里插入图片描述

# 目标区域已经完全连通，接下来进行轮廓检测，画包围盒，然后再进行筛选
gradcon = cv2.findContours(grad_close,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
dst = cv2.drawContours(img_card.copy(),gradcon,-1,(0,0,255),2)
imshow(dst)
# 筛选合适的轮廓，筛选参数值是通过经验获取的，可以将各个轮廓的w,h打印后观察。
losc = []
for con in gradcon:(x,y,w,h) = cv2.boundingRect(con)ar = w/h#print(x,y,w,h)if ar >2.4 and ar <3.5: if w>155 or w<85:continue losc.append((x,y,w,h))

# 对矩形包围框按照坐标进行排序，排序目的和前面对模板数字图片的排序目的相同。
sort_losc = sorted(losc,key = lambda x :x[0],reverse=False)
# 排序后的包围盒顺序
# for i in sort_losc:
#     x,y,w,h = i[0],i[1],i[2],i[3]
#     con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
#     dst = cv2.drawContours(img_card.copy(),con,-1,(0,0,255),2)
#     imshow(dst)

# 得到了每个目标的包围框，然后把包围框包围的区域截取出一下
img_part = []
for i in sort_losc:x,y,w,h = i[0],i[1],i[2],i[3]con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])img_part.append(img_card[y:y+h,x:x+w])imshow(img_card[y:y+h,x:x+w])

在这里插入图片描述
再对每个小区域处理，获取每个卡号数字区域

# 接下来获取每个数字。
digital = []
def f(img):img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)img_2 = cv2.threshold(img_gray,0,255,cv2.THRESH_OTSU)[1]
#    获取轮廓可以进行先Canny检测，再画轮廓，也可以之前求梯度的方法
#    在这里可以直接进行轮廓查找，因为我们需要查找的是每个数字的轮廓，每个数字都是连通的imgcon = cv2.findContours(img_2,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]new_con = []#筛选for con in imgcon:(x,y,w,h) = cv2.boundingRect(con) if h>35 or w<15:continuenew_con.append((x,y,w,h))#排序，目的和前面的类似sort_con = sorted(new_con,key = lambda x:x[0]) for i in sort_con:x,y,w,h = i[0],i[1],i[2],i[3]con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])roi = img_2[y-1:y+h+1,x-1:x+w+1]#注意数字图片区域和模板图片区域要大小要保持一致digital.append(cv2.resize(roi,(57,88)))
for i in img_part:f(i)
# for i in digital:
#     imshow(i)

在这里插入图片描述
…

3、模板匹配

# 接下来进行模板匹配
ans = []
for img_dig in digital:now = []for (dig,digroi) in digits.items():res = cv2.matchTemplate(img_dig,digroi,cv2.TM_CCOEFF_NORMED)now.append(res.item()) ans.append(now.index(max(now)))now.clear()
print(ans)