OpenCV(二)—— 车牌定位

从本篇文章开始我们进入 OpenCV 的 Demo 实战。首先,我们会用接下来的三篇文章介绍车牌识别 Demo。

1、概述

识别图片中的车牌号码需要经过三步:

  1. 车牌定位:从整张图片中识别出牌照,主要操作包括对原图进行预处理、把车牌从整图中抠出
  2. 字符分割:将牌照中的字符进行切割
  3. 字符识别:识别单个字符,然后拼接成字符串

本节是 OpenCV 车牌识别的第一节课,主要完成了车牌定位的工作。具体流程:

流程

2、项目搭建

Demo 使用 Visual Studio 开发,有关 Visual Studio 配置 OpenCV 项目的详细过程在上一篇文章中已经介绍过,这里就只是再简单提一下。

2.1 项目配置

在 Visual Studio 中创建一个 CMake 项目 LicensePlateRecognition,配置 CMakeLists.txt 如下:

cmake_minimum_required (VERSION 3.8)project ("LicensePlateRecognition")# 指明 OpenCV 的头文件目录,编译时会去该目录下寻找 OpenCV 的头文件
include_directories("G:/Tools/OpenCV/build/include")# 指明 OpenCV 的库文件目录,链接时会去该目录下寻找 OpenCV 的库文件
link_directories("G:/Tools/OpenCV/build/x64/vc15/lib")# 将指定的源代码添加到此项目的可执行文件
add_executable (LicensePlateRecognition "LicensePlateRecognizer.cpp" "PlateLocator.cpp" "SobelLocator.cpp" "VLPR_1.cpp")# 指明可执行文件或库文件依赖的库,opencv_world410d 在链接时会链接到目标 LicensePlateRecognition
target_link_libraries(LicensePlateRecognition opencv_world410d)

如果运行时说找不到 opencv_world410d.dll,请将库目录添加到环境变量并重启 VS 再试。

2.2 框架搭建

说一下被添加到 add_executable() 中编译的源码的功能:

  • LicensePlateRecognizer 是车牌识别器,传入一个车牌图像会返回车牌号:

    int main() {Mat src = imread("C:/Users/69129/Desktop/Test/test2.jpg");LicensePlateRecognizer lpr("C:/Users/69129/Desktop/Test/svm.xml","C:/Users/69129/Desktop/Test/train/ann/ann.xml", "C:/Users/69129/Desktop/Test/train/ann/ann_zh.xml");// 识别车牌,返回车牌号string str_plate = lpr.recognize(src);cout << "车牌号:" << str_plate << endl;return 0;
    }
    
  • PlateLocator 是车牌定位器,用于定位车牌的。由于车牌定位有多种算法,因此具体的识别工作不由 PlateLocator 完成,而是交给使用了某一种算法的子类完成,如 SobelLocator(使用 Sobel 算法)或 ColorLocator(使用 HSV 颜色模型)

由于本节我们只进行车牌定位,因此文件暂时就这么多,后续随着功能的添加,源码文件也会随之增加。

注意事项与小技巧:

  • 头文件内不建议使用 # pragma once 的形式,兼容性不如宏定义的方式好
  • 使用 Visual Studio 时,如果在 CMakeLists 中通过 *.cpp 这种形式设置所有 cpp 文件都添加到可执行文件中,那么在新建 cpp 文件后,需要在 Visual Studio -> Project -> CMake 缓存 -> 删除缓存,然后在 CMakeLists 通过 Ctrl + S 重新生成可执行文件,否则新建的 cpp 不会自动被添加到可执行文件中

3、Sobel 算法定位车牌

我们使用 Sobel 算法实现 SobelLocator 定位器的 locate(),3.1 ~ 3.8 节的标题就是根据前面给出的流程图做出的实现步骤。

3.1 高斯模糊

高斯模糊算法本质上是一种数据平滑技术,图像处理恰好是一个直观的应用实例,具体内容可以参考阮一峰大神的博客:高斯模糊的算法。

我们这里需要了解 OpenCV 的高斯模糊函数 GaussianBlur 如何使用:

/** 使用高斯滤镜(滤波器)对图像进行模糊处理。该函数将源图像与指定的高斯核进行卷积。支持原地滤波。@param src 输入图像;图像可以具有任意数量的通道,但是它们将独立处理,但是深度应为CV_8U、CV_16U、CV_16S、CV_32F 或 CV_64F
@param dst 输出图像,与 src 具有相同的大小和类型
@param ksize 高斯核大小。ksize.width 和 ksize.height 可以不同,但它们都必须是正奇数。或者,它们可以为零,然后它们将从 sigma 中计算得出
@param sigmaX X 向的高斯核标准差
@param sigmaY Y方向的高斯核标准差;如果 sigmaY 为零,则它被设置为与 sigmaX 相等,如果两个 sigma 都为零,则它们分别从 ksize.width 和 ksize.height 计算得出(有关详细信息,请参见 #getGaussianKernel);为了完全控制结果,无论将来可能对所有这些语义的修改如何,建议指定 ksize、sigmaX 和 sigmaY
@param borderType 素外推方法,参见 #BorderTypes
*/
CV_EXPORTS_W void GaussianBlur( InputArray src, OutputArray dst, Size ksize,double sigmaX, double sigmaY = 0,int borderType = BORDER_DEFAULT );

调用 GaussianBlur() 对原图进行高斯模糊:

/**
* 车牌定位,输入原图 src,输出候选图集合 dst_plates
*/
void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.高斯模糊Mat blur;// 构造 Size 的宽高必须是正奇数,宽高越大越模糊GaussianBlur(src, blur, Size(5, 5), 0);imshow("src", src);imshow("blur", blur);...
}

对比效果如下:

2024-4-2.高斯模糊效果

3.2 灰度化

实际上,色彩对于图像识别是有干扰的,因此需要通过灰度化对图像“降噪”,为 Sobel 边缘检测算法(该算法只接受灰度图)做准备:

void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.高斯模糊...// 2.灰度化Mat gray;// 注意颜色是 BGR,OpenCV 早期用 BGR 表示颜色,而不是现在我们熟悉的 RGBcvtColor(blur, gray, COLOR_BGR2GRAY);imshow("gray", gray);...
}

灰度化效果:

2024-4-2.灰度化效果

可否先对原图灰度化后再高斯模糊呢?没有硬性规定,但是高斯模糊接收彩色图的模糊效果更好。

3.3 Sobel Derivatives 运算

Sobel Derivatives —— Sobel 导数是一种用于计算图像梯度的算子。它是一种线性滤波器,用于检测图像中的边缘。Sobel 算子结合了水平和垂直方向的差分操作,从而可以同时计算图像在水平和垂直方向上的梯度。这使得 Sobel 算子在图像处理中广泛应用于边缘检测、图像增强和特征提取等任务中。

Sobel 算子的计算过程涉及对图像进行卷积操作,具体而言,它使用一个 3 × 3 的卷积核分别对图像进行水平和垂直方向的卷积。通过计算卷积结果的导数,可以得到图像在水平和垂直方向上的梯度强度。这些梯度信息可以用来检测图像中的边缘,因为边缘通常表示图像中灰度值的剧烈变化。

Sobel 算子在图像处理和计算机视觉领域具有广泛的应用,例如边缘检测、角点检测、图像平滑和模糊等。它是一种简单而有效的方法,可用于提取图像的结构信息并进行特征提取。更详细的信息与公式可参考 OpenCV 官方文档 Sobel Derivatives。

我们通过 Sobel 运算可以得到图像一阶水平方向导数,目的是检测图像中的垂直边缘,便于区分车牌(注意 Sobel 运算只能对灰度图像有效,因此进行 Sobel 运算前必须先进行灰度化工作):

void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.高斯模糊// 2.灰度化...// 3.Sobel 运算Mat sobel_16;// 输入的图像是 8 位的,而经过 Sobel 求导,导数可能会大于// 255 或小于 0,因此结果的数据深度要用 16 位,8 位不够// CV_16S 表示有符号 16 位整型// 最后两个参数 1 与 0 分别表示仅对 X 方向求导,Y 方向不用Sobel(gray, sobel_16, CV_16S, 1, 0);// sobel_16 无法显示,需要转回 8 位Mat sobel;convertScaleAbs(sobel_16, sobel);imshow("sobel", sobel);...
}

Sobel 运算后的效果:

2024-4-2.Sobel计算效果

可以看到,经过 Sobel 运算后,物体轮廓要比灰度图明显了。

3.4 二值化

二值化的通俗说法就是非黑即白。对图像的每个像素做一个阈值处理,为后续的形态学操作准备。

具体来讲,就是灰度图中每个像素值是 0 ~ 255,表示灰暗程度。现在我们设定一个阈值 t,像素值小于 t 的设为 0,否则设为 1,这样所有的像素就只有 0 或 1 两个值。

在 OpenCV 中,二值化使用 threshold() 函数:

/** 对每个数组元素应用固定级别的阈值。该函数对多通道数组应用固定级别的阈值处理。通常,该函数用于将灰度图像转换为
二值图像(也可以使用 #compare 函数实现此目的)或者用于去除噪声,即过滤掉
像素值过小或过大的像素。函数支持几种类型的阈值处理,这些类型由参数 type 决定。此外,特殊值 #THRESH_OTSU 或 #THRESH_TRIANGLE 可以与上述类型的阈值组合使用。
在这些情况下,函数将使用 Otsu's 算法或 Triangle 算法确定最优阈值,并将其用于
替代指定的 thresh。@note 目前,Otsu's 算法和 Triangle 算法仅适用于 8 位单通道图像。@param src 输入数组(多通道、8 位或 32 位浮点数)。
@param dst 输出数组,与 src 具有相同的大小、类型和通道数。
@param thresh 阈值。
@param maxval 在 #THRESH_BINARY 和 #THRESH_BINARY_INV 阈值类型中使用的最大值。
@param type 阈值类型(参见 #ThresholdTypes)。
@return 如果使用了 Otsu's 算法或 Triangle 算法,则返回计算出的阈值。*/
CV_EXPORTS_W double threshold( InputArray src, OutputArray dst,double thresh, double maxval, int type );

使用 threshold() 进行二值化:

void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.高斯模糊// 2.灰度化// 3.Sobel 运算...// 4.二值化(非黑即白,对比更强烈)Mat shold;// OTSU 算法threshold(sobel, shold, 0, 255, THRESH_OTSU + THRESH_BINARY);imshow("shold", shold);
}

效果:

2024-4-2.二值化效果

可以看出对比度更明显,轮廓更清晰了。

3.5 形态学操作(闭操作)

形态学操作的目的是将车牌字符连接成一个连通区域,便于取轮廓。

形态学操作的对象是二值化图像,操作有多种类型,腐蚀,膨胀是许多形态学操作的基础。我们先来了解部分操作类型:

  • 腐蚀(黑色腐蚀白色):让像素 x 位于模板的中心,根据模版的大小,遍历所有被模板覆盖的其他像素,修改像素 x 的值为所有像素中最小的值。实际上就是对于中心点像素 x,模板范围内没有黑色则保留,否则该像素涂黑:

在这里插入图片描述

假如按照从上至下、从左至右的顺序逐个检查像素点,现在检查到第一排最右侧,设该像素点为 X,让 X 位于模板中心:

在这里插入图片描述

那么原图像被模板覆盖的除了 X 还有 1、2、3 共 4 个像素点,只要有 1 个是黑色,X 就要被涂成黑色。整个原图中只有 A、B、C 三个像素作为中心的 3 * 3 矩形全部为白色,因此腐蚀后的效果就像右边的图那样。

  • 膨胀(白色膨胀占领黑色)与腐蚀操作相反:

  • 开操作是先腐蚀,再膨胀:

  • 闭操作是先膨胀,再腐蚀:

可以看到,闭操作将两个分开的部分融合成一个部分,这正是我们要做的把车牌字符的各个部分融合为整个车牌的轮廓:

void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.高斯模糊// 2.灰度化// 3.Sobel 运算// 4.二值化(非黑即白,对比更强烈)// 5.形态学操作中的闭操作Mat close;// 获取模板,模板类型是矩形Mat element = getStructuringElement(MORPH_RECT, Size(17, 3));// MORPH_CLOSE 表示进行闭操作morphologyEx(shold, close, MORPH_CLOSE, element);imshow("close", close);}

效果如下:

2024-4-2.求轮廓(闭操作)效果

可以看到原本车牌字符是分开的,现在都融合到一个车牌轮廓之中。

3.6 找轮廓

将连通域的外围画出来,便于形成外接矩形。这个矩形我们认为是可以有旋转角度的矩形,不一定是与 X 或 Y 正方向垂直的矩形。

在找轮廓的过程中会用到如下几个 API:

  • findContours() 用于查找轮廓:

    /** @brief 在二值图像中查找轮廓该函数使用 @cite Suzuki85 算法从二值图像中提取轮廓。轮廓是形状分析和目标检测与识别的有用工具。
    请参阅 OpenCV 示例目录中的 squares.cpp。@note 自 OpenCV 3.2 起,此函数不会修改源图像。@param image 输入的 8 位单通道图像。非零像素被视为 1。零像素保持为 0,因此图像被视为二值图像。您可以使用 #compare、#inRange、#threshold、#adaptiveThreshold、#Canny 等函数将灰度图像或彩色图像转换为二值图像。如果 mode 等于 #RETR_CCOMP 或 #RETR_FLOODFILL,则输入也可以是标签的 32 位整数图像(CV_32SC1)。
    @param contours 检测到的轮廓。每个轮廓以点的向量形式存储(例如 std::vector<std::vectorcv::Point>)。
    @param hierarchy 可选的输出向量(例如 std::vectorcv::Vec4i),包含关于图像拓扑的信息。它的元素个数与轮廓的数量相同。对于每个 i-th 轮廓 contours[i],元素 hierarchy[i][0]、hierarchy[i][1]、hierarchy[i][2] 和 hierarchy[i][3] 被设置为同一层次级别上下一个轮廓、前一个轮廓、第一个子轮廓和父轮廓的0-based索引。如果轮廓 i 没有下一个、上一个、父轮廓或嵌套轮廓,则 hierarchy[i] 的相应元素将为负数。
    @param mode 轮廓检索模式,参见 #RetrievalModes
    @param method 轮廓逼近方法,参见 #ContourApproximationModes
    @param offset 可选的偏移量,用于将每个轮廓点平移。如果轮廓是从图像 ROI 中提取的,然后在整个图像上下文中进行分析,这将非常有用。*/
    CV_EXPORTS_W void findContours( InputArray image, OutputArrayOfArrays contours,OutputArray hierarchy, int mode,int method, Point offset = Point());/** @overload */
    CV_EXPORTS void findContours( InputArray image, OutputArrayOfArrays contours,int mode, int method, Point offset = Point());
    
  • minAreaRect() 用于查找最小面积旋转矩形:

    /** @brief 寻找包围输入2D点集的最小面积旋转矩形。该函数计算并返回指定点集的最小面积边界矩形(可能是旋转的)。开发者需要注意,
    返回的旋转矩形在数据接近Mat元素边界时可能包含负索引。@param points 输入的 2D 点集向量,存储在 std::vector<> 或 Mat 中*/
    CV_EXPORTS_W RotatedRect minAreaRect( InputArray points );
    

minAreaRect函数用于找到能够包围给定的 2D 点集的最小面积旋转矩形。

该函数计算并返回一个最小面积的包围矩形(可能是旋转的),用于指定的点集。开发者应该注意,返回的RotatedRect对象可能包含负索引,当数据接近Mat元素边界时。

函数接受一个输入参数points,表示 2D 点的输入向量或矩阵。这些点可以使用std::vector<>Mat来存储。

函数返回一个RotatedRect类型的对象,表示最小面积的旋转矩形。RotatedRect是一个包含旋转矩形相关信息的类,包括旋转矩形的中心坐标、宽度、高度和旋转角度等。

需要注意的是,当数据接近Mat元素边界时,返回的RotatedRect对象可能包含负索引。开发者在使用返回的旋转矩形时需要注意这一点。

void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.高斯模糊// 2.灰度化// 3.Sobel 运算// 4.二值化(非黑即白,对比更强烈)// 5.形态学操作中的闭操作...// 6.找轮廓// vector<Point>是点的集合,可以连成线,线的集合就是轮廓了vector<vector<Point>> contours;findContours(close, // 闭操作后的图像contours, // 轮廓,接收结果RETR_EXTERNAL, // 轮廓检索模式:外轮廓CHAIN_APPROX_NONE // 轮廓近似算法模式:不进行轮廓近似,保留所有的轮廓点);// 一张图片会有多个轮廓,遍历将其画出RotatedRect rotatedRect;for each (vector<Point> points in contours) {rotatedRect = minAreaRect(points);// 在原图 src 上画一个红色的、包围旋转矩形的最小正立整数矩形rectangle(src, rotatedRect.boundingRect(), Scalar(0, 0, 255));}imshow("找轮廓", src);...
}

可以看到,在原图中找出了大大小小 N 多个轮廓:

2024-4-2.找轮廓效果

3.7 尺寸判断

从上图看出,经过轮廓查找,一张图片中可以找出很多个轮廓,但是有很多从大小上判断,就明显就不可能是车牌。所以我们通过尺寸判断的方式,初步筛选排除不可能是车牌的矩形(中国车牌的一般大小是 440mm * 140mm,宽高比为 3.14)。

由于尺寸判断对于车牌定位而言是一个通用操作,因此将其放在基类 PlateLocator 作为一个 protected 成员(方便特定算法子类覆盖):

/**
* 通过宽高比和面积两个方面校验传入的 RotatedRect 是否可能为车牌
*/
bool PlateLocator::verifySizes(RotatedRect rotatedRect)
{// 容错率float error = 0.75;// 理想宽高比(训练样本使用的车牌规格为 136,36,因此将其用作理想宽高比计算)float aspect = float(136) / float(36);// 利用容错率计算出最小宽高比与最大宽高比float aspectMin = (1 - error) * aspect;float aspectMax = (1 + error) * aspect;// 真实宽高比float realAspect = float(rotatedRect.size.width) / float(rotatedRect.size.height);if (realAspect < 1){realAspect = float(rotatedRect.size.height) / float(rotatedRect.size.width);}// 真实面积float area = rotatedRect.size.width * rotatedRect.size.height;// 最小面积与最大面积,不符合的丢弃// 给个大概就行,可以随时调整,给大一点也没关系,这只是初步筛选int areaMin = 44 * aspect * 14;int areaMax = 440 * aspect * 140;// 刨除合法范围之外的if ((area < areaMin || area > areaMax) || (realAspect < aspectMin || realAspect > aspectMax)){return false;}return true;
}

在找轮廓的过程中会遍历形成矩形,用 verifySizes() 判断这些矩形是否符合规格,符合的存入 vec_sobel_rects 集合中:

	// 6.找轮廓// vector<Point>是点的集合,可以连成线,线的集合就是轮廓了vector<vector<Point>> contours;findContours(close, // 闭操作后的图像contours, // 轮廓,接收结果RETR_EXTERNAL, // 轮廓检索模式:外轮廓CHAIN_APPROX_NONE // 轮廓近似算法模式:不进行轮廓近似,保留所有的轮廓点);// 一张图片会有多个轮廓,遍历将其画出RotatedRect rotatedRect;vector<RotatedRect> vec_sobel_rects;for each (vector<Point> points in contours) {rotatedRect = minAreaRect(points);// 在原图 src 上画一个红色的、包围旋转矩形的最小正立整数矩形rectangle(src, rotatedRect.boundingRect(), Scalar(0, 0, 255));// 7.尺寸判断,符合规格的放入 vec_sobel_rects 集合中if (verifySizes(rotatedRect)) {vec_sobel_rects.push_back(rotatedRect);}}imshow("找轮廓", src);// 用绿色矩形画出符合尺寸规格的轮廓for each (RotatedRect rect in vec_sobel_rects){rectangle(src, rect.boundingRect(), Scalar(0, 255, 0));}imshow("尺寸判断", src);

经过尺寸判断,有可能为车牌的矩形被画成绿色:

2024-4-2.尺寸判断效果

3.8 矩形矫正

由于图片中的车牌不可能都像上面那样是正向的,也有可能是斜向的,比如下面这种:

2024-4-2.斜向车牌

那么在车牌定位阶段,就势必要对车牌轮廓的矩形进行旋转调整到水平正向位置,在旋转时还要注意不能超出原图的范围,最后还要将车牌图片调整到合适的大小方便后续识别。因此矩形矫正主要包括三方面内容:

  1. 获取一个范围安全(不会超过原图范围)的矩形
  2. 将偏斜的车牌调整为水平,为后面的车牌判断与字符识别提高成功率
  3. 调整车牌图片为合适大小为,确保候选车牌与导入机器学习模型之前尺寸一致,方便后续进行车牌字符识别

进入代码。上一步我们得到了尺寸校验合格的矩形集合 vec_sobel_rects,接下来就对这些矩形进行校正,并将校正结果存入 SobelLocator::locate() 的参数 dst_plates 中:

void SobelLocator::locate(Mat src, vector<Mat>& dst_plates)
{...// 8.矩形矫正tortuosity(src, vec_sobel_rects, dst_plates);// 查看校正结果for each (Mat m in dst_plates){imshow("Sobel 定位候选车牌", m);// 通过输入任意按键查看每一个候选车牌waitKey();}
}

tortuosity() 是校正操作的入口,包含了上面提到的三种矫正方法:

void PlateLocator::tortuosity(Mat src, vector<RotatedRect>& rects, vector<Mat>& dst_plates)
{// 遍历要处理的矩形for each (RotatedRect rect in rects){// 矩形角度float angle = rect.angle;float r = float(rect.size.width) / float(rect.size.height);if (r < 1){angle = 90 + angle;}// 1.让 rect 在一个安全范围内,不要超过 srcRect2f safe_rect;safeRect(src, rect, safe_rect);// 在原图片上画出一个矩形区域Mat src_rect = src(safe_rect);// 真正的候选车牌图Mat dst;// 2.旋转if (angle - 5 < 0 && angle + 5 > 0){// 旋转角度在 X 轴顺时针 5° 到逆时针 5° 的范围内就不用旋转了dst = src_rect.clone();}else {// 矩形相对于 safe_rect 的中心点坐标Point2f ref_center = rect.center - safe_rect.tl();Mat rotated_mat;// 旋转,结果保存在 rotated_mat 中rotation(src_rect, rotated_mat, rect.size, ref_center, angle);dst = rotated_mat;}// 3.调整大小Mat plate_mat;plate_mat.create(36, 136, CV_8UC3);resize(dst, plate_mat, plate_mat.size());dst_plates.push_back(plate_mat);dst.release();}
}

136 * 36 是我们训练车牌识别模型时使用的车牌样本图片宽高,为了提高识别率,我们在最后输出车牌定位结果时,也将图片宽高设置为 136 * 36。

计算范围安全的矩形:

/**
* 获取一个范围安全(不会超过 src)的矩形
*/
void PlateLocator::safeRect(Mat src, RotatedRect rotatedRect, Rect2f& safe_rect)
{// RotatedRect 不含坐标信息,转换为带坐标的 Rect2fRect2f boundRect = rotatedRect.boundingRect2f();// 左上角坐标为 (t1_x,t1_y)float t1_x = boundRect.x > 0 ? boundRect.x : 0;float t1_y = boundRect.y > 0 ? boundRect.y : 0;// 右下角坐标为 (br_x,br_y)float br_x = boundRect.x + boundRect.width < src.cols ?boundRect.x + boundRect.width - 1: src.cols - 1;float br_y = boundRect.y + boundRect.height < src.rows ?boundRect.y + boundRect.height - 1: src.rows - 1;// 计算转换后的矩形宽高float width = br_x - t1_x;float height = br_y - t1_y;if (width <= 0 || height <= 0){return;}// 创建结果矩形给接收参数safe_rect = Rect2f(t1_x, t1_y, width, height);
}

旋转:

void PlateLocator::rotation(Mat src, Mat& dst, Size rect_size, Point2f center, double angle)
{// 获得以 center 为中心、angle 为角度、不进行缩放的旋转矩阵Mat rot_mat = getRotationMatrix2D(center, angle, 1);// 旋转后的结果Mat mat_rotated;// 校正后大小会不一样,但是对角线一定能容纳int max = sqrt(pow(src.cols, 2) + pow(src.rows, 2));// 运用仿射变换warpAffine(src, mat_rotated, rot_mat, Size(max, max), INTER_CUBIC);if (debug){imshow("旋转前", src);imshow("旋转后", mat_rotated);}// 截取,尽量把车牌多余的区域截取掉getRectSubPix(mat_rotated, Size(rect_size.width, rect_size.height), center, dst);if (debug){imshow("截取后", dst);}// 注意,在调试时留一个 waitKey() 就可以通过输入任意按键查看所有// 备选矩形,因为我们这个 rotation 是在 tortuosity 的循环中调用的if (debug){waitKey();}// 释放mat_rotated.release();rot_mat.release();
}

旋转过程用到了仿射变换,可以参考 OpenCV 官方的仿射变换教程。

至此,车牌定位完成,我们可以运行 Demo 来看一下效果:

2024-4-2.车牌定位效果图1

四张图从左至右依次是原图、旋转前、旋转后、截取后的图片效果,可以看到第一组并没有得到正确的车牌。结果一共有三组,后两组效果如下:

2024-4-2.车牌定位效果图2

2024-4-2.车牌定位效果图3

可以看到第二组是正确地定位了车牌的。

4、HSV 颜色模型定位车牌

我们使用手中现有的车牌图片进行车牌定位,发现 HSV 颜色模型的定位准确性要比 Sobel 好一些,因此我们也介绍一下这种定位方式。

利用 HSV 模型定位的要点:识别车牌的蓝色底色,将蓝色亮度调到最高,其余颜色亮度调低,以实现车牌定位的效果。

4.1 HSV 简介

为了找出图像中的蓝色部分,需要检查 RGB 分量中的 Blue 分量就可以了。一般 Blue 分量是 0~255 的值,即便蓝色分量是 255 了,由于另外两个分量的影响,需要考虑各个分量的配比问题,RGB 作为颜色判断很难实现,于是就有了 HSV 模型和 Photoshop 中的 HSB 模型。

HSV 色轮模型图

HSV(Hue, Saturation, Value)模型和 HSB(Hue, Saturation, Brightness)模型是描述颜色的模型,它们在表示颜色的方式上是相似的,但在数学计算上有细微的差异。

  1. HSV 模型是根据颜色的直观特性由 A. R. Smith 在 1978 年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是:色调(H),饱和度(S),明度(V):

    • Hue(色调):表示颜色的基本属性,即我们通常所说的颜色名称,如红色、绿色、蓝色等。在 HSV 模型中,色相用角度衡量,取值范围是 0 到 360 度,对应着色轮的角度。从红色开始按逆时针方向计算,红色为 0°,绿色为120°,蓝色为240°;它们的补色是:黄色为 60°,青色为 180°,品红为 300°
    • Saturation(饱和度):表示颜色的纯度或者灰度的程度。饱和度越高,颜色越鲜艳纯净;饱和度越低,颜色越接近灰色。在 HSV 模型中,饱和度的取值范围是 0 到 1 之间,其中 0 表示灰度,1 表示最大饱和度。表示颜色接近光谱色的程度。一种颜色,可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大,颜色接近光谱色的程度就愈高,颜色的饱和度也就愈高。饱和度高,颜色则深而艳。光谱色的白光成分为 0,饱和度达到最高。通常取值范围为 0%~100%,值越大,颜色越饱和。
    • Value(亮度):表示颜色的亮度或者明暗程度。在 HSV 模型中,亮度的取值范围是 0 到 1 之间,其中 0 表示黑色,1 表示最大亮度。
  2. HSB 模型:

    • Hue(色调):与 HSV 模型中的色相相同,表示颜色的基本属性。
    • Saturation(饱和度):与 HSV 模型中的饱和度相同,表示颜色的纯度或者灰度的程度。
    • Brightness(亮度):与 HSV 模型中的明度相同,表示颜色的亮度或者明暗程度。在 HSB 模型中,明度的取值范围是 0 到 1 之间,其中 0 表示黑色,1 表示最大亮度。

HSV 模型和 HSB 模型在实际应用中可以互换使用,但需要注意它们之间的命名差异和数值范围的不同。

OpenCV 中 HSV 数据与原始定义略有不同,数据类型为 8UC,取值分别为 0 ~ 180、0 ~ 255、0 ~ 255,蓝色的范围是 100 ~ 124:

hsv范围

4.2 代码实现

Sobel 算法实现车牌定位的前三步为高斯模糊、灰度化、Sobel 运算,然后进行二值化运算。HSV 与 Sobel 的不同之处就在于前三步,从第四步二值化开始的后续步骤是相同的。

HSV 的前三步为:

  1. 预处理:将原图从 BGR 颜色空间转换为 HSV 颜色空间
  2. 遍历 HSV 像素点,凸显背景车牌颜色。我们这里是使用蓝色车牌举例的
  3. 分离 V 分量,为二值化做准备

参考代码如下:

#include "ColorLocator.h"void ColorLocator::locate(Mat src, vector<Mat>& dst_plates)
{// 1.预处理Mat hsv;// 将 BGR 颜色空间转换成 HSV 颜色空间cvtColor(src, hsv, COLOR_BGR2HSV);if (debug){imshow("src", src);imshow("hsv", hsv);}// 2.遍历 HSV 图片像素点,凸显出蓝色像素点// 获取 HSV 通道数,实际为 3 个,即 H、S、V 各一个int channels = hsv.channels();// HSV 图片高度为像素行数,宽度为像素列数 * 每个像素的通道数int height = hsv.rows;int width = hsv.cols * channels;// 假如是连续存储,可以将多行多列转换为一行多列来处理if (hsv.isContinuous()){width *= height;height = 1;}// 开始遍历 HSV 图像矩阵uchar* p;// 被检查的像素点是否为蓝色bool isBlue = false;for (int i = 0; i < height; i++){// 获取第 i 行的数据p = hsv.ptr<uchar>(i);// 遍历像素点,由于每个像素点有 HSV 3 个通道,因此每个点要 +3for (int j = 0; j < width; j += 3){int h = p[j];int s = p[j + 1];int v = p[j + 2];// 检查 H、S、V 分量是否符合蓝色特征值if (h >= 100 && h <= 124 && s >= 43 && s <= 255 && v >= 46 && v <= 255){isBlue = true;}else{isBlue = false;}// 如果是蓝色,就将其凸显,否则变黑if (isBlue){p[j] = 0;p[j + 1] = 0;p[j + 2] = 255;}else{p[j] = 0;p[j + 1] = 0;p[j + 2] = 0;}}}if (debug){imshow("凸显蓝色", hsv);}// 3.分离 V 分量,达到 Sobel 二值化之前的效果vector<Mat> hsv_split;// 对图像按通道进行分离split(hsv, hsv_split);if (debug){imshow("分离V分量", hsv_split[2]);}// 4.二值化,从这里开始步骤与 Sobel 相同了Mat shold;// OTSU:大律法,自适应阈值;THRESH_BINARY:正二值化;THRESH_BINARY_INV:反二值化// 蓝色车牌是背景深、字符浅,如果是黄色车牌黑色字,那就是背景浅字符深,就要用反二值化threshold(hsv_split[2], shold, 0, 255, THRESH_OTSU + THRESH_BINARY);if (debug){imshow("shold", shold);}// 5.形态学操作中的闭操作Mat close;// 获取模板,模板类型是矩形Mat element = getStructuringElement(MORPH_RECT, Size(17, 3));// MORPH_CLOSE 表示进行闭操作morphologyEx(shold, close, MORPH_CLOSE, element);if (debug){imshow("HSV闭操作", close);}// 6.找轮廓// vector<Point>是点的集合,可以连成线,线的集合就是轮廓了vector<vector<Point>> contours;findContours(close, // 闭操作后的图像contours, // 轮廓,接收结果RETR_EXTERNAL, // 轮廓检索模式:外轮廓CHAIN_APPROX_NONE // 轮廓近似算法模式:不进行轮廓近似,保留所有的轮廓点);// 一张图片会有多个轮廓,遍历将其画出RotatedRect rotatedRect;vector<RotatedRect> vec_sobel_rects;// 使用 vector 迭代器遍历,这里与 Sobel 方式不同vector<vector<Point>>::iterator it = contours.begin();while (it != contours.end()){rotatedRect = minAreaRect(*it);// 在原图 src 上画一个红色的、包围旋转矩形的最小正立整数矩形rectangle(src, rotatedRect.boundingRect(), Scalar(0, 0, 255));// 7.尺寸判断,符合规格的放入 vec_sobel_rects 集合中if (verifySizes(rotatedRect)) {vec_sobel_rects.push_back(rotatedRect);++it;}else{it = contours.erase(it);}}if (debug){imshow("HSV找轮廓", src);}// 用绿色矩形画出符合尺寸规格的轮廓for each (RotatedRect rect in vec_sobel_rects){rectangle(src, rect.boundingRect(), Scalar(0, 255, 0));}if (debug){imshow("尺寸判断", src);}// 8.矩形矫正tortuosity(src, vec_sobel_rects, dst_plates);for each (Mat m in dst_plates){imshow("HSV 定位候选车牌", m);// 通过输入任意按键查看每一个候选车牌waitKey();}// 释放hsv.release();for each (Mat m in hsv_split){m.release();}shold.release();close.release();element.release();
}

原图、转换为 HSV、凸显蓝色的效果图如下:

2024-4-3.HSV凸显蓝色效果

对图像按通道进行分离可以是对 BGR 进行分离,也可以是对 HSV 进行分离。以 BGR 为例,分离的示意图如下:

2024-4-3.OpenCV的split

对于 HSV 而言,分离结果就是将像素中每个点的 H、S、V 分量提取到各自的数组中,代码中的 hsv_split[2] 就是 V 分量的数组。

虽然 HSV 后续步骤与 Sobel 相同,但是 HSV 的定位效果却要比 Sobel 好。HSV 的闭操作、找轮廓都要比 Sobel 更准确,并且最后得出的候选车牌,Sobel 有三组,而 HSV 直接就是车牌的那一组:

2024-4-3.两种算法闭操作对比

2024-4-3.两种算法找轮廓对比

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/319322.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

飞书API(7):MySQL 入库通用版本

一、引入 在上一篇介绍了如何使用 pandas 处理飞书接口返回的数据&#xff0c;并将处理好的数据入库。最终的代码拓展性太差&#xff0c;本篇来探讨下如何使得上一篇的最终代码拓展性更好&#xff01;为什么上一篇的代码拓展性太差呢&#xff1f;我总结了几点&#xff1a; 列…

Ubuntu编译安装MariaDB并进行初始化配置

Ubuntu编译安装MariaDB并进行初始化配置 1. 编译安装MariaDB2. 配置MariaDB3. Docker安装MariaDB 1. 编译安装MariaDB MariaDB官方安装文档&#xff1a;https://mariadb.com/kb/en/Build_Environment_Setup_for_Linux/    下载MariaDB源码&#xff1a;https://mariadb.org/ma…

022、Python+fastapi,第一个Python项目走向第22步:ubuntu 24.04 docker 安装mysql8集群、redis集群(三)

这次来安装mysql8了&#xff0c;以前安装不是docker安装&#xff0c;这个我也是第一次&#xff0c;人人都有第一次嚒 前言 前面的redis安装还是花了点时间的&#xff0c;主要是网上教程&#xff0c;各有各的好&#xff0c;大家千万别取其长处&#xff0c;个人觉得这个环境影响…

【C语言】分支和循环(上)

【C语言】分支和循环&#xff08;上&#xff09; 1、if语句1.2 else1.3分支中包含多条语句1.4嵌套if1.5悬空else问题 2、关系操作符3、条件操作符4、逻辑操作符&#xff1a;与、或、非&#xff08;取反&#xff09;&#xff08;&&&#xff0c;||&#xff0c;&#xff0…

深入理解网络原理3----TCP核心特性介绍(上)【面试高频考点】

文章目录 前言TCP协议段格式一、确认应答【保证可靠性传输的机制】二、超时重传【保证可靠性传输的机制】三、连接管理机制【保证可靠性传输的机制】3.1建立连接&#xff08;TCP三次握手&#xff09;---经典面试题3.2断开连接&#xff08;四次挥手&#xff09;3.3TCP状态转换 四…

「 网络安全常用术语解读 」通用漏洞报告框架CVRF详解

1. 背景 ICASI在推进多供应商协调漏洞披露方面处于领先地位&#xff0c;引入了通用漏洞报告框架&#xff08;Common Vulnerability Reporting Format&#xff0c;CVRF&#xff09;标准&#xff0c;制定了统一安全事件响应计划&#xff08;USIRP&#xff09;的原则&#xff0c;…

JSP与JavaBean

目录 一、JavaBean是什么 二、创建JavaBean 三、在JSP中使用JavaBean 1、按照Java语法直接使用 2、<jsp:useBean>动作 Bean的加载原理 scope属性的不同取值 3、<jsp:setProperty>动作 设置为一个表达式的值或字符序列 通过表单的参数的值来设置Bean的相应…

Find My无人机|苹果Find My技术与无人机结合,智能防丢,全球定位

无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机&#xff0c;或者由车载计算机完全地或间歇地自主地操作。无人机按应用领域&#xff0c;可分为军用与民用。军用方面&#xff0c;无人机分为侦察机和靶机。民用方面&#xff0c;无人机行业应用&#xff0c;是无…

43 单例模式

目录 1.什么是单例模式 2.什么是设计模式 3.特点 4.饿汉和懒汉 5.峨汉实现单例 6.懒汉实现单例 7.懒汉实现单例&#xff08;线程安全&#xff09; 8.STL容器是否线程安全 9.智能指针是否线程安全 10.其他常见的锁 11.读者写者问题 1. 什么是单例模式 单例模式是一种经典的&a…

多多搜索推广计划怎么设置

拼多多推广可以使用3an推客。3an推客&#xff08;CPS模式&#xff09;给商家提供的营销工具&#xff0c;由商家自主设置佣金比例&#xff0c;激励推广者去帮助商家推广商品链接&#xff0c;按最终有效交易金额支付佣金&#xff0c;不成交不扣费。是商家破零、积累基础销量的重要…

自动化机器学习——网格搜索法:寻找最佳超参数组合

自动化机器学习——网格搜索法&#xff1a;寻找最佳超参数组合 在机器学习中&#xff0c;选择合适的超参数是模型调优的关键步骤之一。然而&#xff0c;由于超参数的组合空间通常非常庞大&#xff0c;手动调整超参数往往是一项耗时且困难的任务。为了解决这个问题&#xff0c;…

连接HiveMQ代理器实现MQTT协议传输

先下载MQTTX: MQTTX: Your All-in-one MQTT Client Toolbox 使用线上免费的MQTTX BROKER:The Free Global Public MQTT Broker | Try Now | EMQ 打开MQTTX&#xff0c;创建连接&#xff0c;点击NEW SUBSCRIPTION,创建一个主题&#xff0c;这里使用test/topic,在下面Json中填写…

使用 ORPO 微调 Llama 3

原文地址&#xff1a;https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技术&#xff0c;它将传统的监督微调和偏好校准阶段合并为一个过程。这减少了训练所需的计算…

Java零基础入门到精通_Day 8

1.API 应用程序接口 Java API:指的就是JDK 中提供的各种功能的Java类这些类将底层的实现封装了起来&#xff0c;我们不需要关心这些类是如何实现的&#xff0c;只需要学习这些类如何使用即可&#xff0c;我们可以通过帮助文档来学习这些API如何使用。 2. String String 类…

【副本向】Lua副本逻辑

副本生命周期 OnCopySceneTick() 子线程每次心跳调用 --副本心跳 function x3323_OnCopySceneTick(elapse)if x3323_g_IsPlayerEnter 0 thenreturn; -- 如果没人进入&#xff0c;则函数直接返回endif x3323_g_GameOver 1 thenif x3323_g_EndTick > 0 thenx3323_CountDown…

循环神经网络完整实现(Pytorch 13)

一 循环神经网络的从零开始实现 从头开始基于循环神经网络实现字符级语言模型。 %matplotlib inline import math import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2lbatch_size, num_steps 32, 35 train_iter, vocab …

分布式websocket IM即时通讯聊天开源项目如何启动

前言 自己之前分享了分布式websocket的视频有同学去fork项目了&#xff0c;自己启动一下更方便理解项目嘛。然后把项目启动需要的东西全部梳理出来。支持群聊单聊,表情包以及发送图片。 支持消息可靠&#xff0c;消息防重&#xff0c;消息有序。同时基础架构有分布式权限&…

OneFlow深度学习框原理、用法、案例和注意事项

本文将基于OneFlow深度学习框架&#xff0c;详细介绍其原理、用法、案例和注意事项。OneFlow是由中科院计算所自动化研究所推出的深度学习框架&#xff0c;专注于高效、易用和扩展性强。它提供了一种类似于深度学习库的接口&#xff0c;可以用于构建神经网络模型&#xff0c;并…

Android4.4真机移植过程笔记(三)

如果文章字体看得不是很清楚&#xff0c;大家可以下载pdf文档查看&#xff0c;文档已上传&#xff5e;oo&#xff5e; 7、安装加密APK 需要修改文件如下&#xff1a; 相对Android4.2改动还是蛮大的&#xff0c;有些文件连路径都变了: //Android4.2 1、frameworks/native/libs…

STL速查

容器 (Containers) 图解容器 支持随机访问 stringarrayvectordeque支持支持支持支持 string 类 构造函数 string(); ------创建一个空的字符串 例如: string str;string(const char* s); ------使用字符串s初始化string(const string& str); ------拷贝构造 赋值操作…