OpenCV（三）—— 车牌筛选

本篇文章要介绍如何对从候选车牌中选出最终进行字符识别的车牌。

无论是通过 Sobel 还是 HSV 计算出的候选车牌都可能不止一个，需要对它们进行评分，选出最终要进行识别的车牌。这个过程中会用到两个理论知识：支持向量机和 HOG 特征。

1、支持向量机

1.1 SVM 简介

支持向量机（Support Vector Machine，SVM）是一类按监督学习（Supervised Learning）方式对数据进行二元分类的广义线性分类器。用通俗的话来讲，就是用来分类，或者说挑选东西的。

对于车牌识别而言，车牌定位的候选车牌图可以分为两类：车牌与非车牌。SVM 可以对候选图进行测评，告诉我们图中的是不是车牌，相似程度是多少。

当然，SVM 可以进行分类的前提还是我们使用正负样本对其进行了训练。SVM 的训练数据既有特征又有标签，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签，这属于机器学习中的监督学习。

1.2 核函数

SVM 中有一个重要概念就是核函数。它的目标是找到一个能够将数据点分为不同类别的最优超平面（或者在非线性情况下是最优超曲面）。对于线性可分的情况，存在一个超平面可以完全将两个类别的数据分开。但是，在某些情况下，数据可能无法通过一个线性超平面进行完全分离，这就是线性不可分的情况。

SVM 线性可分：样本数据使用二维的线就可分类：

svm线性可分

SVM 线性不可分：左侧图片中的数据样本无法在二维平面内用线划分，称为线性不可分，只能像右侧图片那样用一个平面分开：

svm线性不可分

为了处理线性不可分的数据，引入了核函数的概念。核函数能够将输入数据从原始的特征空间（通常是低维空间）映射到一个更高维的特征空间，使得在新的特征空间中数据线性可分。这意味着在原始特征空间中无法线性分割的数据，在映射到高维特征空间后可以通过一个超平面进行线性分割。通常我们将这个过程称为提维，分离超平面就是通过提围计算出来的。

核函数的作用是在不显式计算映射到高维特征空间的情况下，直接在低维特征空间中进行计算。这样可以避免高维空间的计算复杂性，并且通过核函数的巧妙选择，可以实现高维特征空间的效果。

常见的核函数包括线性核函数、多项式核函数和径向基函数（Radial Basis Function，RBF）核函数。线性核函数对应于线性可分的情况，而多项式核函数和 RBF 核函数则可以处理线性不可分的情况。

1.3 SVM 训练流程

SVM 训练流程如下图：

svm训练流程

步骤：

预处理（原始数据 -> 学习数据（无标签））：预处理步骤主要处理的是原始数据到学习数据的转换过程（真正的车牌图片和不是车牌的图片）
打标签（学习数据（无标签）-> 学习数据（带标签））：将未贴标签的数据转化为贴过标签的学习数据
分组（学习数据（带标签）-> 分组数据）：将数据分为训练集和测试集
训练（训练数据 -> 模型）：加载待训练的车牌数据和非车牌数据，合并数据，配置 SVM 模型的训练参数进行训练

2、HOG 特征

HOG（Histogram of Oriented Gradient）特征是局部归一化的梯度方向直方图，是一种对图像局部重叠区域的密集型描述符，是用于目标检测和图像识别的特征描述方法，它通过计算局部区域的梯度方向直方图来构成特征。它在计算机视觉领域中广泛应用，特别是在行人检测等任务中取得了很好的效果。

HOG 特征的计算步骤如下：

图像预处理：将输入图像转换为灰度图像，去除颜色信息，以减少计算量。
梯度计算：计算图像中每个像素点的梯度信息。使用一阶导数（如 Sobel 算子）来计算水平和垂直方向上的梯度值，然后计算每个像素点的梯度幅值和梯度方向。
单元划分：将图像划分为小的连续区域，称为单元。通常使用 3 × 3 或 4 × 4 像素的单元。
梯度直方图统计：在每个单元中，对每个像素点的梯度方向进行统计。将梯度方向范围分成若干个区间（通常是 9 个），然后统计每个区间内的梯度幅值的累加和。这样就得到了一个梯度直方图。
块归一化：将相邻的若干个单元组成一个块，对每个块内的梯度直方图进行归一化处理。归一化可以降低光照变化对特征的影响，并增强特征的鲁棒性。
特征向量拼接：将所有块内的归一化梯度直方图按顺序拼接起来，形成最终的 HOG 特征向量。

HOG 特征的优点是能够捕捉图像中物体的边缘和纹理等局部特征，并且对光照变化相对鲁棒。它在行人检测等任务中被广泛使用，通常与支持向量机（SVM）等分类器结合使用，用于目标检测和图像识别。

3、代码实现

评分肯定是先通过正负样本学习，训练出一个特征集合，我们需要先加载这个 xml 文件：

int main() {// 加载车牌图片Mat src = imread("C:/Users/UserName/Desktop/Test/test5.jpg");// 新增加载特征集合LicensePlateRecognizer lpr("C:/Users/UserName/Desktop/Test/svm.xml");// 识别string str_plate = lpr.recognize(src);cout << "车牌号码：" << str_plate << endl;return 0;
}

在 LicensePlateRecognizer 进行识别时，需要调用评分的函数 predict()：

/**
* 车牌识别 = 车牌定位 + 车牌检测 + 字符识别
*/
string LicensePlateRecognizer::recognize(Mat src)
{// 传入原图的克隆版本，以防在原图上的绘制影响后续算法定位Mat src_clone = src.clone();// 1.车牌定位，使用 Sobel 算法定位vector<Mat> sobel_plates;sobelLocator->locate(src_clone, sobel_plates);// 使用 HSV 算法定位src_clone = src.clone();vector<Mat> color_plates;colorLocator->locate(src_clone, color_plates);// 将两种车牌合并到一个集合中vector<Mat> plates;plates.insert(plates.end(), sobel_plates.begin(), sobel_plates.end());plates.insert(plates.end(), color_plates.begin(), color_plates.end());// 释放 sobel_plates 和 color_plates 内的 Matfor each (Mat m in sobel_plates){m.release();}for each (Mat m in color_plates){m.release();}// 2.精选车牌定位得到的候选车牌图char windowName[100];for (int i = 0; i < plates.size(); i++){sprintf(windowName, "%zd 候选车牌", i);imshow(windowName, plates[i]);waitKey();}// 评分，将最接近车牌的图片保存到 plate 中，其索引保存在 index 中Mat plate;int index = svmPredictor->predict(plates, plate);src_clone.release();// 暂时还无法识别到车牌号，返回一个测试字符串return string("12345");
}

svmPredictor 就是通过 SVM 进行车牌评分的类，它需要创建一个 SVM 对象，还需要创建一个 HOGDescriptor：

#ifndef SVMPREDICTOR_H
#define SVMPREDICTOR_H#include <opencv2/opencv.hpp>
#include <string>
// 机器学习 Machine Learning
#include <opencv2/ml.hpp>using namespace std;
using namespace cv;
using namespace ml;class SvmPredictor {
public:SvmPredictor(const char* svm_model);~SvmPredictor();virtual int predict(vector<Mat> candi_plates, Mat& dst_plates);
private:// 支持向量机对象Ptr<SVM> svm;// HOG 特征对象HOGDescriptor* svmHog = nullptr;void getHOGFeatures(HOGDescriptor* svmHog, Mat src, Mat& dst);
};#endif // !SVMPREDICTOR_H

我们需要了解 HOGDescriptor 的创建参数：

SvmPredictor::SvmPredictor(const char* svm_model)
{svm = SVM::load(svm_model);svmHog = new HOGDescriptor(Size(128, 64), Size(16, 16), Size(8, 8), Size(8, 8), 3);
}SvmPredictor::~SvmPredictor()
{if (svm){svm->clear();svm.release();}
}

创建 HOGDescriptor 传了 4 个 Size 对象，它们的含义如下：

	/** @overload@param _winSize 使用给定的值设置窗口大小@param _blockSize 使用给定的值设置块大小@param _blockStride 使用给定的值设置滑动增量大小@param _cellSize 使用给定的值设置胞元（CellSize）大小@param _nbins 使用给定的值设置梯度方向*/CV_WRAP HOGDescriptor(Size _winSize, Size _blockSize, Size _blockStride,Size _cellSize, int _nbins, int _derivAperture=1, double _winSigma=-1,HOGDescriptor::HistogramNormType _histogramNormType=HOGDescriptor::L2Hys,double _L2HysThreshold=0.2, bool _gammaCorrection=false,int _nlevels=HOGDescriptor::DEFAULT_NLEVELS, bool _signedGradient=false)

窗口大小设置为 (128, 64) ，作用是扫描图片中指定大小区域的像素，示意图如下：

一个窗口可以分成若干块，比如我们在代码中指定了块大小为 (16, 16)，那么一个 (128, 64) 的窗口就可以在横向放 4 个块，纵向放 8 个块：

块和步

块滑动增量指定一个块在横纵方向上滑动步长为 (8, 8)，胞元大小也指定为 (8, 8)，那么一个 (16, 16) 的块中就包含 4 个胞元。最后的梯度方向 _nbins 指定为 3，在一个胞元内统计 3 个方向的梯度直方图，每个方向为 180 / 3 = 60°（将水平 180° 进行三等分）。

上面这个检测窗口可以被分为 ((128 - 16) / 8 + 1) * ((64 - 16) / 8 + 1) = 105 个块，一个块有 4 个胞元（Cell），一个胞元的 Hog 描述子向量的长度是 9。设置参数时必须要保证两个乘数内部是可以整除的。

统计梯度直方图特征，就是将梯度方向（0 ~ 360）划分为 x 个区间，将图像化为若干个 16 × 16 的窗口，每个窗口又划分为 x 个 block，每个 block 再化为 4 个 Cell（8 × 8）。对每一个 Cell，算出每一像素点的梯度方向，按梯度方向增加对应 bin 的值，最终综合 N 个 Cell 的梯度直方图组成特征。

简单来说，车牌的边缘与内部文字组成的一组信息（在边缘和角点的梯度值是很大的，边缘和角点包含了很多物体的形状信息），HOG 就是抽取这些信息组成一个直方图。

HOG：梯度方向弱化光照的影响，适合捕获轮廓

LBP：中心像素的 LBP 值反映了该像素周围区域的纹理信息

predict() 参考代码：

int SvmPredictor::predict(vector<Mat> candi_plates, Mat& dst_plate)
{Mat plate;float score;float minScore = FLT_MAX;int minIndex = -1;for (int i = 0; i < candi_plates.size(); i++){plate = candi_plates[i];// 准备获取车牌图片的 HOG 特征，先获取灰度图Mat gray;cvtColor(plate, gray, COLOR_BGR2GRAY);// 二值化（非黑即白，对比更强烈）Mat shold;threshold(gray, shold, 0, 255, THRESH_OTSU + THRESH_BINARY);// 获取特征Mat feature;getHOGFeatures(svmHog, shold, feature);// 获取样本Mat sample = feature.reshape(1, 1);// 获取评分，评分越小越像目标score = svm->predict(sample, noArray(), StatModel::Flags::RAW_OUTPUT);printf("SVM候选车牌%d的评分是：%f\n", i, score);// 记录最小分数的索引if (score<minScore){minScore = score;minIndex = i;}// 释放gray.release();shold.release();feature.release();sample.release();}// 找到了目标图片就把该图片复制给结果参数 dst_plateif (minIndex >= 0){dst_plate = candi_plates[minIndex].clone();imshow("SVM 评测最终车牌", dst_plate);waitKey();}return minIndex;
}

获取特征其实就是通过 HOGDescriptor 计算出特征集合：

void SvmPredictor::getHOGFeatures(HOGDescriptor* svmHog, Mat src, Mat& dst)
{// 归一化处理Mat trainImg = Mat(svmHog->winSize, CV_32S);resize(src, trainImg, svmHog->winSize);// 计算特征vector<float> desc;svmHog->compute(trainImg, desc, svmHog->winSize);// 特征图拷贝给结果 dstMat feature(desc);feature.copyTo(dst);// 释放feature.release();trainImg.release();
}