Features2D 模块:特征检测和描述子计算模块,包括SIFT、SURF等算法。
Features2D 模块提供了许多用于特征检测和描述子匹配的函数和类,这些函数和类可用于图像特征的提取、匹配和跟踪。
-
FeatureDetector:特征检测器的基类,包括常用的特征检测算法,如ORB、SIFT、SURF、FAST 等。
-
DescriptorExtractor:描述子提取器的基类,用于从图像中提取特征点周围的描述子,包括常用的描述子算法,如ORB、SIFT、SURF 等。
-
Feature2D:特征检测器和描述子提取器的统一接口类,可以方便地使用各种特征检测和描述子提取算法。
-
DescriptorMatcher:描述子匹配器的基类,用于对提取出的描述子进行匹配,包括常用的匹配算法,如BruteForce、FlannBased 等。
-
drawKeypoints:用于在图像上绘制特征点的函数,可以将检测到的特征点可视化显示在图像上。
-
drawMatches:用于在两幅图像上绘制特征点匹配的函数,可以将两幅图像中匹配的特征点对可视化显示出来。
-
compute:用于计算图像中的特征点和描述子的函数,可以对输入的图像进行特征点检测和描述子提取。
-
match:用于对输入的两组描述子进行匹配的函数,可以对提取出的描述子进行匹配操作。
这些函数和类提供了在图像中进行特征检测、描述子提取和匹配的基本工具,通过使用它们,我们可以提取图像中的关键特征点和描述子,进行特征匹配和跟踪,从而实现诸如目标识别、图像拼接、运动跟踪等应用。
Calib3d 模块:相机标定和三维重建模块
OpenCV Calib3d 模块函数和类:
-
calibrateCamera:用于对相机进行内参和畸变参数的标定,通过捕获多个图像中的棋盘格等模板,并提取角点位置来进行相机标定。
-
stereoCalibrate:用于立体相机的标定,通过匹配两个相机的图像中的对应点,求解两个相机之间的外参和内参关系。
-
stereoRectify:用于校正立体相机的图像,使得两个相机的光学轴平行,方便后续的立体匹配。
-
stereoMatch:用于立体匹配,通过匹配左右两个相机的图像,得到对应点的深度信息。
-
solvePnP:用于从图像中的二维点和三维点之间求解相机的姿态(旋转和平移矩阵)。
-
findHomography:用于寻找两幅图像之间的单应性矩阵,通常用于图像配准和目标跟踪。
-
triangulatePoints:用于三角化立体视觉中的对应点,求解三维空间中的点坐标。
-
undistort:用于去畸变,将畸变图像转换为无畸变的图像。
这些函数和类在摄像机标定、立体视觉和三维重构等领域具有广泛的应用,可以帮助我们理解场景的三维结构、测量物体的尺寸、进行虚拟现实等任务。通过使用这些函数和类,我们可以实现各种基于摄像机的视觉任务,并提高图像处理和计算机视觉的效果和准确性。
Videoio 模块:视频输入/输出模块,用于读取和写入视频文件
-
VideoCapture:用于从视频文件或摄像头捕获视频帧的类,可以通过该类实例来读取视频文件或捕获摄像头视频流。
-
VideoWriter:用于将视频帧写入视频文件的类,可以通过该类实例将视频帧写入到视频文件中。
-
cv::CAP_PROP_ 参数*:一系列用于设置视频流参数的常量,如帧率、分辨率、亮度、对比度等。
-
isOpened:用于检查 VideoCapture 或 VideoWriter 是否成功打开视频文件或捕获设备。
-
read:用于从 VideoCapture 实例中读取下一帧视频。
-
write:用于将视频帧写入到 VideoWriter 实例中。
-
set:用于设置 VideoCapture 或 VideoWriter 的参数,如帧率、分辨率等。
-
get:用于获取 VideoCapture 或 VideoWriter 的参数,如帧率、分辨率等。
通过使用 Videoio 模块提供的函数和类,我们可以方便地读取视频文件、捕获摄像头视频流,并进行视频数据的处理和分析。这些函数和类为我们在计算机视觉和图像处理领域中处理视频数据提供了便捷的工具,可以帮助我们实现视频内容的处理、分析和应用。
Dnn 模块:深度学习模块,支持使用深度学习模型进行图像处理任务
-
readNet:用于加载深度学习模型的函数,支持多种深度学习框架(如 TensorFlow、Caffe、Darknet 等)的模型格式。
-
Net:代表一个深度学习模型的类,可以用于进行前向推断、获取输出等操作。
-
setInput:用于设置输入数据到深度学习模型中,例如设置图像作为模型的输入。
-
forward:执行前向推断,获取模型的输出。
-
getUnconnectedOutLayers:获取模型中未连接到其他层的输出层索引。
-
getLayerNames:获取模型中所有层的名称。
-
blobFromImage:将图像转换为网络模型的输入 blob 格式。
-
NMSBoxes:执行非最大抑制(Non-Maximum Suppression),用于目标检测中去除重叠的边界框。
通过使用 Dnn 模块提供的函数和类,我们可以方便地加载和使用深度学习模型,进行图像识别、目标检测、人脸识别等任务。这些函数和类为我们在计算机视觉领域应用深度学习模型提供了强大的工具,可以帮助我们实现各种复杂的视觉任务,并提高处理效率和准确性。
备注:
NMS(Non-Maximum Suppression,非最大抑制)是一种常用的目标检测算法,用于在目标检测任务中去除重叠的边界框,保留最相关的目标框。NMS 算法通常应用于神经网络输出的边界框预测中。
NMS 的原理如下:
-
得分排序:首先,对所有的候选边界框按照其置信度得分进行排序,通常情况下,得分越高的边界框越可能包含真实目标。
-
选择最高得分框:从得分最高的边界框开始,将该边界框加入最终输出的目标框列表中。
-
计算重叠区域:对于剩余的边界框,计算它们与已选边界框的重叠区域的面积,通常采用交并比(IoU)来衡量两个边界框的重叠程度。
-
去除重叠边界框:对于与已选边界框有较大重叠的边界框,根据设定的阈值(通常为 0.5 或 0.7)来决定是否将其丢弃,只保留得分最高的边界框。
-
重复步骤:重复上述步骤,直到处理完所有的候选边界框。
NMS 算法可以在目标检测结果中去除大量重叠的边界框,保留最具代表性和置信度最高的目标框,从而提高目标检测算法的准确性和鲁棒性。
NMS 算法在许多目标检测器(如 Faster R-CNN、YOLO 等)中被广泛应用,是提高目标检测性能的重要组成部分。
Machine Learning(ML)模块:机器学习模块,提供了一些常见的机器学习算法实现
-
cv::ml::SVM:支持向量机(SVM)模型的实现类,用于二分类、多分类和回归任务。
-
cv::ml::KNearest:k-最近邻(KNN)模型的实现类,用于基于最近邻的分类和回归。
-
cv::ml::RTrees:随机森林(Random Forest)模型的实现类,用于决策树集成学习。
-
cv::ml::Boost:Boosting 模型的实现类,用于集成多个弱分类器以提高性能。
-
cv::ml::ANN_MLP:人工神经网络(MLP)模型的实现类,用于深度神经网络的训练和预测。
-
cv::ml::EM:期望最大化(Expectation-Maximization)算法的实现类,用于高斯混合模型的聚类。
-
cv::ml::TrainData:用于加载和处理训练数据集的类,方便机器学习模型的训练。
-
cv::ml::ParamGrid:用于定义参数网格搜索的类,帮助进行模型参数调优。
-
cv::ml::StatModel:所有机器学习模型的基类,包括了训练和预测等通用方法。
这些函数和类提供了丰富的功能和工具,可以帮助我们在 OpenCV 中应用各种机器学习算法,并实现图像分类、目标检测、特征提取等复杂任务。通过熟练掌握这些函数和类的用法,我们可以更好地利用机器学习技术来解决计算机视觉和图像处理领域的挑战。
Stitching 模块:图像拼接模块,用于将多幅图片拼接成全景图像
-
cv::Stitcher::create():静态方法,用于创建
Stitcher
类的实例。 -
cv::Stitcher::stitch():拼接多幅图像,生成全景图像。可以通过该方法传入图像集合进行拼接,并获取拼接后的全景图像。
-
cv::Stitcher::estimateTransform():估计图像间的转换矩阵,用于拼接图像时的配准。
-
cv::Stitcher::composePanorama():对拼接后的全景图像进行优化和融合,消除拼接过程中的接缝。
-
cv::Stitcher::registrationResol():设置拼接的分辨率,影响最终拼接结果的清晰度和质量。
-
cv::Stitcher::blendImages():对拼接的图像进行融合处理,使得拼接后的全景图像看起来更加自然。
Photo 模块:图像编辑和修复模块,包括图像去噪、颜色校正等功能
Photo 模块提供了许多图像处理和修复的函数和类,用于实现图像增强、去噪、颜色校正等功能。以下是一些常用的 OpenCV Photo 模块函数和类:
-
cv::fastNlMeansDenoising():使用非局部均值去噪算法对图像进行去噪处理。
-
cv::colorChange():将图像的颜色转换为目标颜色。
-
cv::seamlessClone():无缝克隆算法,将源图像的一部分融合到目标图像中,使得融合后的图像看起来自然。
-
cv::illuminationChange():调整图像的光照条件。
-
cv::textureFlattening():纹理平滑算法,用于减少图像中的纹理细节。
-
cv::rollMinEigenVal():计算图像的最小特征值,用于角点检测和特征匹配。
-
cv::edgePreservingFilter():边缘保留滤波器,用于保留图像中的细节信息而抑制噪声。
-
cv::detailEnhance():增强图像的细节和结构。
-
cv::decolor():将彩色图像转换为灰度图像,但保留图像的结构信息。
-
cv::colorChange():改变图像的颜色。