《计算机视觉》——角点检测和特征提取sift

角点检测

角点的定义：

从直观上理解，角点是图像中两条或多条边缘的交点，在图像中表现为局部区域内的灰度变化较为剧烈的点。在数学和计算机视觉中，角点可以被定义为在两个或多个方向上具有显著变化的点。比如在一幅建筑物的图像中，建筑物的顶点就是典型的角点；在一张棋盘格的图像中，棋盘格的交点也属于角点。
在这里插入图片描述

角点检测的作用

特征提取：角点是图像的重要特征之一，由于其具有独特的位置和局部特征，可用于图像的特征描述，便于后续的图像匹配、目标识别等操作。例如，在物体识别中，通过检测物体图像中的角点并与数据库中物体的角点特征进行匹配，从而识别出物体。
图像配准：在将不同时间、不同视角或不同传感器获取的图像进行融合时，角点可以作为图像之间的对应点，帮助实现图像的精确配准。例如，在卫星图像拼接中，通过检测不同卫星图像中的角点并进行匹配，可以将多幅图像拼接成一幅完整的图像。
运动跟踪：在视频序列中，通过跟踪角点的运动轨迹，可以分析物体的运动状态。比如在运动分析中，跟踪运动员身体上的角点，可以得到运动员的动作轨迹和运动参数。

常见的角点检测算法

Harris 角点检测算法：由 Chris Harris 和 Mike Stephens 在 1988 年提出。该算法基于图像局部的自相关函数，通过计算图像在各个方向上的灰度变化，得到一个角点响应函数 R。如果 R 的值超过一定的阈值，则认为该点是角点。Harris 角点检测算法具有旋转不变性，但对尺度变化比较敏感。
Shi-Tomasi 角点检测算法：是对 Harris 角点检测算法的改进。该算法通过计算图像块的最小特征值来判断角点，相比于 Harris 算法，Shi-Tomasi 算法在角点检测的准确性上有了一定的提高，并且在目标跟踪等应用中表现更优。
SIFT（尺度不变特征变换）算法：不仅可以检测角点，还具有尺度不变性、旋转不变性和光照不变性等优点。SIFT 算法通过在不同尺度空间上检测极值点，并对这些极值点进行精确定位和描述，生成 128 维的特征向量，用于后续的特征匹配等操作。不过，SIFT 算法计算复杂度较高，运行速度较慢。
SURF（加速稳健特征）算法：是 SIFT 算法的加速版本，采用了积分图像和 Haar 小波特征，大大提高了算法的运行速度，同时也具有较好的尺度不变性和旋转不变性。在实际应用中，SURF 算法在处理速度和特征描述能力上取得了较好的平衡。
ORB（Oriented FAST and Rotated BRIEF）算法：结合了 FAST（Features from Accelerated Segment Test）角点检测算法和 BRIEF（Binary Robust Independent Elementary Features）特征描述子。FAST 算法用于快速检测角点，BRIEF 算法用于生成二进制特征描述子。ORB 算法具有计算速度快、内存占用小等优点，在实时性要求较高的应用中得到了广泛应用。

角点检测实例

对黄鹤楼的图片进行角点检测：
在这里插入图片描述

'''角点检测'''
import cv2
import numpy as np#角点指图像中局部区域与周围区域有较大灰度变化的点或像素。
# cornerHarris(img,blockSize,ksize,k[,dst[,borderType]])-> dst
# img:输入图像。
#blockSize:角点检测中要考虑的领域大小。
# ksize:Sobel求导中使用的日大小。
# k: Harris角点检测方程中的自由参数,取值参数为[0.04,0.06]。
# dst:返回numpy.ndarray对象,大小和src相同,值越大,对应像素点是角的概率越高img = cv2.imread('huanghelou.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
dst = cv2.cornerHarris(gray,4,3,0.04)
# 标记检测到的角点
img[dst>0.01*dst.max()]=[0,0,255]
# 这里通过对角点响应进行闽值处理，标记出检测到的角点。
# 0.05 * dst.max()是一个值，大于这个值的像素点会被标记为红色。
cv2.imshow('img',img)
cv2.waitKey(0)

结果：

可以看出图片中部分角点已经被标记出来，可用通过更改阈值大小进行角点标记的范围更改。

特征提取sift

SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）是一种非常经典且强大的计算机视觉算法，用于图像的特征提取和描述，以下是对它的详细介绍：

SIFT 算法的特点

尺度不变性：能够在不同尺度下检测到相同的特征点，无论物体在图像中是大是小，SIFT 算法都能准确地找到对应的特征。
旋转不变性：通过计算特征点的主方向，使描述子具有旋转不变性，即使物体在图像中发生了旋转，也能正确匹配特征。
光照不变性：SIFT 特征对光照变化具有一定的鲁棒性，在不同的光照条件下，仍然可以提取到稳定的特征。
独特性：SIFT 特征描述子具有较高的独特性，能够很好地区分不同的物体和场景，降低误匹配的概率。

SIFT 算法的主要步骤

尺度空间极值检测：使用不同尺度的高斯滤波器对图像进行卷积，生成高斯金字塔。然后通过相邻尺度间的差分（DoG，Difference of Gaussians）运算，得到 DoG 金字塔。在 DoG 金字塔中，检测每个点在其邻域内（包括同层和上下层）的极值点，这些极值点就是可能的特征点。
关键点定位：对检测到的极值点进行精确定位，通过拟合三维二次函数来确定关键点的精确位置和尺度。同时，去除低对比度的关键点和位于边缘上的关键点，以提高特征点的稳定性和可靠性。
方向分配：计算每个关键点邻域内的梯度方向直方图，根据直方图的峰值确定关键点的主方向。为每个关键点分配一个或多个方向，使特征描述子具有旋转不变性。
关键点描述：以关键点为中心，取一个大小固定的邻域窗口，并将其旋转到关键点的主方向。将该窗口划分为若干个子区域，计算每个子区域内的梯度方向直方图。将所有子区域的直方图连接起来，形成一个 128 维的特征向量，即 SIFT 特征描述子。

SIFT 算法的应用场景

目标识别：通过提取目标物体的 SIFT 特征，并与数据库中已知物体的特征进行匹配，可以实现对目标物体的识别。例如，在安防监控中，识别特定的人员或物体。
图像拼接：在全景图像拼接中，利用 SIFT 特征匹配不同图像之间的重叠区域，从而实现图像的准确拼接。
三维重建：从多幅图像中提取 SIFT 特征，通过特征匹配计算图像之间的相对位置和姿态，进而构建物体或场景的三维模型。
图像检索：根据图像的 SIFT 特征，在图像数据库中快速检索到与查询图像相似的图像，用于图像管理和检索系统。

SIFT 算法的局限性

计算复杂度高：SIFT 算法的计算量较大，尤其是在处理高分辨率图像时，运算时间较长，对硬件要求较高。
专利问题：SIFT 算法受专利保护，在商业应用中需要获得相应的授权，这在一定程度上限制了它的广泛应用。

sift算法实例

对一张男人的图片进行特征提取：
在这里插入图片描述

'''-----------特征提取sift---------------------'''
# # 检测图像中的关键点
# # cv2.SIFT_create()
# #cv2.xfeatures2d.SIFT_create()#创建一个sift特征的提取对象#
# sift.detect(img)在图像中查找关键点phone = cv2.imread('man.png')
phone_gray = cv2.cvtColor(phone,cv2.COLOR_BGR2GRAY)
sift = cv2.SIFT_create() # sift对象
kp = sift.detect(phone_gray)
# kp.pt:关键点的(x，y)
# 坐标。
# kp.size:关键点的大小(尺度):
# kp.angle:关键点的方向。
# kp.response:关键点的响应值。
# kp.octave:关键点所在的金字塔层级。
#查找关键点
# drawKeypoints(image,keypoints,outImage, color=None, flags=None)# image:原始图片
# keypoints:从原图中获得的关键点，这也是画图时所用到的数据
# outputimage:输出图像，可以是原始图片,也可以是None
# color:颜色设置，通过修改(b,g,r)的值,更改画笔的颜色，b=蓝色，g=绿色，r=红色。绘制富有信息的关键点。# flags:绘图功能的标识设置
phone_sift = cv2.drawKeypoints(phone,kp, None,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.imshow('phone_sift',phone_sift)
cv2.waitKey(0)
# # 使用sift.compute()计算关键点描述符,方便后期的特征匹配
kp,des = sift.compute(phone,kp)
print(np.array(kp).shape,des.shape)
# 输出关键点的形状和描述符的形状。
# np.array(kp).shape 表示关键点的数量和属性。
# des.shape 表示描述符的数量和属性。