1.背景
在目标检测中,需要进行图像增强。这里的代码模拟了旋转、扭曲图像的功能,并且在扭曲的时候,能够同时把标注的结果也进行扭曲。
这里忽略了读取xml的过程,假设图像IMG存在对应的标注框,且坐标为左上、右下两个点,这立刻哟把IMG进行扭曲,并且尽可能保证标签的坐标点也随之扭曲。
2.效果
我有一张铁塔的照片(原图略,原图是一张角度非常正确的图片),处理后效果如下图所示,可以看到图像出现了扭曲(出现了黑边),并且图像右侧中间部分的红色绝缘子旁边出现了两个小白点(为了便于观察而添加的),说明起到了扭曲的作用,并且大概率能保证坐标也被正确变化。
3.动机
设计这种数据增强策略,主要出于以下两种考虑:
- 在实际使用中,我发现即便是yolov8这样的模型,对于扭曲的图像(例如扭曲的笔记本),识别效果会有非常严重的下降,而真实情况中非常有可能出现扭曲(例如有人把笔记本半合上),模型需要识别。在电力场景中,也可能出现拍摄角度异常等情况。
- 在训练中,将不同角度的目标展现给模型,也可能提高模型的效果。例如上图中的绝缘子,比原图要“矮胖”一些,因此可以算作“新样本”,为模型提供更丰富的数据来源。
4.具体实现
第一步是图像扭曲。在这一步中,代码里的trapezoid_vertices表示你希望把图像的哪一部分进行扭曲,target_trapezoid_vertices表示你希望把trapezoid_vertices扭曲到什么位置。你可以把代码中相关位置的generate_random_cut和generate_random_perspective都去掉,然后就能明白了。
第二步是转化原始标注的框。在使用gpt生成代码的时候,提示词将任务划分为了5个步骤,提示词如下
假设原始图像PIC宽度为W,高度为H。在图像标注场景中,我会告诉你两个点special_points,分别代表原始的标注框的左上角和右下角。你需要执行以下步骤:
【步骤1】根据special_points,恢复原始的标注框的四个坐标。注意保留这四个点的顺序关系。
【步骤2】:利用自定义函数fun1计算出变化之后的四个点的新坐标。
【步骤3】依次判断四个点所连成的线段是否与原始图像PIC的边缘有交点,如果有,就将这些交点的坐标存到point_list中。
【步骤4】判断变换后的四个点有哪些位于原始图像PIC的范围内,如果有,则将这些点的坐标存到point_list中。
【步骤5】分析point_list中的所有点,找出一个能完整包含这些点的矩形R,返回这个矩形R的左上角和右下角。
辅助代码包含了前面提到的5个步骤,具体如下:
import random
import cv2
import numpy as np# 原始图像剪裁的范围
max_cut = 0.1
min_cut = 0.05# 扭曲的最大和最小程度
max_perspective = 0.1
min_perspective = 0.05# 制定初始剪裁范围,你可以选择从某些地方开始剪裁你的图像
def generate_random_cut(x):# 计算 x 的 10% 和 20%min_value = min_perspective * xmax_value = max_perspective * x# 生成一个在 10% 到 20% 范围内的随机数random_value = random.uniform(min_value, max_value)# 随机决定这个数是正数还是负数sign = random.choice([-1, 1])return sign * random_value# 制定目标梯形的范围
def generate_random_perspective(x):# 计算 x 的 10% 和 20%min_value = min_perspective * xmax_value = max_perspective * xrandom_value = random.uniform(min_value, max_value)# 随机决定这个数是正数还是负数sign = random.choice([-1, 1])return sign * random_value# 根据输入的两个点的坐标,复原出连续的矩形框的四个点坐标
def get_bbox_corners(special_points):top_left = special_points[0][0]bottom_right = special_points[0][1]top_right = [bottom_right[0], top_left[1]]bottom_left = [top_left[0], bottom_right[1]]return np.array([top_left, top_right, bottom_right, bottom_left])# line_intersection所需要的辅助函数
def on_segment(p, q, r):if (q[0] <= max(p[0], r[0]) and q[0] >= min(p[0], r[0]) andq[1] <= max(p[1], r[1]) and q[1] >= min(p[1], r[1])):return Truereturn False# line_intersection所需要的辅助函数
def orientation(p, q, r):val = (q[1] - p[1]) * (r[0] - q[0]) - (q[0] - p[0]) * (r[1] - q[1])if val == 0:return 0 # collinearelif val > 0:return 1 # clockwiseelse:return 2 # counterclockwise# line_intersection所需要的辅助函数
def segments_intersect(p1, q1, p2, q2):o1 = orientation(p1, q1, p2)o2 = orientation(p1, q1, q2)o3 = orientation(p2, q2, p1)o4 = orientation(p2, q2, q1)if o1 != o2 and o3 != o4:return Trueif o1 == 0 and on_segment(p1, p2, q1):return Trueif o2 == 0 and on_segment(p1, q2, q1):return Trueif o3 == 0 and on_segment(p2, p1, q2):return Trueif o4 == 0 and on_segment(p2, q1, q2):return Truereturn False# 判断四个点所连成的线段是否与原始图像的边缘有交点
def line_intersection(p1, p2, edge_start, edge_end):if not segments_intersect(p1, p2, edge_start, edge_end):return Nonexdiff = (p1[0] - p2[0] + 0.01, edge_start[0] - edge_end[0] + 0.01)ydiff = (p1[1] - p2[1] + 0.01, edge_start[1] - edge_end[1] + 0.01)def det(a, b):return a[0] * b[1] - a[1] * b[0]div = det(xdiff, ydiff)if div == 0:return Noned = (det(p1, p2), det(edge_start, edge_end))x = det(d, xdiff) / divy = det(d, ydiff) / divreturn x, y# 判断四个点所连成的线段是否与原始图像的边缘有交点
def check_intersections(bbox_corners, w, h):edges = [((0.01, 0), (w, 0.01)),((w, 0.01), (w, h)),((w, h), (0.01, h)),((0.01, h), (0.01, 0.01))]point_list = []for i in range(len(bbox_corners)):p1 = bbox_corners[i]p2 = bbox_corners[(i + 1) % len(bbox_corners)]for edge in edges:intersection = line_intersection(p1, p2, edge[0], edge[1])if intersection:point_list.append(intersection)return point_list# 判断变换后的四个点是否位于原始图像范围内
def check_points_within_image(bbox_corners, w, h):point_list = []for point in bbox_corners:if 0 <= point[0] <= w and 0 <= point[1] <= h:point_list.append(point)return point_list# 分析所有点,找出一个能完整包含这些点的矩形
def get_bounding_box(point_list):min_x = min(point[0] for point in point_list)max_x = max(point[0] for point in point_list)min_y = min(point[1] for point in point_list)max_y = max(point[1] for point in point_list)return (min_x, min_y), (max_x, max_y)
使用方法如下:
# 数据增强 - 拉伸
if __name__ == "__main__":# 定义两个特殊点,即原始标注框的左上和右下special_points = [[3400, 1655], # Example points, replace with your own[4550, 2350]]# 读取图片image_path = r'D:\data\拉伸原始图像.jpg'image = cv2.imread(image_path)# 获取图像宽度和高度height, width = image.shape[:2]# 定义顶点坐标,你会保留这四个点之内的图像,以便进行后续步骤trapezoid_vertices = np.array([[0 + generate_random_cut(width), 0 + generate_random_cut(height)],[width + generate_random_cut((width)), 0 + generate_random_cut((height))],[width + generate_random_cut(width), height + generate_random_cut(height)],[0 + generate_random_cut(width), height + generate_random_cut(height)]],dtype=np.float32)# 定义目标图像的顶点坐标,会将trapezoid_vertices所保留的图像拉伸,拉伸到target_trapezoid_vertices所对应的范围内target_trapezoid_vertices = np.array([[0 + generate_random_perspective(width), 0 + generate_random_perspective(height)],[width + generate_random_perspective(width), 0 + generate_random_perspective(height)],[width + generate_random_perspective(width),height + generate_random_perspective(height)],[0 + generate_random_perspective(width), height + generate_random_perspective(height)]],dtype=np.float32)# 计算透视变换矩阵,用于将image进行拉伸perspective_matrix = cv2.getPerspectiveTransform(trapezoid_vertices, target_trapezoid_vertices)# 进行透视变换trapezoid_image = cv2.warpPerspective(image, perspective_matrix, (width, height))# 将坐标框进行处理,利用perspective_matrix得到新的坐标框的左上角和右下角special_points = np.array(special_points, dtype='float32')special_points = np.array([special_points])transformed_special_points = cv2.perspectiveTransform(special_points, perspective_matrix)# 得到新的标注的框的四个顶点的坐标bbox_corners = get_bbox_corners(transformed_special_points)# 如果有超出图像边界的点,就计算与图像边界的交点,保存到point_list中。point_list = check_intersections(bbox_corners, width, height)# 把留在图像范围内的点也加到point_list中point_list.extend(check_points_within_image(bbox_corners, width, height))# 得出新的理想中的标注框的坐标if point_list:rect = get_bounding_box(point_list)else:rect = Noneprint(len(rect))# 就爱那个新的标注框的左上角和右下角绘制出来,以便判断是否正确for point in rect:x = tuple([int(i) for i in point])cv2.circle(trapezoid_image, x, 15, (256, 256, 256), 10)# 保存变换后的图像save_path = r'D:\data\拉伸结果.jpg'cv2.imwrite(save_path, trapezoid_image)