热成像目标检测数据集

热成像目标检测数据集 V2 版本

在这里插入图片描述

项目背景

热成像技术因其在安防监控、夜间巡逻、消防救援等领域的独特优势而受到重视。本数据集旨在提供高质量的热成像图像及其对应的可见光图像，支持热成像目标检测的研究与应用。

数据集概述

名称：热成像目标检测数据集 V2
规模：总计26,442帧
- 可见光图像：9,233张
- 热成像图像：9,711张
- 匹配的热成像/可见光视频帧：7,498帧
标注目标数量：520,000个
目标类别：包括人、自行车、汽车、摩托车、巴士、火车、卡车、灯、消防栓、交通标志、狗、滑板、婴儿车、电动踏板车及其他车辆

数据集特点

多样化：涵盖多种场景下的目标检测，包括人、交通工具以及其他常见物体。
高质量标注：每个目标均进行了精细标注，确保数据质量。
多模态数据：提供热成像图像和可见光图像的匹配数据，适合跨模态学习任务。
大规模数据量：包含大量标注目标，有助于训练鲁棒性强的检测模型。

数据集内容

可见光图像：包含在不同环境下的可见光图像，用于辅助热成像图像的理解。
热成像图像：包含在不同环境下的热成像图像，用于目标检测。
匹配的热成像/可见光视频帧：包含匹配的热成像和可见光视频帧，适用于多模态目标检测任务。

数据集用途

目标检测：可用于训练和评估目标检测模型，特别是在热成像条件下的目标检测。
安防监控：帮助识别夜间或低光照条件下的目标，提高安防系统的有效性。
学术研究：为热成像技术的应用提供丰富的数据支持，促进相关领域的研究进展。
实际应用：可应用于夜间巡逻、消防救援等多个实际场景，提高系统的鲁棒性和可靠性。

标注详情

人：标注了各类人群，包括不同年龄、性别的人。
自行车：标注了不同类型的自行车。
汽车：标注了不同品牌和型号的汽车。
摩托车：标注了不同类型的摩托车。
巴士：标注了不同类型的巴士。
火车：标注了火车及其车厢。
卡车：标注了不同类型的卡车。
灯：标注了各种灯具。
消防栓：标注了消防栓的位置。
交通标志：标注了各种交通标志。
狗：标注了不同品种的狗。
滑板：标注了滑板及其使用者。
婴儿车：标注了婴儿车及其使用者。
电动踏板车：标注了电动踏板车及其使用者。
其他车辆：标注了除上述类别之外的其他车辆。

使用场景

安防监控：在夜间或低光照条件下，利用热成像技术进行目标检测。
消防救援：在火灾现场，利用热成像技术快速定位人员和重要设施。
夜间巡逻：在夜间巡逻中，利用热成像技术识别潜在威胁。
交通监控：在交通监控中，利用热成像技术进行车辆和行人的检测。

技术指标

数据量：总计26,442帧，包含多种图像类型。
标注目标数量：520,000个标注目标，确保数据的丰富性和多样性。
标注格式：支持多种标注格式（如JSON、VOC、YOLO），方便导入不同的检测框架。

注意事项

数据隐私：在使用过程中，请确保遵守相关法律法规，保护个人隐私。
数据预处理：在使用前，建议进行一定的数据预处理，如图像归一化等。

获取方式

下载链接：请访问项目主页获取数据集下载链接。
许可证：请仔细阅读数据集的使用许可协议。

关键代码示例

数据加载

import os
import cv2
from ultralytics import YOLO
import numpy as np# 数据集路径
DATASET_PATH = 'path/to/dataset'
VISIBLE_IMAGES_DIR = os.path.join(DATASET_PATH, 'visible_images')
THERMAL_IMAGES_DIR = os.path.join(DATASET_PATH, 'thermal_images')
MATCHED_FRAMES_DIR = os.path.join(DATASET_PATH, 'matched_frames')
LABELS_DIR = os.path.join(DATASET_PATH, 'labels')# 加载数据集
def load_dataset():visible_images = []thermal_images = []matched_frames = []labels = []for img_file in os.listdir(VISIBLE_IMAGES_DIR):if img_file.endswith('.jpg'):visible_img_path = os.path.join(VISIBLE_IMAGES_DIR, img_file)thermal_img_path = os.path.join(THERMAL_IMAGES_DIR, img_file)matched_frame_path = os.path.join(MATCHED_FRAMES_DIR, img_file)label_path = os.path.join(LABELS_DIR, img_file.replace('.jpg', '.txt'))visible_image = cv2.imread(visible_img_path)thermal_image = cv2.imread(thermal_img_path)matched_frame = cv2.imread(matched_frame_path)with open(label_path, 'r') as f:label = f.read().strip()visible_images.append(visible_image)thermal_images.append(thermal_image)matched_frames.append(matched_frame)labels.append(label)return visible_images, thermal_images, matched_frames, labelsvisible_images, thermal_images, matched_frames, labels = load_dataset()

模型训练

# 初始化YOLOv8模型
model = YOLO('yolov8n.pt')# 定义训练参数
EPOCHS = 100
BATCH_SIZE = 16# 训练模型
results = model.train(data='thermal_detection.yaml', epochs=EPOCHS, batch=BATCH_SIZE)

模型检测

# 加载训练好的模型
model = YOLO('best.pt')# 检测图像
def detect_targets(image):results = model.predict(image)for result in results:boxes = result.boxesfor box in boxes:x1, y1, x2, y2 = box.xyxy[0]conf = box.confclass_id = box.cls# 显示结果cv2.rectangle(image, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2)cv2.putText(image, f'Class: {class_id}, Conf: {conf:.2f}', (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)return image# 测试图像
test_image = cv2.imread('path/to/test_image.jpg')
result_image = detect_targets(test_image)
cv2.imshow('Detected Targets', result_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

配置文件 thermal_detection.yaml

train: path/to/train/images
val: path/to/val/imagesnc: 14  # Number of classes
names: ['person', 'bicycle', 'car', 'motorcycle', 'bus', 'train', 'truck', 'light', 'fire_hydrant', 'traffic_sign', 'dog', 'skateboard', 'baby_carriage', 'electric_scooter', 'other_vehicle']# Training parameters
batch_size: 16
epochs: 100
img_size: [640, 640]  # Image size