RT-DETR融合Inner-IoU及相关改进思路

RT-DETR使用教程： RT-DETR使用教程

RT-DETR改进汇总贴：RT-DETR更新汇总贴

《Inner-IoU: More Effective Intersection over Union Loss with Auxiliary Bounding Box》

一、模块介绍

论文链接：https://arxiv.org/abs/2311.02877

代码链接：https://github.com/malagoutou/Inner-IoU

论文速览：

随着检测器的快速发展，边界框回归（BBR）损失函数不断更新和优化。然而，现有的基于 IoU 的 BBR 仍然专注于通过添加新的损失项来加速收敛，而忽略了 IoU 损失项本身的局限性。虽然理论上 IoU loss 可以有效地描述边界框回归的状态，但在实际应用中，它无法根据不同的检测器和检测任务进行自我调整，没有很强的泛化性。基于以上，我们首先对 BBR 模型进行了分析，并得出结论：区分不同的回归样本，并使用不同尺度的辅助边界框来计算损失，可以有效加速边界框回归过程。对于高 IoU 样本，使用较小的辅助边界框来计算损失可以加速收敛，而较大的辅助边界框适用于低 IoU 样本。然后，我们提出了 Inner-IoU loss，它通过辅助边界框计算 IoU 损失。对于不同的数据集和检测器，我们引入了一个缩放因子比率来控制用于计算损失的辅助边界框的尺度大小。最后，将 Inner-IoU 集成到现有的基于 IoU 的损失函数中，用于仿真和比较实验。实验结果表明，利用本文提出的方法进一步提高了检测性能，验证了 Inner-IoU 损失的有效性和泛化能力。

总结：Inner-IoU的作者在IoU的基础上提出了一种通过使用辅助边框计算损失的方法。其通过尺度因子ratio控制辅助边框尺寸以计算损失加速收敛，并能够集成至现有基于IoU的损失函数GIoU、DIoU、CIoU、EIoU、SIoU中。

⭐⭐本文二创模块仅更新于付费群中，往期免费教程可看下方链接⭐⭐

RT-DETR更新汇总贴（含免费教程）文章浏览阅读264次。RT-DETR使用教程：缝合教程： RT-DETR中的yaml文件详解：labelimg使用教程：_rt-deterhttps://xy2668825911.blog.csdn.net/article/details/143696113 ⭐⭐付费项目简介：融合上百种顶刊顶会模块的YOLO项目仅119，此外含高性能自研模型与本文模块融合进行二创三创，最快1-2周完成小论文改进实验，代码每周更新（上周更新超20+二创模块），欢迎QQ：2668825911(点击下方小卡片扫二维码)加我了解。⭐⭐

⭐⭐本项目并非简单的模块插入，平均每个文章对应4-6个二创或自研融合模块，有效果即可写论文或三创。本文项目使用ultralytics框架，兼容YOLOv3\5\6\8\9\10\world与RT-DETR。⭐⭐

已进群小伙伴可以先用下文二创及自研模块在自己的数据集上测试，有效果再进行模块结构分析或继续改进。

二、使用方法

2.1 步骤

找到ultralytics/utils/loss.py脚本第106行，取消注释改行，并将其他iou行注释,运行即可。(仅适应于群文件2024/11/30日之后更新的工程)

2.2 运行train.py文件

创建Train_RT脚本用于训练。

from ultralytics.models import RTDETR
import os
os.environ['KMP_DUPLICATE_LIB_OK'] = 'True'if __name__ == '__main__':model = RTDETR(model='ultralytics/cfg/models/rt-detr/rtdetr-l.yaml')# model.load('yolov8n.pt')model.train(data='./data.yaml', epochs=2, batch=1, device='0', imgsz=640, workers=2, cache=False,amp=True, mosaic=False, project='runs/train', name='exp')