文章目录
- 论文地址
- Abstract
- Motivation
- 模型框架
- 详细结构
- 小结
论文地址
DETR
Abstract
提出了一种将目标检测视为直接集预测问题的新方法。简化了检测pipeline,有效地消除了许多手工设计的组件的需求,例如非最大抑制过程或锚生成,这些组件明确地编码了任务的先验知识。新框架的主要成分,是基于集合的全局损失,它通过二部匹配强制唯一的预测,以及变transformer encoder-decoder架构。给定一组固定的学习对象查询,DETR 推理对象和全局图像上下文的关系,以并行直接输出最终的预测集。DETR在具有挑战性的COCO对象检测数据集上展示了与成熟和高度优化的Faster RCNN基线相当的准确性和运行时性能。
Motivation
通常检测器通过在proposal、anchor 或center point 上定义代理回归和分类问题,以间接方式解决该集合预测任务。它们的性能受到后处理步骤、锚集的设计以及将目标框分配给锚的启发式方法显着影响。为了简化这些pipeline,所以提出了一种直接集预测方法来绕过代理任务。
模型框架
从论文图中可以看出,整个pipeline确实很简单。
详细结构
图像先经过下采样,用小的feature map输入transformer结构中,必然导致了对小目标检测效果较差。论文中也明确说了这个问题。 初始化的queries为0, 同时position embedding 每个模块都要加一次
Encoder
Decoder
小结
确实简化都不少手工设计的组建,但是在小目标的表现上较差。NMS感觉还是需要的,不可能刚刚好一个目标对应预测一个框。