目标检测20年（一）

今天看的文献是《Object Detection in 20 Years: A Survey》，非常经典的一篇目标检测文献，希望通过这篇文章学习到目标检测的基础方法并提供一些创新思想。

论文链接：1905.05055

一、摘要

1.1 原文

1.2 翻译

二、介绍

三、目标检测二十年发展

3.1 目标检测发展路线图

3.1.1 里程碑1

3.1.1.1 Viola Jones Detectors

3.1.1.2 HOG Detector

3.1.1.3 DPM

3.1.2 里程碑2

3.1.2.1 RCNN

3.1.2.2 SPPNet

3.1.2.2 Fast RCNN

3.1.2.3 Faster RCNN

3.1.2.4 FPN

3.1.3 里程碑3

3.1.3.1 YOLO

3.1.3.2 SSD

3.1.3.3 RetinaNet

3.1.3.4 CornerNet

3.1.3.5 CenterNet

3.1.3.6 DETR

一、摘要

1.1 原文

Object detection, as of one the most fundamental and challenging problems in computer vision, has received great attention in recent years. Over the past two decades, we have seen a rapid technological evolution of object detection and its profound impact on the entire computer vision field. If we consider today’s object detection technique as a revolution driven by deep learning, then back in the 1990s, we would see the ingenious thinking and long-term perspective design of early computer vision. This paper extensively reviews this fast-moving research field in the light of technical evolution, spanning over a quarter-century’s time (from the 1990s to 2022). A number of topics have been covered in this paper, including the milestone detectors in history, detection datasets, metrics, fundamental building blocks of the detection system, speed-up techniques, and the recent state-of-the-art detection methods.

1.2 翻译

目标检测作为计算机视觉中最基本、最具挑战性的问题之一，近年来受到了广泛的关注。在过去的二十年里，我们看到了物体检测技术的快速发展及其对整个计算机视觉领域的深远影响。如果我们认为今天的物体检测技术是一场由深度学习推动的革命，那么回到20世纪90年代，我们会看到早期计算机视觉的巧妙思维和长期视角设计。本文从技术发展的角度广泛回顾了这一快速发展的研究领域，跨越了四分之一个世纪的时间(从20世纪90年代到2022年)。本文涵盖了许多主题，包括历史上的里程碑检测器，检测数据集，度量，检测系统的基本构建块，加速技术以及最新的最先进的检测方法。

二、介绍

目标检测的目标是开发计算模型和技术，解决这样两个问题：目标是什么？目标在哪里？（其实就是分类和定位）

目标检测是实例分割、图像字幕、目标跟踪等视觉任务的基础。深度学习的发展也让目标检测取得了巨大的进步，现在目标检测已经广泛应用于许多现实场景如自动驾驶、机器人视觉和视频监控等。下图展示了过去二十年里与“目标检测”相关刊物的出版：

我们可以看到从1998年起刊物出版量逐步提升，2018年后增长幅度明显增加，且直到2021年都在持续增长。

不同检测任务的目标和条件不同导致任务难度有所不同，除了常见挑战如不同视角、光照和不同类物体变化之外，还有包括但不限于物体旋转、尺度变化、精确定位、密集和遮挡目标检测和检测速度的提升等。

本文的目的就是向读者展示相关技术的演变，令读者能够掌握基本概念并找到潜在未来方向，而忽略技术细节。

三、目标检测二十年发展

这个部分主要回顾目标检测历史发展，包括里程碑、数据集、指标和关键技术演变。

3.1 目标检测发展路线图

在前两个世纪，人们普遍认为目标检测经过了两个历史时期：传统目标检测时期（2014年以前）和基于深度学习的检测（2014年以后），如下图展示：

我们可以看到，2014年之前我们采用的是传统目标检测方法如VJ Det、HOG Det和DPM这些，在2014年出现了RCNN、YOLO、SSD这些以深度学习框架为主流的算法。并且深度学习的算法主要分为两类：单阶段检测和双阶段检测。

下面我们将以出现时间和性能为主要指引，重点突出背后的技术所在，如下图所示：

3.1.1 里程碑1

此时主要是传统的检测器。其实我们回顾早期20世纪90年代的检测技术，也是会觉得是视觉的巧妙设计和长期的视角。大多数早期检测算法都是基于手工特征的，由于缺乏有效图像表示，人们不得不设计复杂的特征表示和各种加速的方法。

3.1.1.1 Viola Jones Detectors

2001年，Viola和Jones首次实现不受任何限制的人脸实时检测。同等检测精度下，速度比其他算法快数十倍甚至数百倍。VJ检测器通过滑动窗口：即通过图像中可能的位置和比例，检测某窗口是否包含人脸。主要采用三种技术实现：“积分图像”、“特征选择”和“级联检测”。

3.1.1.2 HOG Detector

2005年，Dala和Triggs提出定向梯度直方图特征（Histogram of Oriented Gradients，HOG）描述符。这是一种对尺度不变特征变换和形状上下文的重要改进。HOG主要用来进行行人检测，通常是保持检测窗口大小不变的情况下，对输入图像进行多次缩放实现。其一直是许多计算机视觉应用的基础。

3.1.1.3 DPM

可变性零件模型（Deformable Part-based Model,DPM）是传统目标检测方法的缩影，最初由Felzenszwalb在2008年提出，属于HOG的一种延伸。其采用的是“分而治之”的思想，训练可以认为是一种合适的分解目标的方法，而推理则是对不同目标部分的检测合集。例如，检测汽车可以分解为检测车窗、车身和车轮。这又被成为“明星模型”，也是F等人提出的。之后，Girshick将该模型扩展到“混合模型”，以处理变化更大的物体。现在许多检测器都受到该模型的影响，如混合模型、硬负挖掘、边界框回归、上下文启动等。

3.1.2 里程碑2

基于卷积神经网络（CNN）的两阶段检测器。随着手工特征性能饱和，目标检测在2010年达到聘平缓期，直到2012年卷积神经网络的诞生。Girshick等人率先提出了带有CNN特征的区域（RCNN），那时之后目标检测发展迅速。基于深度学习的检测算法分为单阶段和双阶段，前者将框架为“一步完成”，后者将其作为“粗-精”的过程。

3.1.2.1 RCNN

RCNN（Region with CNN ）首先通过选择性搜索提取一组对象建议（即候选框），然后将每个建议重新缩放成固定大小的图像，并输入在ImageNet上预训练的CNN模型加以提取特征。最后使用线性支持向量机（SVM）分类器预测区域内物体并识别类别。尽管RCNN取得了显著性能提升，但也有明显缺点：大量重叠区域上进行冗余特征计算导致速度较慢。SPPNet解决了该问题。

3.1.2.2 SPPNet

2014年He等人提出空间金字塔池化网络（Spatial Pyramid Pooling Network，SPPNet），引入了空间金字塔池化层，使CNN生成固定长度表示。输入图像只需要计算一次特征映射，然后生成任意区域的固定长度表示用于训练检测器，避免重复计算卷积特征。SPPNet比RCNN快20倍以上。但仍存在一定缺点：训练多阶段，只对全连接层进行微调，忽略之前的层。Fast RCNN解决了这些问题。

3.1.2.2 Fast RCNN

2015年Girshick提出Fast RCNN。该检测器能够在相同网络配置下同时训练检测器和边界框回归器。尽管其速度比RCNN快200倍以上，但仍存在缺陷：速度受到建议区域的限制。

3.1.2.3 Faster RCNN

2015年Ren等人提出了Faster RCNN。Faster RCNN引入了区域建议网络（Region Proposal Network，RPN），使得几乎没有成本的区域建议成为可能。从R-CNN到Faster RCNN，目标检测系统的大多数独立的模块都已经集成到一个统一的端到端学习框架中。尽管如此，后续检测阶段仍存计算冗余。