RCNN 学习

RCNN算法流程

RCNN算法流程可分为4个步骤

一张图像生成1K~2K个候选区域（使用Selective Search方法）
对每个候选区域，使用深度网络图特征
特征送入每一类的SVM分类器，判别是否属于该类
使用回归期器细修正候选框位置

1.候选区域的生成

利用Selective Search算法通过图像分割的方法得到一些原始区域，然后使用一些合并策略将这些区域合并，得到一个层次化的区域结构，而这些结构就包含着可能需要的物体。

2.对每个候选区域，使用深度网络提取特征

将2000候选区域缩放到227x227pixel，接着将候选区域输入事先训练好的AlexNet CNN网络获取4096维的特征得到2000X4096维矩阵。

3.特征送入每一类的SVM分类器，判定类别

将2000X4096维特征与20个SVM组成的权值矩阵4096X20相乘获得2000X20维矩阵表示每个建议框是某个目标类别的得分（建议框归属于每一个类别的概率）。分别对上述2000X20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框，得到该列即该类中得分最高的一些建议框。

将2000X4096的特征矩阵与20个SVM组成的权值矩阵4096X20相乘，获得2000X20的概率矩阵，每一行代表一个建议框归于每个目标类别的概率。分别对上述2000X20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框，得到该列即该类中得分最高的一些建议框。

最左边是2000×4096的一个特征矩阵，在特征矩阵中，每一行就是我们一个候选框通过CNN网络得到的一个特征向量，然后它有2000个候选框，所以它有2000行特征向量。

中间的图是SVM权值矩阵，每一列对应着一个类别的的权值向量，一共有20个类别，拼接在一起就是4096×20的权值矩阵。（假设SVM分类器的第一列使我们所需要检测的猫，第二列是我们所需检测的狗......）

非最大抑制：抑制不是最大值的元素

4.使用回归器精细修正候选框位置
对NMS处理后剩余的建议框进一步筛选。接着分别用20个回归器对上述20个类别中剩余的建议框进行回归操作，最终得到每个类别的修正后的得分最高的bounding box。
如图，黄色框口P表示建议框Region Proposal,绿色窗口G表示实际框Ground Truth，红色窗G表示Region Proposal进行回归后的预测窗口，可以用最小二乘法解决的线性回归问题。