FSOD论文阅读 - 基于卷积和注意力机制的小样本目标检测

来源:知网

标题:基于卷积和注意力机制的小样本目标检测
作者:郭永红，牛海涛，史超，郭铖

郭永红，牛海涛，史超，郭铖．基于卷积和注意力机制的小样本目标检测 [J/OL]．兵工学报. https://link.cnki.net/urlid/11.2176.TJ.20231108.1418.002

摘要

典型的FSOD使用Fast R-CNN作为基本的检测框架
本文亮点:引入混合扩张卷积确保更大的感受野并减少图像信息的损失;提出支持特征动态融合模块,以每个支持特征和查询特征之间的相关性为权重，自适应地融合支持特征

引言

早期的FSOD算法遵循元学习范式,首先对训练数据进行采样，然后利用元学习方法训练FSOD任务的模型,但是元学习器在学习迭代过程中容易出现非收敛问题(学习算法无法达到一个稳定的解或最优解的状态)
基于微调的FSOD方法可有效解决非收敛问题(主要是因为这些方法利用了预先训练好的模型和知识，从而在面对有限数据时更有效地学习和适应新任务),基于微调的FSOD方法首先在大规模基础类数据集上训练检测器，在微调过程中，主干网络参数可被重用或冻结，而只有Box分类器和回归器是用新数据训练的
Faster R-CNN算法:主要由三部分组成 - 特征提取器、区域候选网络（RPN）和检测头。
Fast R-CNN的工作流程:特征提取器使用卷积神经网络来获得输入图像的feature maps。RPN将feature maps作为输入生成候选框，并对候选框进行二元分类和粗略回归，将分类好的候选框映射到feature maps得到感兴趣区域（RoI）的特征矩阵，发送给后续检测网络，最后由检测头输出分类和回归的结果
现有的二阶段检测算法仍然存在两个明显的缺点。总结就是1、采样过程中的信息丢失. 2、用均值得到的类别融合特征向量会丢失信息
为解决以上两个问题,文章提出两个方法:1、在主干网络中引入混合扩张卷积（HDC），以增加感受野. 2、提出了支持特征动态融合（SFDF）模块，使用每个支持特征和查询特征之间的相似性作为权重，动态地融合支持特征，充分利用支持数据

FSOD 任务概述

一阶段检测算法 - 使用主干网络对图像进行特征提取,直接对特征图像进行分类和回归,例如SSD、YOLO,优点是快,缺点是定位精度低
二阶段检测算法 - 先找到可能包含目标的RoI,然后对区域进行分类和回归,例如Fast R-CNN,优点是定位精度高,缺点是慢
综上,在做迁移学习的FSOD时,可以考虑使用以上模型做为基准模型,然后魔改模型中的某部分(本文就是这么干的),然后找到一个baseline,做效率对比
已有算法:Meta R-CNN(基于transformer)、TFA、MPSR、FSCE、CME、DeFRCN(回头可以考虑使用以上算法做为baseline然后魔改自己的模型测试性能提升)

基于卷积和注意力机制网络结构

N-way K-shot: N个类别,每个类别K个样本
文章的主干网络是ResNet-101,在主干网络中加入HDC(混合扩张卷积模块)和SFDF(支持特征动态融合模块),模型示意图如下:
HDC模块:混合扩张卷积(扩张卷积:在卷积核之间引入空间,扩大卷积覆盖的范围),本文引入了一个(1, 2, 5)的扩张卷积,对比起(2, 2, 2)的扩张卷积来,感受野的范围更大,且保留了图像信息的连续性:
扩张卷积引入了间隔,那么扩张卷积是如何保证图像信息不丢失的呢? - 卷积在滑动的过程中会走过每个像素:保证参数不变的同时扩大了感受野.
SFDF模块:该模块首先计算查询特征与支持集中每一类的每个特征之间的相似度，然后将该系数作为权重，对支持集中每一类的每个特征进行加权求和操作,这样生成的支持集特征可以包含对象最有鉴别性的信息