论文题目：A Lightweight Fusion Strategy With Enhanced Interlayer Feature Correlation for Small Object Detection

论文链接：https://ieeexplore.ieee.org/abstract/document/10671587

giuhub：https://github.com/nuliweixiao/EFC

关键词：特征融合、轻量级、小目标检测

摘要：由于低分辨率和背景混合，检测无人机图像中的小物体具有挑战性，导致特征信息有限。多尺度特征融合可以通过获取不同尺度上的信息来增强检测能力，但传统的方法存在不足。简单的连接或加法运算不能充分利用多尺度融合的优点，导致特征之间的相关性不足。这一不足阻碍了对小物体的检测，特别是在复杂背景和人口稠密地区。为了解决这一问题并有效地利用有限的计算资源，提出了一种基于增强层间特征相关性（EFC）的轻量级融合策略，以取代传统的特征金字塔网络（FPN）中的特征融合策略。特征金字塔中不同图层的语义表达不一致。在EFC中，分组的特征聚焦单元（GFF）通过聚焦不同特征的上下文信息来增强各层的特征相关性。多级特征重构模块（MFR）对金字塔中各层的强弱信息进行有效的重构和变换，减少冗余特征融合，保留更多的小目标信息。值得注意的是，所提出的方法是即插即用的，并且可以广泛地应用于各种基础网络。

研究背景：

无人机图像中小目标检测的挑战：一方面，无人机图像具有分辨率高、背景噪声明显的特点，会使目标物体模糊，检测难度加大。特别是小物体检测，由于小物体的分辨率低，使得它们更容易受到噪声的影响，导致有效信息有限。另一方面，无人机的硬件限制要求在这些资源限制内提高探测准确性。

多尺度特征融合的重要性： 通过增强网络对小目标的感知能力，多尺度特征融合可以提高检测精度。然而，传统的特征金字塔网络（FPN）中的简单拼接或加法操作未能充分利用多尺度融合的优势，导致特征之间的相关性不足。

方法不足：

在卷积神经网络（CNN）特征提取过程中，小目标容易出现特征消失。为了解决这个问题，多尺度特征融合通过丰富其特征表示来增强网络感知小目标的能力。该方法捕获各种尺度的目标信息，并提供高分辨率的特征图，这对于精确定位和识别至关重要。（多尺度的重要性）

特征金字塔网络（FPN）[6]是一种广泛采用的模型，它通过集成骨干网络中的相邻层来生成金字塔式多尺度特征。这种融合将深层抽象语义特征与浅层高分辨率特征相结合，从而增强了不同尺度的特征表达。然而，FPN中的传统融合方法，例如简单的连接或加法运算，没有充分利用多尺度融合的优点。仅通过堆叠和通道融合对低分辨率特征进行上采样并与相邻层融合，而没有充分考虑它们的相关性。这种疏忽限制了每个层相关特征的利用，从而削弱了多尺度信息的表示。（不同层的交互）

在特征融合阶段，融合信息通过3 × 3卷积层发送到探测头结构。在深层利用大的内核卷积通常会产生冗余信息，浪费计算资源。通过大的核卷积会导致浅层特征的语义偏差，使小目标特征信息更加抽象，难以与其空间位置匹配。（资源问题）

本文贡献：

GFF以获得全局信息并增强融合特征的相关性。该过程主要包括空间聚焦、特征分组与融合、空间映射归一化等。这解决了传统融合策略中特征相关性和匹配性较差的问题，提供了更丰富的上下文信息，有助于模型更准确地定位小目标。

MFR分离特征间的强弱信息，指导特征间的转换，实现高层次的特征聚合。通过重构特征，减少了浅层特征和深层特征结合时产生的语义偏差。该方法旨在减少融合和变换引入的特征冗余，最小化小对象特征信息在深度网络中的丢失，增强小对象的表示能力。

创新点

EFC由两个主要部分组成：GFF和MFR。

---

GFF增强了相邻特征之间的相关性，并关注关键信息。

MFR将强空间信息和弱空间信息分开，利用轻量级卷积模块实现精确的特征转换。该方法减少了无关信息的提取，同时保留了深度网络中小对象的关键细节。

---

1、 Grouped Feature Focus Unit (GFF) 用于增强特征相关性，它通过关注不同特征之间的空间上下文信息来提高特征的语义表示。GFF 实现过程：

1. 空间聚焦：首先，GFF 通过使用线性插值对低分辨率特征进行上采样，然后 1×1 卷积操作来确保特征图的通道数保持一致，然后将低分辨率的特征图与高分辨率的特征图进行元素级相加，得到粗略的特征图。接着，使用 1×1 卷积将特征图压缩到单个通道，以聚合空间信息，并通过 Sigmoid 激活函数生成空间聚焦权重。

2. 特征分组与融合：将空间聚焦后的特征图沿通道维度分成多个组，对每个组内的特征进行交互操作。具体来说，使用卷积模块对每个组内的相邻通道特征进行细化，以生成捕捉通道间特征相关性的一个注意力掩码，该掩码捕获了不同通道间的特征相关性。然后将这个掩码应用于细化后的特征，最后将各组的特征连接起来，形成聚合且高度相关的相邻特征。

3. 空间映射归一化：最后，我们将分组聚合特征嵌入到具有多层原始特征融合（MFF）的归一化层中。我们使用其平均值和标准差对特征进行归一化，从而从较小的目标中纳入更多的空间位置信息。通过MFF-GN，我们获得了特征相关性强、空间信息丰富的特征。

2. Multilevel Feature Reconstruction Module (MFR) 用于特征重建和转换，旨在减少特征融合过程中产生的冗余特征，同时需要最少的计算资源来变换较弱的特征，并保留更多关于小目标的信息。（为了减少不相关特征的融合和提取，最大限度地减少深度网络中目标信息的丢失）MFR实现过程

1. 特征分离：首先，MFR 通过上采样、卷积和逐元素加法等操从不同阶段的特征图中提取强特征和弱特征，接下来，应用平均池化和sigmoid函数来生成每个通道的信息权重，作为特征权重阈值Tc。不同特征分别通过批量归一化（BN）进行处理，并由sigmoid函数激活，在每个空间位置生成唯一的权重信息ωi ，这表明不同特征图的重要性。接下来，将来自不同阶段的权重信息ωi和ωi-1与特征权重阈值Tc进行比较，以获得捕获空间信息强度的注意力图。然后，分别对不同层的强特征和弱特征进行聚合，得到增强特征和弱特征

2. 特征转换：对于强特征，MFR 应用 1×1 卷积来生成包含更多详细信息的特征图UP。对于弱特征，MFR 利用设计的 Feature Transformation Unit (FTU) 来生成具有丰富语义信息的特征图，同时使用较少的计算资源。FTU 通过深度可分离卷积来实现，这种卷积操作降低了计算和参数开销。在深度可分离卷积运算之后，我们执行加权映射以增强通道之间的信息流。加权特征α通过自适应平均池化和卷积层进行处理。

3. 级联融合：最后，MFR 将通过特征转换单元处理的特征与显示更多详细信息的特征图合并，生成最终的特征图。这个特征图包含了详细信息和跨通道信息交换。