目录

1 CARAFE模块原理

1.1 上采样的表示

1.2 Motivation

2 YOLOv5中加入CARAFE模块

2.1 ultralytics/nn/modules/block.py文件配置

2.2 ultralytics/nn/tasks.py配置

2.3 创建添加优化点模块的yolov5x-CARAFE.yaml

参考文献

---

 

1 CARAFE模块原理

上采样操作可以表示为每个位置的上采样核和输入特征图中对应邻域的像素做点积，我们称之为特征重组。我们提出的上采样操作 CARAFE 在重组时可以有较大的感受野，会根据输入特征来指导重组过程，同时整个算子比较轻量级。具体来说，我们首先利用输入特征图来预测上采样核，每个位置的上采样核是不同的，然后基于预测的上采样核来进行特征重组。在不同的任务中，CARAFE 都取得了明显的提升，同时仅带来很小的额外参数和计算量。

1.1 上采样的表示

我们将特征图的上采样运算看做是特征重组的过程。对于输出特征图中的每个像素点 L'，我们都可以找到它在输入特征图中的对应位置 L，L' 这个点的值可以表示成以输入特征图中以 L 为中心的一个邻域内的像素和一个上采样核的点积（加权和）。以双线性上采样为例&#x