YOLOv5算法改进（10）— 替换主干网络之GhostNet

前言：Hello大家好，我是小哥谈。GhostNet是一种针对计算机视觉任务的深度神经网络架构，它于2020年由中国科学院大学的研究人员提出。GhostNet的设计目标是在保持高精度的同时，减少模型的计算和存储成本。GhostNet通过引入Ghost模块来实现高效的网络设计，Ghost模块是一种新颖的特征重用机制，它可以在网络中引入更多的轻量级子网络，这些子网络与主干网络以并行的方式连接，通过共享卷积核来提高计算效率。GhostNet在ImageNet图像分类任务上取得了较好的性能，并且在计算和存储方面比一些流行的网络模型如MobileNetV3和EfficientNet要更高效。因此，GhostNet被认为是一种具有潜力的轻量级神经网络架构，在计算资源有限的设备上具有广泛的应用前景。🌈

前期回顾：

YOLOv5算法改进（1）— 如何去改进YOLOv5算法

YOLOv5算法改进（2）— 添加SE注意力机制

YOLOv5算法改进（3）— 添加CBAM注意力机制

YOLOv5算法改进（4）— 添加CA注意力机制

YOLOv5算法改进（5）— 添加ECA注意力机制

YOLOv5算法改进（6）— 添加SOCA注意力机制

YOLOv5算法改进（7）— 添加SimAM注意力机制

YOLOv5算法改进（8）— 替换主干网络之MobileNetV3

YOLOv5算法改进（9）— 替换主干网络之ShuffleNetV2

🚀1.论文

🚀2.GhostNet网络架构及原理

💥💥2.1 Ghost Module

💥💥2.2 Ghost Bottlenecks

💥💥2.3 Ghostnet的构建

🚀3.YOLOv5结合Ghostnet

💥💥步骤1：在common.py中添加Ghostnet模块

💥💥步骤2：在yolo.py文件中加入类名

💥💥步骤3：创建自定义yaml文件

💥💥步骤4：验证是否加入成功

💥💥步骤5：修改train.py中的'--cfg'默认参数

🚀1.论文

GhostNet是2019年由华为诺亚方舟实验室发布的轻量级网络，速度和MobileNetV3相似，但是识别的准确率比MobileNetV3高，在ImageNet ILSVRC-2012分类数据集的达到了75.7%的top-1精度。该论文提除了Ghost模块，通过廉价操作生成更多的特征图。基于一组原始的特征图，作者应用一系列线性变换，以很小的代价生成许多能从原始特征发掘所需信息的“Ghost”特征图（Ghost feature maps）。Ghost模块是一种即插即用的模块，通过堆叠Ghost模块得出Ghost bottleneck，进而搭建轻量级神经网络——GhostNet。🍃

论文题目：《GhostNet: More Features from Cheap Operations》

论文地址： https://arxiv.org/abs/1911.11907

代码实现： https://github.com/huawei-noah/Efficient-AI-Backbones/releases/tag/GhostNetV2

🚀2.GhostNet网络架构及原理

💥💥2.1 Ghost Module

通过上述的介绍，我们了解到了，GhostNet的核心思想就是使用一些计算量更低（Cheap Operations）的操作去生成这些冗余的特征图。在论文中，作者设计了一个名为Ghost Module的模块，他的功能是代替普通卷积。📚

Ghost Module将普通卷积分为两部分：

首先，进行一个普通的1x1卷积，这是一个少量卷积，比如正常使用32通道的卷积，这里就用16通道的卷积，这个1x1卷积的作用类似于特征整合，生成输入特征层的特征浓缩。

然后，我们再进行深度可分离卷积，这个深度可分离卷积是逐层卷积，它也就是论文上面提到的Cheap Operations。它利用上一步获得的特征浓缩生成Ghost特征图。

因此，如果我们从整体上去看这个Ghost Module，它其实就是两步简单思想的汇总：

💞（1）利用1x1卷积获得输入特征的必要特征浓缩。

💞（2）利用深度可分离卷积获得特征浓缩的相似特征图（Ghost）。

Ghost-Module分成三个步骤：

🍀（1）先通过普通的conv生成一些特征图。
🍀（2）对生成的特征图进行cheap操作生成冗余特征图，这步使用的卷积是DW 卷积。
🍀（3）将conv生成的特征图与cheap操作生成的特征图进行concat操作。

如下图（b）所示，展示了Ghost模块和普通卷积的过程。👇

💥💥2.2 Ghost Bottlenecks

实现了Ghost 模块，接下来开始搭建 Ghost Bottlenecks。

Ghost Bottlenecks是由Ghost Module组成的瓶颈结构，其实本质上就是用Ghost Module，来代替瓶颈结构里面的普通卷积。

Ghost Bottlenecks可以分为两个部分，分别是主干部分和残差边部分，包含Ghost Module的，我们称它为主干部分。

Ghost Bottlenecks有两个种类，如下图所示，当我们需要对特征层的宽高进行压缩的时候，我们会设置这个Ghost Bottlenecks的Stride=2，即步长为2。此时我们会Bottlenecks里面多添加一些卷积层，在主干部分里，我们会在两个Ghost Module中添加一个步长为2x2的深度可分离卷积进行特征层的宽高压缩。在残差边部分，我们也会添加上一个步长为2x2的深度可分离卷积和1x1的普通卷积。🌹

接下来实现GhostNet。🔖

💥💥2.3 Ghostnet的构建

GhostNet的参数结构参考论文中的图，如下图：

可以看到，整个Ghostnet都是由Ghost Bottlenecks进行组成的。

当一张图片输入到Ghostnet当中时，我们首先进行一个16通道的普通1x1卷积块（卷积+标准化+激活函数）。之后我们就开始Ghost Bottlenecks的堆叠了，利用Ghost Bottlenecks，我们最终获得了一个7x7x160的特征层（当输入是224x224x3的时候）。然后我们会利用一个1x1的卷积块进行通道数的调整，此时我们可以获得一个7x7x960的特征层。之后我们进行一次全局平均池化，然后再利用一个1x1的卷积块进行通道数的调整，获得一个1x1x1280的特征层。然后平铺后进行全连接就可以进行分类了。🌿

🚀3.YOLOv5结合Ghostnet

💥💥步骤1：在common.py中添加Ghostnet模块

将下面Ghostnet模块的代码复制粘贴到common.py文件的末尾。

class SeBlock(nn.Module):def __init__(self, in_channel, reduction=4):super().__init__()self.Squeeze = nn.AdaptiveAvgPool2d(1)self.Excitation = nn.Sequential()self.Excitation.add_module('FC1', nn.Conv2d(in_channel, in_channel // reduction, kernel_size=1))  # 1*1卷积与此效果相同self.Excitation.add_module('ReLU', nn.ReLU())self.Excitation.add_module('FC2', nn.Conv2d(in_channel // reduction, in_channel, kernel_size=1))self.Excitation.add_module('Sigmoid', nn.Sigmoid())def forward(self, x):y = self.Squeeze(x)ouput = self.Excitation(y)return x * (ouput.expand_as(x))class G_bneck(nn.Module):# Ghost Bottleneck https://github.com/huawei-noah/ghostnetdef __init__(self, c1, c2, midc, k=5, s=1, use_se = False):  # ch_in, ch_mid, ch_out, kernel, stride, use_sesuper().__init__()assert s in [1, 2]c_ = midcself.conv = nn.Sequential(GhostConv(c1, c_, 1, 1),              # ExpansionConv(c_, c_, 3, s=2, p=1, g=c_, act=False) if s == 2 else nn.Identity(),  # dw# Squeeze-and-ExciteSeBlock(c_) if use_se else nn.Sequential(),GhostConv(c_, c2, 1, 1, act=False))   # Squeeze pw-linearself.shortcut = nn.Identity() if (c1 == c2 and s == 1) else \nn.Sequential(Conv(c1, c1, 3, s=s, p=1, g=c1, act=False), \Conv(c1, c2, 1, 1, act=False)) # 避免stride=2时 通道数改变的情况def forward(self, x):# print(self.conv(x).shape)# print(self.shortcut(x).shape)return self.conv(x) + self.shortcut(x)

具体如下图所示：

💥💥步骤2：在yolo.py文件中加入类名

首先在yolo.py文件中找到parse_model函数这一行，加入G_bneck模块。

💥💥步骤3：创建自定义yaml文件

在models文件夹中复制yolov5s.yaml，粘贴并重命名为yolov5s_Ghostnet.yaml。

然后根据Ghostnet的网络架构来修改配置文件。

yaml文件修改后的完整代码如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license# Parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# Ghostnet backbone
backbone:# [from, number, module, args][[-1, 1, Conv, [16, 3, 2, 1]],            # 0-P1/2  ch_out, kernel, stride, padding, groups[-1, 1, G_bneck, [16, 16, 3, 1]],        # 1  ch_out, ch_mid, dw-kernel, stride[-1, 1, G_bneck, [24, 48, 3, 2]],        # 2-P2/4[-1, 1, G_bneck, [24, 72, 3, 1]],        # 3[-1, 1, G_bneck, [40, 72, 3, 2, True]],  # 4-P3/8[-1, 1, G_bneck, [40, 120, 3, 1, True]], # 5[-1, 1, G_bneck, [80, 240, 3, 2]],        # 6-P4/16[-1, 3, G_bneck, [80, 184, 3, 1]],        # 7[-1, 1, G_bneck, [112, 480, 3, 1, True]],[-1, 1, G_bneck, [112, 480, 3, 1, True]],[-1, 1, G_bneck, [160, 672, 3, 2, True]], # 10-P5/32[-1, 1, G_bneck, [160, 960, 3, 1]],       # 11[-1, 1, G_bneck, [160, 960, 3, 1, True]],[-1, 1, G_bneck, [160, 960, 3, 1]],[-1, 1, G_bneck, [160, 960, 3, 1, True]],[-1, 1, Conv, [960]],]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [480, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 9], 1, Concat, [1]],  # cat backbone P4[-1, 3, C3, [480, False]],  # 19[-1, 1, Conv, [240, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 5], 1, Concat, [1]],  # cat backbone P3[-1, 3, C3, [240, False]],  # 23 (P3/8-small)[-1, 1, Conv, [240, 3, 2]],[[-1, 20], 1, Concat, [1]], # cat head P4[-1, 3, C3, [480, False]],  # 26 (P4/16-medium)[-1, 1, Conv, [480, 3, 2]],[[-1, 15], 1, Concat, [1]],  # cat head P5[-1, 3, C3, [960, False]],  # 29 (P5/32-large)[[23, 26, 29], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]