摘要
本文使用HWD改进下采样,在YoloV7的测试中实现涨点。
论文解读
在卷积神经网络(CNNs)中,极大池化或跨行卷积等下采样操作被广泛用于聚合局部特征、扩大感受野和最小化计算开销。然而,对于语义分割任务,在局部邻域上汇集特征可能会导致重要空间信息的丢失,这对于逐像素预测至关重要。为了解决这个问题,作者引入了一个简单而有效的下采样操作,称为基于Haar小波的下采样(HWD)模块。该模块可以很容易地集成到CNN中,以增强语义分割模型的性能。HWD的核心思想是利用Haar小波变换降低特征图的空间分辨率,同时尽可能多地保留信息。所提出的HWD模块能够(1)有效地提高不同CNN架构下不同模态图像数据集的分割性能;(2)与传统下采样方法相比,可以有效降低信息的不确定性。
亮点:
• 为卷积神经网络(CNNs)提出了一种新颖的基于小波的下采样模块(HWD)。首次尝试探索在深度卷积神经网络(DCNNs)的下采样阶段禁止(或阻碍)信息丢失的可行性,以改善语义分割任务的性能。
• 探索了卷积神经网络中信息不确定性的度量方法,并提出了一种新的指标,即特征熵指数(FEI),用于评估下采样特征图与预测结果之间的信息不确定性或特征重要性。
• 提出的HWD模块可以直接替换跨行卷积或池化层,而不会显著增加计算开销,并且可以轻松地集成到当前的分割架构中。与七种最先进的分割方法相比,综合实验证明了HWD模块的有效性。
过大量的实验证明,本研究提出的下采样新方法可以轻松的整合到目前主流的深度学习语义分割模型中,在多个公开及私有数据集中都获得分割性能的显著提升,且整体计算效率没有显著区别。此外,对采样后的特征图质量进行独立评估表明,相对于传统的下采样操作,本研究提出的无损下采样技术在分割模型中保留了目标物体的更多的上下文信息,从而间接证明了下采样操作中最大限度保留特征信息对于深度学习语义分割任务的重要性。
YoloV8官方结果
YOLOv8l summary (fused): 268 layers, 43631280 parameters, 0 gradients, 165.0 GFLOPsClass Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 29/29 [all 230 1412 0.922 0.957 0.986 0.737c17 230 131 0.973 0.992 0.995 0.825c5 230 68 0.945 1 0.995 0.836helicopter 230 43 0.96 0.907 0.951 0.607c130 230 85 0.984 1 0.995 0.655f16 230 57 0.955 0.965 0.985 0.669b2 230 2 0.704 1 0.995 0.722other 230 86 0.903 0.942 0.963 0.534b52 230 70 0.96 0.971 0.978 0.831kc10 230 62 0.999 0.984 0.99 0.847command 230 40 0.97 1 0.995 0.811f15 230 123 0.891 1 0.992 0.701kc135 230 91 0.971 0.989 0.986 0.712a10 230 27 1 0.555 0.899 0.456b1 230 20 0.972 1 0.995 0.793aew 230 25 0.945 1 0.99 0.784f22 230 17 0.913 1 0.995 0.725p3 230 105 0.99 1 0.995 0.801p8 230 1 0.637 1 0.995 0.597f35 230 32 0.939 0.938 0.978 0.574f18 230 125 0.985 0.992 0.987 0.817v22 230 41 0.983 1 0.995 0.69su-27 230 31 0.925 1 0.995 0.859il-38 230 27 0.972 1 0.995 0.811tu-134 230 1 0.663 1 0.995 0.895su-33 230 2 1 0.611 0.995 0.796an-70 230 2 0.766 1 0.995 0.73tu-22 230 98 0.984 1 0.995 0.831
Speed: 0.2ms preprocess, 3.8ms inference, 0.0ms loss, 0.8ms postprocess per image
改进方法
安装pytorch_wavelets,执行命令:
pip install pytorch_wavelets -i https://pypi.tuna.tsinghua.edu.cn/simple
安装
pip install pywavelets -i https://pypi.tuna.tsinghua.edu.cn/simple
修改lowlevel.py,路径如下图:
如果找不到也不用担心,训练的时候回报错,根据报错的信息也能找到。