YOLOv9改进策略【卷积层】| HWD，引入`Haar小波变换`到下采样模块中，减少信息丢失

一、本文介绍

本文记录的是利用Haar小波下采样对YOLOv9网络进行改进的方法研究。传统的卷积神经网络中常用的最大池化、平均池化和步长为2的卷积等操作进行下采样可能会导致信息丢失，为了解决信息丢失问题，HWD作者受无损信息变换方法的启发，引入Haar小波变换到下采样模块中，旨在尽可能地保留图像信息，以便后续层能够提取更具判别性的特征，从而提高分割性能。

文章目录

  • 一、本文介绍
  • 二、Haar小波下采样原理
    • 2.1、原理
    • 2.2、优势
  • 三、HWD的实现代码
  • 四、添加步骤
    • 4.1 修改common.py
    • 4.2 修改yolo.py
    • 4.3 修改train_dual.py
  • 五、yaml模型文件
    • 5.1 模型改进
  • 六、成功运行结果

二、Haar小波下采样原理

Haar小波下采样:一个简单但有效的语义分割下采样模块。

2.1、原理

HWD模块由两个主要块组成：无损特征编码块和特征表示学习块。

  • 无损特征编码块：利用Haar小波变换层有效地降低特征图的空间分辨率，同时保留所有信息。Haar小波变换是一种广泛认可的、紧凑的、二进的和正交的变换，在图像编码、边缘提取和二进制逻辑设计中有着广泛的应用。当对二维信号（如灰度图像）应用Haar小波变换时，会产生四个分量，每个分量的空间分辨率是原始信号的一半，而特征图的通道数则变为原来的四倍。这意味着Haar小波变换可以将部分空间维度的信息编码到通道维度中，而不会丢失任何信息。
  • 特征表示学习块：由标准的1×1卷积层、批量归一化层和ReLU激活函数组成。该块用于调整特征图的通道数，使其与后续层对齐，并尽可能地过滤冗余信息，使后续层能够更有效地学习代表性特征。

在这里插入图片描述

2.2、优势

  • 提高分割性能：通过在三个不同模态的图像数据集上进行的广泛实验表明，HWD模块能够有效提高分割性能。在Camvid数据集上，与七种最先进的分割架构相结合，使用HWD模块的模型在平均交并比（mIoU）上相比基线有1 - 2%的提升，特别是对于小尺度对象（如行人、自行车、围栏和标志符号等）的性能有显著改善。
  • 减少信息不确定性：利用结构相似性（SSIM）、峰值信噪比（PSNR）和提出的特征熵指数（FEI）评估下采样对特征图的有效性，结果表明HWD模块能够提高SSIM（7.78%）和PSNR（2.14 dB），并大幅降低信息不确定性。在所有21个模型中，HWD模块相比原始下采样方法，使特征不确定性降低了58.2%（FEI）和46.8%（FEI_B）。
  • 通用性和易用性：HWD模块可以直接替换现有分割架构中的现有下采样方法（如最大池化、平均池化或步幅卷积），而不会引入额外的复杂性，并且能够显著提高分割性能。
  • 在参数和计算量上的平衡：与传统的下采样方法（如平均池化和步幅卷积）相比，HWD模块在参数和浮点运算（FLOPs）上提供了一种平衡。虽然平均池化在参数和FLOPs方面表现更好，但HWD模块所需的参数少于步幅卷积的两倍，并且当通道数C大于一时，步幅卷积的计算开销超过HWD模块。
  • 对浅层CNN的有效性：在MOST数据集上的实验表明，当使用ResNet - 18和ResNet - 34作为特征提取的骨干网络时，HWD模块显著提高了分割性能，这表明浅层CNN对信息的需求更高，而HWD模块能够满足这种需求。

HWD模块与其他下采样模块对比：

保留信息能力：传统的下采样方法（如最大池化、平均池化和步幅卷积等）会导致信息丢失，而HWD模块通过引入Haar小波变换，能够在降低特征图空间分辨率的同时尽可能保留信息。

论文：https://doi.org/10.1016/j.patcog.2023.109819
源码：https://github.com/apple1986/HWD

三、HWD的实现代码

HWD模块的实现代码如下：

class HWD(nn.Module):def __init__(self, in_ch, out_ch):super(HWD, self).__init__()from pytorch_wavelets import DWTForwardself.wt = DWTForward(J=1, mode='zero', wave='haar')self.conv = Conv(in_ch * 4, out_ch, 1, 1)def forward(self, x):yL, yH = self.wt(x)y_HL = yH[0][:, :, 0, ::]y_LH = yH[0][:, :, 1, ::]y_HH = yH[0][:, :, 2, ::]x = torch.cat([yL, y_HL, y_LH, y_HH], dim=1)x = self.conv(x)return x

四、添加步骤

4.1 修改common.py

此处需要修改的文件是models/common.py

common.py中定义了网络结构的通用模块，我们想要加入新的模块就只需要将模块代码放到这个文件内即可。

HWD的实现过程中使用的pytorch_wavelets包需要自行安装：

pip install pytorch_wavelets

HWD模块添加后如下：

在这里插入图片描述

注意❗：在4.2小节中的yolo.py文件中需要声明的模块名称为：HWD。

4.2 修改yolo.py

此处需要修改的文件是models/yolo.py

yolo.py用于函数调用，我们只需要将common.py中定义的新的模块名添加到parse_model函数下即可。

HWD模块添加后如下：

在这里插入图片描述

还需在此函数下添加如下代码：

在这里插入图片描述

elif m in (HWD,):args = [ch[f], ch[f]]

4.3 修改train_dual.py

在train_dual.py文件的第314行关闭amp，将其设置为False。

with torch.cuda.amp.autocast(False):pred = model(imgs)  # forwardloss, loss_items = compute_loss(pred, targets.to(device))  # loss scaled by batch_sizeif RANK != -1:loss *= WORLD_SIZE  # gradient averaged between devices in DDP modeif opt.quad:loss *= 4.

在这里插入图片描述

五、yaml模型文件

5.1 模型改进

在代码配置完成后，配置模型的YAML文件。

此处以models/detect/yolov9-c.yaml为例，在同目录下创建一个用于自己数据集训练的模型文件yolov9-c-hwd.yaml。

将yolov9-c.yaml中的内容复制到yolov9-c-hwd.yaml文件下，修改nc数量等于自己数据中目标的数量。

📌 修改方法是将HWD模块替换YOLOv9网络中的ADown模块。HWD受无损信息变换方法的启发，引入Haar小波变换到下采样模块中，旨在尽可能地保留图像信息，使改进后的模型在下采样过程中能够提取更具判别性的特征，从而提高模型性能。

# YOLOv9# parameters
nc: 1  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple
#activation: nn.LeakyReLU(0.1)
#activation: nn.ReLU()# anchors
anchors: 3# YOLOv9 backbone
backbone:[[-1, 1, Silence, []],  # conv down[-1, 1, Conv, [64, 3, 2]],  # 1-P1/2# conv down[-1, 1, Conv, [128, 3, 2]],  # 2-P2/4# elan-1 block[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]],  # 3# avg-conv down[-1, 1, HWD, [256]],  # 4-P3/8# elan-2 block[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]],  # 5# avg-conv down[-1, 1, HWD, [512]],  # 6-P4/16# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 7# avg-conv down[-1, 1, HWD, [512]],  # 8-P5/32# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 9]# YOLOv9 head
head:[# elan-spp block[-1, 1, SPPELAN, [512, 256]],  # 10# up-concat merge[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 7], 1, Concat, [1]],  # cat backbone P4# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 13# up-concat merge[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 5], 1, Concat, [1]],  # cat backbone P3# elan-2 block[-1, 1, RepNCSPELAN4, [256, 256, 128, 1]],  # 16 (P3/8-small)# avg-conv-down merge[-1, 1, ADown, [256]],[[-1, 13], 1, Concat, [1]],  # cat head P4# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 19 (P4/16-medium)# avg-conv-down merge[-1, 1, ADown, [512]],[[-1, 10], 1, Concat, [1]],  # cat head P5# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 22 (P5/32-large)# multi-level reversible auxiliary branch# routing[5, 1, CBLinear, [[256]]], # 23[7, 1, CBLinear, [[256, 512]]], # 24[9, 1, CBLinear, [[256, 512, 512]]], # 25# conv down[0, 1, Conv, [64, 3, 2]],  # 26-P1/2# conv down[-1, 1, Conv, [128, 3, 2]],  # 27-P2/4# elan-1 block[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]],  # 28# avg-conv down fuse[-1, 1, ADown, [256]],  # 29-P3/8[[23, 24, 25, -1], 1, CBFuse, [[0, 0, 0]]], # 30  # elan-2 block[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]],  # 31# avg-conv down fuse[-1, 1, ADown, [512]],  # 32-P4/16[[24, 25, -1], 1, CBFuse, [[1, 1]]], # 33 # elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 34# avg-conv down fuse[-1, 1, ADown, [512]],  # 35-P5/32[[25, -1], 1, CBFuse, [[2]]], # 36# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]],  # 37# detection head# detect[[31, 34, 37, 16, 19, 22], 1, DualDDetect, [nc]],  # DualDDetect(A3, A4, A5, P3, P4, P5)]

六、成功运行结果

分别打印网络模型可以看到HWD模块已经加入到模型中，并可以进行训练了。

yolov9-c-hwd：

                 from  n    params  module                                  arguments                     0                -1  1         0  models.common.Silence                   []                            1                -1  1      1856  models.common.Conv                      [3, 64, 3, 2]                 2                -1  1     73984  models.common.Conv                      [64, 128, 3, 2]               3                -1  1    212864  models.common.RepNCSPELAN4              [128, 256, 128, 64, 1]        4                -1  1    262656  models.common.HWD                       [256, 256]                    5                -1  1    847616  models.common.RepNCSPELAN4              [256, 512, 256, 128, 1]       6                -1  1   1049600  models.common.HWD                       [512, 512]                    7                -1  1   2857472  models.common.RepNCSPELAN4              [512, 512, 512, 256, 1]       8                -1  1   1049600  models.common.HWD                       [512, 512]                    9                -1  1   2857472  models.common.RepNCSPELAN4              [512, 512, 512, 256, 1]       10                -1  1    656896  models.common.SPPELAN                   [512, 512, 256]               11                -1  1         0  torch.nn.modules.upsampling.Upsample    [None, 2, 'nearest']          12           [-1, 7]  1         0  models.common.Concat                    [1]                           13                -1  1   3119616  models.common.RepNCSPELAN4              [1024, 512, 512, 256, 1]      14                -1  1         0  torch.nn.modules.upsampling.Upsample    [None, 2, 'nearest']          15           [-1, 5]  1         0  models.common.Concat                    [1]                           16                -1  1    912640  models.common.RepNCSPELAN4              [1024, 256, 256, 128, 1]      17                -1  1    164352  models.common.ADown                     [256, 256]                    18          [-1, 13]  1         0  models.common.Concat                    [1]                           19                -1  1   2988544  models.common.RepNCSPELAN4              [768, 512, 512, 256, 1]       20                -1  1    656384  models.common.ADown                     [512, 512]                    21          [-1, 10]  1         0  models.common.Concat                    [1]                           22                -1  1   3119616  models.common.RepNCSPELAN4              [1024, 512, 512, 256, 1]      23                 5  1    131328  models.common.CBLinear                  [512, [256]]                  24                 7  1    393984  models.common.CBLinear                  [512, [256, 512]]             25                 9  1    656640  models.common.CBLinear                  [512, [256, 512, 512]]        26                 0  1      1856  models.common.Conv                      [3, 64, 3, 2]                 27                -1  1     73984  models.common.Conv                      [64, 128, 3, 2]               28                -1  1    212864  models.common.RepNCSPELAN4              [128, 256, 128, 64, 1]        29                -1  1    164352  models.common.ADown                     [256, 256]                    30  [23, 24, 25, -1]  1         0  models.common.CBFuse                    [[0, 0, 0]]                   31                -1  1    847616  models.common.RepNCSPELAN4              [256, 512, 256, 128, 1]       32                -1  1    656384  models.common.ADown                     [512, 512]                    33      [24, 25, -1]  1         0  models.common.CBFuse                    [[1, 1]]                      34                -1  1   2857472  models.common.RepNCSPELAN4              [512, 512, 512, 256, 1]       35                -1  1    656384  models.common.ADown                     [512, 512]                    36          [25, -1]  1         0  models.common.CBFuse                    [[2]]                         37                -1  1   2857472  models.common.RepNCSPELAN4              [512, 512, 512, 256, 1]       38[31, 34, 37, 16, 19, 22]  1  21542822  DualDDetect                             [1, [512, 512, 512, 256, 512, 512]]
yolov9-c-hwd summary: 601 layers, 51583014 parameters, 49258246 gradients, 239.5 GFLOPs

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/426937.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

算法知识点———并查集

算法知识点———并查集

并查集是一种用于管理元素所属集合的数据结构，实现为一个森林，其中每棵树表示一个集合，树中的节点表示对应集合中的元素。并查集支持两种操作： 合并（Union）：合并两个元素所属集合（合…
阅读更多...
nonlocal本质讲解（前篇）——从滤波到Nonlocal均值滤波

nonlocal本质讲解（前篇）——从滤波到Nonlocal均值滤波

线性滤波 → \rightarrow →高斯滤波 → \rightarrow →高斯滤波 → \rightarrow →双边滤波 → \rightarrow →Nonlocal均值滤波 平均 高斯 双边 Nonlocal 目录 线性滤波高斯滤波双边滤波Nonlocal均值滤波 滤波最初是频域的概念，由于频域乘积对应空域卷积&am…
阅读更多...
PDF里怎么直接编辑文字？简单操作指南

PDF里怎么直接编辑文字？简单操作指南

PDF作为一种广泛使用的文档格式，因其稳定性和跨平台兼容性而受到欢迎。然而，PDF原生的编辑功能相对有限，尤其是直接编辑其中的文字。但幸运的是，随着技术的发展，我们现在有几种方法可以在PDF中直接编辑文字。在本文中&…
阅读更多...
二百六十四、Java——Java采集Kafka主题A的JSON数据，解析成一条条数据，然后写入Kafka主题B中

二百六十四、Java——Java采集Kafka主题A的JSON数据，解析成一条条数据，然后写入Kafka主题B中

一、目的 由于Hive是单机环境&#xff0c;因此庞大的原始JSON数据在Hive中解析的话就太慢了&#xff0c;必须放在Hive之前解析成一个个字段、一条条CSV数据 二、IDEA创建SpringBoot项目 三、项目中各个文件 3.1 pom.xml <?xml version"1.0" encoding"UTF…
阅读更多...
Java设计模式—面向对象设计原则(三) -----＞ 依赖倒转原则DIP(完整详解，附有代码+案例)

Java设计模式—面向对象设计原则(三) -----＞ 依赖倒转原则DIP(完整详解，附有代码+案例)

文章目录 3.3 依赖倒转原则(DIP)3.3.1概述3.3.2 案例 3.3 依赖倒转原则(DIP) 依赖倒转原则&#xff1a;Dependency Inversion Principle&#xff0c;DIP 3.3.1概述 高层模块不应该依赖低层模块&#xff0c;两者都应该依赖其抽象&#xff1b;抽象不应该依赖细节&#xff0c;细…
阅读更多...
PXE服务

PXE服务

一.PXE服务的功能介绍 1.无盘启动&#xff1a;PXE允许计算机在没有本地存储设备的情况下启动操作系统。这对于构建无盘工作站非常有用&#xff0c;因为计算机可以直接从网络加载操作系统和其他应用程序1。 2.远程安装操作系统&#xff1a;PXE技术可以用于远程安装操作系统&…
阅读更多...
HTML讲解（二）head部分

HTML讲解（二）head部分

目录 1. 2.的使用 2.1 charset 2.2 name 2.2.1 describe关键字 2.2.2 keywords关键字 2.2.3 author关键字 2.2.4 http-equiv 小心&#xff01;VS2022不可直接接触&#xff0c;否则&#xff01;没这个必要&#xff0c;方源面色淡然一把抓住&#xff01;顷刻炼化&#x…
阅读更多...
VSCode C++(Code Runner)+ OpenSSL开发环境搭建

VSCode C++(Code Runner)+ OpenSSL开发环境搭建

本章教程，主要介绍在VSCode中配置OpenSSL环境。 操作系统：wsl+ubuntu22.04 一、安装必备组件 1、安装g++ sudo apt install g++ 2、安装 OpenSSL sudo apt-get install libssl-dev 3、安装Code Runner插件 这个在vscode的插件市场可以找到，极力推荐使用，安装插件，可以…
阅读更多...
nodejs 007:错误npm error Error: EPERM: operation not permitted, symlink

nodejs 007:错误npm error Error: EPERM: operation not permitted, symlink

完整错误信息 npm error Error: EPERM: operation not permitted, symlink npm warn cleanup Failed to remove some directories [ npm warn cleanup [ npm warn cleanup C:\\Users\\kingchuxing\\Documents\\IPFS\\orbit-db-set-master\\node_modules\\ipfs-cli, npm…
阅读更多...
如何在 Ubuntu 系统上部署 Laravel 项目 ？

如何在 Ubuntu 系统上部署 Laravel 项目 ？

到目前为止&#xff0c;Laravel 是 PHP 开发人员构建 api 和 web 应用程序的首选。如果你是新手的话&#xff0c;将 Laravel 应用程序部署到线上服务器上可能有点棘手。 在本指南中&#xff0c;我们将向您展示在 Ubuntu 系统中部署 Laravel 应用程序的全过程。 Step 1: Updat…
阅读更多...
c++中的二叉搜索树

c++中的二叉搜索树

目录 ​编辑 一概念&#xff1a; 二性能分析&#xff1a; 三实现步骤&#xff1a; 31插入&#xff1a; 32删除&#xff1a; 33查找&#xff1a; 四应用&#xff08;key与key_value): 41key模型&#xff1a; 42key_value模型&#xff1a; 一概念&#xff1a; 静图展示…
阅读更多...
Linux(6)--CentOS目录

Linux(6)--CentOS目录

文章目录 1. 根目录2. cd目录切换命令3. CentOS目录介绍4. pwd命令介绍5. ls命令介绍5.1 ls5.2 ls -a5.3 ls -l 1. 根目录 Windows电脑的根目录是计算机(我的电脑)&#xff0c;然后C盘、D盘。 Linux系统的根目录是/&#xff0c;我们可以使用cd /进入根目录&#xff0c;然后使…
阅读更多...
20240919 - 【PYTHON】辞职信

20240919 - 【PYTHON】辞职信

import tkinter as tk # 导入 tkinter 模块&#xff0c;并简写为 tk from tkinter import messagebox # 从 tkinter 导入 messagebox 子模块&#xff0c;用于显示消息框 from random import random # 从 random 模块导入 random 函数&#xff0c;用于生成随机数# 创建窗口对…
阅读更多...
一本还没发布的书，能在Github上拿25.6k⭐️，熬夜也要读完的书

一本还没发布的书，能在Github上拿25.6k⭐️，熬夜也要读完的书

重磅&#xff01;从零构建大语言模型教程开源&#xff01; 自从ChatGPT发布以来&#xff0c;大型语言模型&#xff08;LLM&#xff09;大放异彩。 如今市面上关于大模型的书籍和教程可谓琳琅满目&#xff0c;但基本上都只是从原理和参数调优上讲解的&#xff0c;没有一本系统性…
阅读更多...
借老系统重构我准备写个OpenAPI3.1版的API管理工具(附录屏演示)

借老系统重构我准备写个OpenAPI3.1版的API管理工具(附录屏演示)

前段时间一直在忙公司老系统重构的方案设计&#xff0c;其中最大的重构点就是前后端分离。为了加快前后端协同开发和对接的工作效率&#xff0c;我决定写一个公司内部使用的OpenAPI3.1版的API管理工具。 文章目录 有现成的工具为啥不用现有成熟方案初步成果展示录屏演示下一步计…
阅读更多...
手语识别系统源码分享

手语识别系统源码分享

手语识别检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Vision …
阅读更多...
计算机专业的就业方向

计算机专业的就业方向

计算机专业的就业方向 亲爱的新生们&#xff0c;欢迎你们踏上计算机科学的旅程&#xff01;作为一名计算机专业的学生&#xff0c;你们即将进入一个充满无限可能的领域。今天&#xff0c;我将为大家介绍计算机专业的一些主要就业方向&#xff0c;帮助你们了解未来的职业选择。…
阅读更多...
Java面试篇基础部分-Java内部类介绍

Java面试篇基础部分-Java内部类介绍

首先需要了解什么是内部类，内部类就是定义在类的内部的类称为内部类，内部类可以根据不同的定义方式分为静态内部类、成员内部类、局部内部类和匿名内部类。 静态内部类 定义在类体内部的通过static关键字修饰的类，被称为静态内部类。静态内部类可以访问外部类的静态变量和…
阅读更多...
深度学习对抗海洋赤潮危机！浙大GIS实验室提出ChloroFormer模型，可提前预警海洋藻类爆发

深度学习对抗海洋赤潮危机！浙大GIS实验室提出ChloroFormer模型，可提前预警海洋藻类爆发

2014 年 8 月&#xff0c;美国俄亥俄州托莱多市超 50 万名居民突然收到市政府的一则紧急通知——不得擅自饮用自来水&#xff01; 水是人类生存的基本供给&#xff0c;此通告关系重大&#xff0c;发出后也引起了不小的恐慌。究其原因&#xff0c;其实是美国伊利湖爆发了大规模…
阅读更多...
OpenCV运动分析和目标跟踪（4）创建汉宁窗函数createHanningWindow（）的使用

OpenCV运动分析和目标跟踪（4）创建汉宁窗函数createHanningWindow（）的使用

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 此函数计算二维的汉宁窗系数。 createHanningWindow是OpenCV中的一个函数&#xff0c;用于创建汉宁窗&#xff08;Hann window&#xff09;。汉宁…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023