ResNet与注意力机制：深度学习中的强强联合

引言

在深度学习领域，卷积神经网络（CNN）一直是图像处理任务的主流架构。然而，随着网络深度的增加，梯度消失和梯度爆炸问题逐渐显现，限制了网络的性能。为了解决这一问题，ResNet（残差网络）应运而生，通过引入残差连接，使得网络可以训练得更深，从而在多个视觉任务中取得了显著的效果。

然而，尽管ResNet在图像分类、目标检测等任务中表现出色，但在处理复杂场景时，仍然存在一些局限性。例如，网络可能会忽略一些重要的细节信息，或者对某些区域过度关注。为了进一步提升网络的性能，研究者们开始将注意力机制引入到ResNet中，通过自适应地调整特征图的重要性，使得网络能够更加关注于关键区域。

本文将详细介绍ResNet和注意力机制的基本原理，并探讨如何将两者结合，以提升网络的性能。我们还将通过代码示例，展示如何在实践中实现这一结合。

1. ResNet的基本原理

1.1 残差连接

ResNet的核心思想是引入残差连接（Residual Connection），即通过跳跃连接（Skip Connection）将输入直接传递到输出，使得网络可以学习残差映射，而不是直接学习原始映射。这种设计有效地缓解了梯度消失问题，使得网络可以训练得更深。

残差块（Residual Block）是ResNet的基本构建单元，其结构如下：

class ResidualBlock(nn.Module):def __init__(self, in_channels, out_channels, stride=1):super(ResidualBlock, self).__init__()self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(out_channels)self.relu = nn.ReLU(inplace=True)self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)self.bn2 = nn.BatchNorm2d(out_channels)self.shortcut = nn.Sequential()if stride != 1 or in_channels != out_channels:self.shortcut = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),nn.BatchNorm2d(out_channels))def forward(self, x):residual = xout = self.conv1(x)out = self.bn1(out)out = self.relu(out)out = self.conv2(out)out = self.bn2(out)out += self.shortcut(residual)out = self.relu(out)return out

1.2 ResNet的网络结构

ResNet的网络结构由多个残差块堆叠而成，通常包括多个阶段（Stage），每个阶段包含多个残差块。随着网络的加深，特征图的尺寸逐渐减小，而通道数逐渐增加。常见的ResNet架构包括ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等。

2. 注意力机制的基本原理

2.1 注意力机制的概念

注意力机制（Attention Mechanism）最初在自然语言处理（NLP）领域中被提出，用于解决序列到序列（Seq2Seq）模型中的长距离依赖问题。其核心思想是通过计算输入序列中每个元素的重要性，动态地调整每个元素的权重，从而使得模型能够更加关注于关键信息。

在计算机视觉领域，注意力机制被广泛应用于图像分类、目标检测、图像分割等任务中。通过引入注意力机制，网络可以自适应地调整特征图的重要性，从而提升模型的性能。

2.2 常见的注意力机制

2.2.1 通道注意力机制

通道注意力机制（Channel Attention）通过计算每个通道的重要性，动态地调整每个通道的权重。常见的通道注意力机制包括SENet（Squeeze-and-Excitation Network）和CBAM（Convolutional Block Attention Module）等。

SENet的结构如下：

class SEBlock(nn.Module):def __init__(self, channel, reduction=16):super(SEBlock, self).__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)self.fc = nn.Sequential(nn.Linear(channel, channel // reduction, bias=False),nn.ReLU(inplace=True),nn.Linear(channel // reduction, channel, bias=False),nn.Sigmoid())def forward(self, x):b, c, _, _ = x.size()y = self.avg_pool(x).view(b, c)y = self.fc(y).view(b, c, 1, 1)return x * y.expand_as(x)
2.2.2 空间注意力机制

空间注意力机制（Spatial Attention）通过计算每个空间位置的重要性，动态地调整每个空间位置的权重。常见的空间注意力机制包括CBAM和Non-local Neural Networks等。

CBAM的结构如下：

class CBAMBlock(nn.Module):def __init__(self, channel, reduction=16, kernel_size=7):super(CBAMBlock, self).__init__()self.channel_attention = SEBlock(channel, reduction)self.spatial_attention = nn.Sequential(nn.Conv2d(2, 1, kernel_size=kernel_size, padding=kernel_size//2, bias=False),nn.Sigmoid())def forward(self, x):x = self.channel_attention(x)y = torch.cat((torch.max(x, 1)[0].unsqueeze(1), torch.mean(x, 1).unsqueeze(1)), dim=1)y = self.spatial_attention(y)return x * y

3. ResNet与注意力机制的结合

3.1 为什么要在ResNet中引入注意力机制？

尽管ResNet通过残差连接有效地缓解了梯度消失问题，使得网络可以训练得更深，但在处理复杂场景时，仍然存在一些局限性。例如，网络可能会忽略一些重要的细节信息，或者对某些区域过度关注。通过引入注意力机制，网络可以自适应地调整特征图的重要性，从而更加关注于关键区域，提升模型的性能。

3.2 如何在ResNet中引入注意力机制？

在ResNet中引入注意力机制的方法有很多种，常见的方法包括在残差块中引入通道注意力机制、空间注意力机制，或者在网络的最后引入全局注意力机制等。

3.2.1 在残差块中引入通道注意力机制

在残差块中引入通道注意力机制的方法如下：

class ResidualBlockWithSE(nn.Module):def __init__(self, in_channels, out_channels, stride=1, reduction=16):super(ResidualBlockWithSE, self).__init__()self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(out_channels)self.relu = nn.ReLU(inplace=True)self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)self.bn2 = nn.BatchNorm2d(out_channels)self.se = SEBlock(out_channels, reduction)self.shortcut = nn.Sequential()if stride != 1 or in_channels != out_channels:self.shortcut = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),nn.BatchNorm2d(out_channels))def forward(self, x):residual = xout = self.conv1(x)out = self.bn1(out)out = self.relu(out)out = self.conv2(out)out = self.bn2(out)out = self.se(out)out += self.shortcut(residual)out = self.relu(out)return out
3.2.2 在残差块中引入空间注意力机制

在残差块中引入空间注意力机制的方法如下：

class ResidualBlockWithCBAM(nn.Module):def __init__(self, in_channels, out_channels, stride=1, reduction=16, kernel_size=7):super(ResidualBlockWithCBAM, self).__init__()self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)self.bn1 = nn.BatchNorm2d(out_channels)self.relu = nn.ReLU(inplace=True)self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)self.bn2 = nn.BatchNorm2d(out_channels)self.cbam = CBAMBlock(out_channels, reduction, kernel_size)self.shortcut = nn.Sequential()if stride != 1 or in_channels != out_channels:self.shortcut = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),nn.BatchNorm2d(out_channels))def forward(self, x):residual = xout = self.conv1(x)out = self.bn1(out)out = self.relu(out)out = self.conv2(out)out = self.bn2(out)out = self.cbam(out)out += self.shortcut(residual)out = self.relu(out)return out

3.3 实验结果

通过在ResNet中引入注意力机制，网络的性能得到了显著提升。例如，在ImageNet数据集上，ResNet-50的Top-1准确率为76.15%，而引入SENet后，Top-1准确率提升至77.62%。类似地，引入CBAM后，Top-1准确率提升至77.98%。

4. 总结

本文详细介绍了ResNet和注意力机制的基本原理，并探讨了如何将两者结合，以提升网络的性能。通过在ResNet中引入注意力机制，网络可以自适应地调整特征图的重要性，从而更加关注于关键区域，提升模型的性能。实验结果表明，引入注意力机制后，ResNet的性能得到了显著提升。

未来，随着注意力机制的不断发展，我们可以期待更多创新的网络架构和训练方法，进一步提升深度学习模型的性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/39307.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【设计模式】组合模式

【设计模式】组合模式

第11章 组合模式 11.1 一个基本的目录内容遍历范例 组合模式用于处理树形结构数据&#xff0c;如操作系统目录。以下是目录遍历的非组合模式实现&#xff1a; 文件类定义 class File { public:File(string name) : m_sname(name) {}void ShowName(string lvlstr) {cout <…
阅读更多...
DSP28335 eCAN（增强型控制器局域网）

DSP28335 eCAN（增强型控制器局域网）

一、概述 1.1 特征 can协议2.0 ，高达1Mbps32个邮箱 1）—可配置接收或发送—可配置标准或扩展标识符—接收标识符屏蔽功能—支持数据和远程帧—支持0到8字节的数据帧—在接收和发送的消息上使用32位时间戳（发送接收计时器）—接收新消息保护—允许动态可编程的发送消息优先…
阅读更多...
现代控制原理

现代控制原理

一、在状态空间中&#xff0c;建立控制系统的数学模型 如&#xff1a;有单输入&#xff08;U)--单输出&#xff08;Y)控制系统&#xff0c;其状态方程和输出方程如下图&#xff1a; 二、画状态结构图 将上述状态方程转化为状态结构图有&#xff1a; 三、高阶控制系统的状态方…
阅读更多...
【Git】基础使用

【Git】基础使用

Git基础使用 基础配置工作区-暂存区-版本库添加文件修改文件版本回退撤销修改删除文件分支管理强制删除分支 基础配置 初始化仓库&#xff1a; git init # 此时就会生成一个 .git 的文件夹&#xff0c;切勿修改或删除文件夹里的内容配置仓库——名字&#xff1a; git config…
阅读更多...
系统与网络安全------网络应用基础（2）

系统与网络安全------网络应用基础（2）

资料整理于网络资料、书本资料、AI&#xff0c;仅供个人学习参考。 交换机 认识交换机 交换机&#xff0c;Switch 用户将多台计算机/交换机连接在一起&#xff0c;组建网络 交换机负责为其中任意两台计算机提供独享线路进行通信 非网管型交换机 即插即用交换机 即插即用&…
阅读更多...
【xiaozhi赎回之路-2：语音可以自己配置就是用GPT本地API】

【xiaozhi赎回之路-2：语音可以自己配置就是用GPT本地API】

固件作用 打通了网络和硬件的沟通 修改固件实现【改变连接到小智服务器的】 回答逻辑LLM自定义 自定义了Coze&#xff08;比较高级&#xff0c;自定义程度比较高&#xff0c;包括知识库&#xff0c;虚拟脚色-恋人-雅思老师-娃娃玩具{可能需要使用显卡对开源模型进行微调-产…
阅读更多...
蓝桥杯——嵌入式学习日记

蓝桥杯——嵌入式学习日记

因为lED和LCD共用PC8~PC15引脚&#xff0c;要通过锁存&#xff08;LE&#xff09;和&#xff08;GPIOC->ODR&#xff09;来避免LED和LCD引脚冲突 修改点: main.c中&#xff0c;GPIO初始化引脚后&#xff0c;LE&#xff08;PD2引脚低电平锁存&#xff0c;退出透明模式&…
阅读更多...
Liunx系统Microsoft SQL Server数据库还原

Liunx系统Microsoft SQL Server数据库还原

1.确认Linux系统已安装SQLServer服务并启动 2.在Windows中使用SSMS连接原数据库与Linux远程数据库服务 3.备份 成功备份如下 4.上传bak文件到远程Linux服务器 登陆Linux服务并创建数据库文件夹 退出Linux服务
阅读更多...
【学习资源】多元时序分析问题和时序图模型

【学习资源】多元时序分析问题和时序图模型

工业数据分析领域中&#xff0c;多元时序数据分析是一个广泛的问题。今天和大家简单介绍多元时序预测、聚类、分类、时序图模型和相应的深度学习库。 图片来源&#xff1a;https://www.researchgate.net/publication/349207209_Multivariate_Time-Series_Anomaly_Detection_via…
阅读更多...
QT二 QT使用generate form 生成常用UI，各种UI控件

QT二 QT使用generate form 生成常用UI，各种UI控件

一 。没有使用general form 和 使用 general form 后&#xff0c;file层面和代码层面的不同比较 file层面的不同 代码层面的不同&#xff0c; 在 使用了general form之后&#xff0c;在主界面的构造方法中&#xff0c;使用ui->setupUi(this),就完成了所有UI的处理。 而之…
阅读更多...
Haption力反馈遥操作机器人：6自由度高精度技术，定义远程操作新标准

Haption力反馈遥操作机器人：6自由度高精度技术，定义远程操作新标准

Haption在力反馈遥操作机器人技术领域展现了强大的创新能力。其核心技术——力反馈技术&#xff0c;通过提供高度逼真的触觉反馈&#xff0c;显著提升了远程操作的精确性与用户体验。这种技术在工业、医疗等高要求场景中表现出色&#xff0c;同时也为科研和教育领域提供了有力支…
阅读更多...
魔塔社区的torch_empty错误问题的解决办法

魔塔社区的torch_empty错误问题的解决办法

前言 我在运行魔塔社区&#xff08;modelscope&#xff09;的ZhipuAI/chatglm3-6b模型&#xff08;智谱&#xff09;的实例程序的时候&#xff0c;碰到了一个奇怪的错误&#xff08;torch.empty&#xff09;&#xff0c;我尝试解决了一下。 &#xff08;当前采用的Python版本…
阅读更多...
全面了解 Cookies、Session 和 Token

全面了解 Cookies、Session 和 Token

&#x1f9d1; 博主简介&#xff1a;CSDN博客专家&#xff0c;历代文学网&#xff08;PC端可以访问&#xff1a;https://literature.sinhy.com/#/literature?__c1000&#xff0c;移动端可微信小程序搜索“历代文学”&#xff09;总架构师&#xff0c;15年工作经验&#xff0c;…
阅读更多...
51c自动驾驶~合集26

51c自动驾驶~合集26

我自己的原文哦~ https://blog.51cto.com/whaosoft/11968755 #大模型/Sora/世界模型之间是什么关系 1 什么是大模型 人工智能大模型&#xff08;Artificial Intelligence Large Model&#xff0c;简称AI大模型&#xff09;是指具有庞大的参数规模和复杂程度的机器学习模…
阅读更多...
分布式环境下的重复请求防护：非Redis锁替代方案全解析

分布式环境下的重复请求防护：非Redis锁替代方案全解析

目录 引言 方案一&#xff1a;前端防护策略 方案二&#xff1a;后端协同控制 方案三&#xff1a;流量控制与过滤 滑动窗口限流 布隆过滤器 方案四&#xff1a;基于框架的实践方案 多层防护策略与最佳实践 总结 引言 在Web应用开发中&#xff0c;防止用户重复点…
阅读更多...
4.1 C#获取目录的3个方法的区别

4.1 C#获取目录的3个方法的区别

C#中常用有如下3个获取目录的方式如下 1.Directory.GetCurrentDirectory():获取当前工作目录&#xff0c;工作目录可能被用户或其他代码修改。尽量少用。&#xff08;似乎只要在运行中使用另存为或者打开某个文件夹&#xff0c;当前工作目录就修改&#xff09; 2.Application…
阅读更多...
【漏洞复现】Next.js中间件权限绕过漏洞 CVE-2025-29927

【漏洞复现】Next.js中间件权限绕过漏洞 CVE-2025-29927

什么是Next.js&#xff1f; Next.js 是由 Vercel 开发的基于 React 的现代 Web 应用框架&#xff0c;具备前后端一体的开发能力&#xff0c;广泛用于开发 Server-side Rendering (SSR) 和静态站点生成&#xff08;SSG&#xff09;项目。Next.js 支持传统的 Node.js 模式和基于边…
阅读更多...
MCU-芯片时钟与总线和定时器关系，举例QSPI

MCU-芯片时钟与总线和定时器关系，举例QSPI

时钟源&#xff1a; 时钟源为系统时钟提供原始频率信号&#xff0c;系统时钟则通过&#xff08;分频、倍频、选择器&#xff09;成为整个芯片的“主时钟”&#xff0c;驱动 CPU 内核、总线&#xff08;AHB、APB&#xff09;及外设的运行。 内部时钟源&#xff1a; HSI&#x…
阅读更多...
使用 ByteDance 的 UI-TARS Desktop 探索 AI 驱动的 GUI 自动化新前沿

使用 ByteDance 的 UI-TARS Desktop 探索 AI 驱动的 GUI 自动化新前沿

文章目录 UI-TARS Desktop 是什么&#xff1f;技术亮点应用场景如何快速上手&#xff1f;与其他技术的对比未来展望结语 随着人工智能技术的快速发展&#xff0c;AI 正在从单纯的文本生成和图像识别迈向更复杂的交互场景。ByteDance 近期推出的 UI-TARS Desktop&#xff08;基于…
阅读更多...
DockerFile制作镜像（Dockerfile Creates an Image）

DockerFile制作镜像（Dockerfile Creates an Image）

DockerFile制作镜像 hub.docker.com 搜索到的 Redis官方镜像&#xff0c;提示我们可以创建自己的 DockerFile 来添加 redis.conf 文件&#xff1a; 于是&#xff0c;我准备进行首次 DockerFile 的制作尝试。 一、准备工作 1.1 下载 redis.conf 我的方案是从 GitHub 上下载 …
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023