如何构建出更强大灵活的深度学习模型？或许我们可以考虑一个先进的方法：多尺度卷积+注意力机制。
多尺度卷积先提供丰富的特征信息，注意力机制再从中筛选出关键信息，这样结合起来，不仅可以进一步提高模型的识别精度和效率，显著提升模型性能，还可以增强模型的可解释性。比如新型CNN架构MPARN，通过引入注意力机制，实现了最高99.49%的故障诊断准确率。
因此这种结合在学术界与工业界都很热门，在图像分类、目标检测等任务中效果都特别好，创新空间很大。为帮助想发论文的同学，我挑选了10篇最新的多尺度卷积+注意力机制paper，创新思路简单提炼了一下，方便大家找灵感。
论文原文+开源代码需要的同学看文末
MPARN: multi-scale path attention residual network for fault diagnosis of rotating machines
方法：论文介绍了一种用于旋转机械故障诊断的多尺度卷积神经网络结构，称为多尺度路径注意力残差网络（MPARN）。这个结构通过结合多尺度卷积和注意力机制来提取不同时间尺度的特征，并增强特征的表示能力。
创新点：
-
提出了一种新型的卷积神经网络架构，通过多尺度扩张卷积层后采用路径注意力模块，为不同卷积路径提取的特征分配不同的权重，以此增强多尺度结构的特征表示能力。
-
在多尺度扩张卷积层之后引入了一种新的注意力机制，通过比较不同路径提取的通道之间的关系来计算每个卷积路径的权重，然后对通道进行加权，以突出重要路径的特征。
Multiscale attention networks for pavement defect detection
方法：论文提出了一种多尺度移动注意力网络（MANet）自动检测和识别路面缺陷，弥补传统手动方法的不足，以移动网络为骨干结合多尺度卷积与混合注意力机制，显著提高特征提取能力和缺陷识别准确性。
创新点：
-
引入多尺度卷积核替代传统的3×3卷积核，扩展网络的卷积感受野。
-
在网络中结合混合注意力机制，增强空间点的重要性和通道间依赖性特征。
-
针对样本不平衡问题，采用增强型焦点损失函数（EFL），提高了裂缝检测的准确性。
-
提出了一种新颖的端到端网络架构MANet，用于检测路面缺陷。
AGGN: Attention-based glioma grading network with multi-scale feature extraction and multi-modal information fusion
方法：作者结合了多尺度特征提取和注意力机制的方法，提高了模型在不同MRI模态下的特征提取能力和鲁棒性，以解决依赖手动标记数据的现有方法的不足，实现无需标签的有效胶质瘤分级。
创新点：
-
提出了AGGN模型，该模型在不依赖手动标记肿瘤掩码的情况下，依然能够实现优异的分级性能。
-
设计了双域注意力机制，能够同时考虑通道和空间信息，突出MRI特征图中的关键模态和位置。
-
通过多尺度特征提取模块和多模态信息融合模块，AGGN能够综合分析脑部MRI，提取具有强表征能力的区分性特征。
Multi-scale attention network for single image super-resolution
方法：论文提出了一种用于单图像超分辨率的多尺度注意力网络MAN。这个网络结合了传统的多尺度机制和新出现的大核注意力，特别是提出了多尺度大核注意力和门控空间注意力单元，广泛的实验验证了其优越性能。
创新点：
-
通过多尺度和门控机制改进大核注意力，能够在不同粒度水平上聚合全球和局部信息，避免潜在的阻塞伪影。
-
结合经典多尺度机制和新兴的大核注意力，优化了模型的性能和计算效率。
-
整合门控机制和空间注意力，去除不必要的线性层，聚合信息丰富的空间上下文。
-
结合MLKA和GSAU构建多尺度注意力网络，在超分辨率任务中取得了与SwinIR相当的性能。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“多尺度A”获取全部论文+开源代码
码字不易，欢迎大家点赞评论收藏
