Attention机制理解笔记
- 声明
- Attention分类(主要SA和CA)
- spitial attention
- channel attention
- SA + CA(spitial attention+channel attention)
- 加强SA+CA理解
- 空间注意力机制和通道注意力机制解释
- attention机制
- Attention模型架构
- 1.空间注意力模型(spatial attention)
- 2.通道注意力机制
- 3.空间和通道注意力机制的融合
- CBAM 和 BAM
- BLOG1的笔记
- 重点及总结
- BLOG2
- 重点看下这篇文章
- BAM 具体结构
声明
全文内容均来以下作者博客,我仅是在此基础上作笔记。
Attention分类(主要SA和CA)
来自 Mr DaYang 的 blog笔记
- soft attention(包括空间注意力、通道注意力)软注意学习的目的是选择细粒度的重要像素点,它们是pixel级。
- hard attention( local 注意力) 硬注意学习则致力于搜索粗糙的潜在判别区域,它们是region级。
来自 Mr DaYang 的 blog 里面的图片
spitial attention
一般来说对于同一像素点不同通道求均值(NxCxHxW---->Nx1xHxW),再经过一些卷积和上采样的运算得到spitial attention mask,空间特征每层的像素点就被赋予不同的权重(一句话来说这是针对 N C H W 的每个C 的 H W 的赋予权重,这就叫做spitial attention)
channel attention
一句话来说就是== 针对 N C H W 的 每个 C 赋予权重,这就叫做 channel atteion== (N C H W----> N C 1 1)
SA + CA(spitial attention+channel attention)
SA + CA 的使用有 BAM CBAM 两种代码方式,简单来说,spitial attention 矩阵 与 channel attention 矩阵相乘得到 SA+CA的效果。
加强SA+CA理解
来自 Mr DaYang 的 blog 里面的图片
空间注意力机制和通道注意力机制解释
来自vodka、的blog笔记
attention机制
Attention模型架构
1.空间注意力模型(spatial attention)
2.通道注意力机制
3.空间和通道注意力机制的融合
CBAM 和 BAM
CBAM 和 BAM
CBAM 和 BAM
参考知乎作者 图像博士的橘猫上 的CBAM 和 BAM
BLOG1的笔记
重点及总结
1.加入CBAM的额外开销忽略不计,这点我测试过。
2.通道注意力的模块放在空间注意力模块之前
3.如何还原经过通道CAM和SAM的特征图的,通过与原来特征图的相乘得到。
BLOG2
重点看下这篇文章
注意力机制BAM和CBAM详细解析(附代码)(提供了代码链接)
BAM 具体结构
空洞卷积