【图像识别】Swin Transformer

一、引言

论文: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
作者: Microsoft Research Asia
代码: Swin Transformer
特点: 提出滑动窗口自注意力 (Shifted Window based Self-Attention) 解决Vision Transformer输入高分辨率图像注意力模块计算复杂度高的问题。

二、框架

Swin Transformer的整体框架图如下:

可见,Swin Transformer主要包括Patch Partition+Linear Embedding、Swin Transformer Block、Patch Merging几个组件。每经历一个Stage特征图都会缩小2倍、通道数放大2倍,这与ResNet网络的特征尺度变化过程很类似。

Swin Transformer Block的最小单位为上图右侧两个连续的Block,两个Block的差别仅在于注意力模块是窗口多头自注意力 (W-MSA) 还是滑动窗口多头自注意力 (SW-MSA)。所以每个Stage中包含的Block数量都是2的整数倍。

2.1 Patch Partition+Linear Embedding

Patch Partition是要将图像拆分成多个 4 ∗ 4 ∗ 3 4*4*3 443大小的Patch(4*4是每个Patch包含的像素点数,3是原始图像通道数),如下图所示:

之后将每个Patch按行展平,于是每个Patch形成一个 1 ∗ 1 ∗ 48 1*1*48 1148的像素点。 48 = 4 ∗ 4 ∗ 3 48=4*4*3 48=443,原本一个像素点通道数为3,一个Patch有 4 ∗ 4 4*4 44个像素点,所以展平后一个Patch变成一个通道数为48的像素点。所有Patch展平后按原位置拼接则形成 H 4 ∗ W 4 ∗ 48 \frac{H}{4}*\frac{W}{4}*48 4H4W48的特征图。

通过Linear Embedding(例如核为 1 ∗ 1 1*1 11的2D卷积)将通道数从48映射到 C C C(原文中 C = 96 C=96 C=96)。最后通过LayerNorm将所有通道数为 C C C的像素点归一化。

上图为一个Patch上16个像素点的Patch Partition+Linear Embedding过程(图中一个小方格代表一个有3个通道的像素点, c = C 3 c=\frac{C}{3} c=3C)。

事实上,Patch Partition+Linear Embedding就是要将图像尺寸从 H ∗ W ∗ 3 H*W*3 HW3转换为 H 4 ∗ W 4 ∗ C \frac{H}{4}*\frac{W}{4}*C 4H4WC 与Vision Transformer取Patch时采取的策略一致,Swin Transformer并没有分两步完成该操作,而是通过一个卷积核大小为 4 ∗ 4 4*4 44、步长为4、输出通道数为96的2D卷积层进行特征提取,再通过LayerNorm对所有token进行归一化(一个token对应 H 4 ∗ W 4 ∗ C \frac{H}{4}*\frac{W}{4}*C 4H4WC的特征图中的一个像素点)。

2.2 Swin Transformer Block

下图为Vision Transformer(左)和Swin Transformer(右)中Block的结构图:

其中,Swin Transformer中也有DropPath但是没有画出来,并且他们的MLP模块均为如下结构:

可见,两者结构基本一致,主要区别如下:
(1) Vision Transformer的每一个Block都一样,而Swin Transformer中两个不同的Block是一个基本单位,两个Block顺序连接,不会单独出现。
(2) Vision Transformer使用多头自注意力,而Swin Transformer中两个Block注意力模块不同,前一个使用窗口多头自注意力,后一个使用滑动窗口多头自注意力。
(3) Vision Transformer使用绝对位置编码,而Swin Transformer使用相对位置编码。

所以我们下面主要介绍窗口多头自注意力和滑动窗口多头自注意力,其余部分请参考我关于Vision Transformer的博客。

2.2.1 窗口多头自注意力

引入窗口多头自注意力 (W-MSA) 是为了减少计算复杂度。

如下为多头自注意力 (MSA) 与窗口多头自注意力的窗口划分方法:

多头自注意力不对特征图进行划分,左图中共16个像素点(也叫token),每个像素点作为query时都要与所有像素点进行自注意力计算。而窗口多头自注意力会先将特征图拆分为一个个窗口(右图中窗口高宽为 2 ∗ 2 2*2 22),然后在每个窗口内部单独进行自注意力计算。

两者的计算复杂度如下:

其中, h h h为特征图高度, w w w为特征图宽度, C C C为特征图通道数, M M M为每个窗口的大小;自注意力的计算是以特征图或窗口上的token为单位的,所以未被拆分的特征图中应包含 h w hw hw个长度为 C C C的token。该计算复杂度不包括除以 d k \sqrt{d_k} dk 和SoftMax产生的计算量。

在讲解两者计算复杂度推导过程前,我们需要明确两个矩阵相乘所产生的计算量,如果 A A A矩阵高宽为 a ∗ b a*b ab B B B矩阵高宽为 b ∗ c b*c bc,则 A ⋅ B A\cdot B AB的计算量为 a ∗ b ∗ c a*b*c abc

下图实线部分为单头自注意力的计算过程:

其中,黑色字体为当前矩阵含义,红色字体为当前矩阵高宽,绿色和橙色字体为当前运算复杂度。多头自注意力在通道上对token的拆分不会影响计算复杂度,所以除最后将 A ⋅ V A\cdot V AV通过 W o W_o Wo映射为输出时产生的计算复杂度(上图右侧虚线部分),其余与单头自注意力计算复杂度相同。于是,我们可以得到多头自注意力的计算复杂度为 4 h w C 2 + 2 ( h w ) 2 C 4hwC^2+2(hw)^2C 4hwC2+2(hw)2C

对于窗口多头自注意力,特征图大小为 h ∗ w h*w hw,窗口大小为 M ∗ M M*M MM时,则从特征图上可拆分出 h M ∗ w M \frac{h}{M}*\frac{w}{M} MhMw个窗口。每个窗口单独执行多头自注意力产生计算复杂度为 4 M 2 C 2 + 2 M 4 C 4M^2C^2+2M^4C 4M2C2+2M4C。则 h M ∗ w M \frac{h}{M}*\frac{w}{M} MhMw个窗口的总计算复杂度为 4 h w C 2 + 2 M 2 h w C = h M ∗ w M ∗ ( 4 M 2 C 2 + 2 M 4 C ) 4hwC^2+2M^2hwC=\frac{h}{M}*\frac{w}{M}*(4M^2C^2+2M^4C) 4hwC2+2M2hwC=MhMw(4M2C2+2M4C)

两者计算复杂度差别在后半部分,以原文中的参数 h = 56 , w = 56 , C = 96 , M = 7 h=56,w=56,C=96,M=7 h=56,w=56,C=96,M=7为例,多头自注意力后半部分计算复杂度为 2 ( h w ) 2 C = 2 ( 56 ∗ 56 ) 2 ∗ 96 = 1888223232 2(hw)^2C=2(56*56)^2*96=1888223232 2(hw)2C=2(5656)296=1888223232,窗口多头自注意力后半部分的计算复杂度为 2 M 2 h w C = 2 ∗ 7 2 ∗ 56 ∗ 56 ∗ 96 = 29503488 2M^2hwC=2*7^2*56*56*96=29503488 2M2hwC=272565696=29503488。两者相差64倍。

此外,Swin Transformer使用相对位置编码来避免注意力运算未考虑token顺序的问题。与绝对位置编码直接加在输入特征图上不同,相对位置编码以偏执形式存在参与注意力权重的计算,其公式如下:
A t t e n t i o n ( Q , K , V ) = S o f t M a x ( Q K T d k + B ) V Attention(Q,K,V)=SoftMax(\frac{QK^T}{\sqrt{d_k}}+B)V Attention(Q,K,V)=SoftMax(dk QKT+B)V

详情请参考我关于绝对位置编码和相对位置编码的博客。

2.2.2 滑动窗口多头自注意力

采用窗口多头自注意力时,每个窗口都是独立的,会导致窗口间的相关信息无法被捕捉。例如一个目标处于多个窗口上,窗口独立进行注意力计算就导致该目标各个部分的相关信息无法被考虑。Swin Transformer引入滑动窗口来解决这一问题。

2.2.2.1 窗口滑动

对于 M ∗ M M*M MM的窗口,滑动方向为右下,向右移动 ⌊ M 2 ⌋ \lfloor\frac{M}{2}\rfloor 2M个像素点,向下移动 ⌊ M 2 ⌋ \lfloor\frac{M}{2}\rfloor 2M个像素点。

下图是窗口高宽为 4 ∗ 4 4*4 44时窗口滑动前后的窗口分割情况(因为是向右下滑动,所以我在图中增加了左上方的窗口):

可见,经滑动之后的窗口中可能包含滑动前多个窗口的内容。例如,滑动后的中心窗口就包含滑动前的4个窗口中的内容。该操作从一定程度上缓解了相关信息完全丢失的问题。

2.2.2.2 窗口移位与掩码

不过,滑动后各个窗口大小不一,只有在padding后才能组成tensor进行并行运算。以上图为例,原本只有4个 4 ∗ 4 4*4 44的窗口,padding后会产生9个 4 ∗ 4 4*4 44的窗口,这无疑增加了很多计算负担。Swin Transformer通过移位和掩码解决了该问题。

移位流程如下:

可见, A , B , C A,B,C A,B,C均为左上方新增窗口向右下滑动时产生的窗口,因此 A , C A,C A,C的高度为 ⌊ M 2 ⌋ \lfloor\frac{M}{2}\rfloor 2M A , B A,B A,B的宽度为 ⌊ M 2 ⌋ \lfloor\frac{M}{2}\rfloor 2M C C C的宽度为 w − ⌊ M 2 ⌋ w-\lfloor\frac{M}{2}\rfloor w2M B B B的高度为 h − ⌊ M 2 ⌋ h-\lfloor\frac{M}{2}\rfloor h2M

这样,所有新的窗口大小都是统一的 M ∗ M M*M MM但是这引入了另一个问题,同一窗口内包括原本不应相互计算注意力的内容。 例如上图中的右下角窗口,同时包含 A , B , C , D A,B,C,D A,B,C,D四个部分的内容,但 A A A原本在左上角,与 B B B的下侧、 C C C的右侧、 D D D的右下侧一般是没有联系的。就像一张仅包含天空和草地的图片, A , C A,C A,C是天空, B , D B,D B,D是草地, A A A不必与 B , D B,D B,D进行注意力计算。

于是Swin Transformer又引入了掩码。首先给移位后的各个窗口一个编号,如下图:

然后给每个窗口每个像素点一个掩码矩阵,如下图(以右下角窗口中两个像素点为例):

掩码矩阵中仅有两种值,0和-100。与查询像素点属于同一编号的像素点对应掩码为0,否则为-100。窗口注意力会计算每个像素点与所有像素点间的相似度,所以窗口中有几个像素点就有几个掩码矩阵,每个掩码矩阵都与窗口大小一致。

这个掩码矩阵像相对位置偏执一样被施加在注意力计算相似度的公式中,如下:
A t t e n t i o n ( Q , K , V ) = S o f t M a x ( Q K T d k + B + M a s k ) V Attention(Q,K,V)=SoftMax(\frac{QK^T}{\sqrt{d_k}}+B+Mask)V Attention(Q,K,V)=SoftMax(dk QKT+B+Mask)V

我们不考虑相对位置偏执 B B B,相似度 Q K T d k \frac{QK^T}{\sqrt{d_k}} dk QKT+掩码 M a s k Mask Mask经SoftMax产生效果如下:

可见,对于橙色框中像素点来说,同编号的像素点与其的相似度没有被改变,其它像素点相似度被减去100。因相似度矩阵中的值都比较小,减去100相当于变成一个很小的数,经SoftMax后其值接近于0。

在各个窗口上计算完多头自注意力后,按照之前移位流程逆向复原,滑动窗口多头自注意力就完成了。

综上,移位操作使并行运算成为可能,掩码操作使注意力计算不跨窗口。

2.3 Patch Merging

Swin Transformer Block不改变特征图尺寸,Patch Merging起到使特征图缩小2倍、通道数放大2倍的作用。

以大小为 4 ∗ 4 4*4 44、单通道的特征图为例,Patch Merging的过程如下图:

无论特征图是多大,Patch Merging时Patch的高宽均为 2 ∗ 2 2*2 22。截取各Patch同相对位置的像素点,之后将截取结果拼接到一起形成新的特征图。假设原特征图为 [ H , W , C ] [H,W,C] [H,W,C],则中间特征图为 [ H 2 , W 2 , 4 C ] [\frac{H}{2},\frac{W}{2},4C] [2H,2W,4C] 之后对中间特征图每个像素点所有通道分别执行归一化,并经过一次全连接线性映射将每个像素点的通道数减半。最后特征图为 [ H 2 , W 2 , 2 C ] [\frac{H}{2},\frac{W}{2},2C] [2H,2W,2C]

致谢:

本博客仅做记录使用,无任何商业用途,参考内容如下:
Swin-Transformer中MSA和W-MSA模块计算复杂度推导
Swin Transformer论文精读【论文精读】
Swin-Transformer网络结构详解

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/323471.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【3D基础】坐标转换——地理坐标投影到平面

汤国安版GIS原理第二章重点 1.常见投影方式 https://download.csdn.net/blog/column/9283203/83387473 Web Mercator投影(Web Mercator Projection): 优点: 在 Web 地图中广泛使用,易于显示并与在线地图服务集成。在…

java.net.SocketInputStream.socketRead0 卡死导致 tomcat 线程池打满的问题

0 TL;DR; 问题与原因:某些特定条件下 java.net.SocketInputStream.socketRead0 方法会卡死,导致运行线程一直被占用导致泄露采用的方案:使用监控线程异步监控卡死事件,如果发生直接关闭网络连接释放链接以及对应的线程 1. 问题 …

Burp Suite 抓包,浏览器提示有软件正在阻止Firefox安全地连接到此网站

问题现象 有软件正在阻止Firefox安全地连接到此网站 解决办法 没有安装证书,在浏览器里面安装bp的证书就可以了 参考:教程合集 《H01-启动和激活Burp.docx》——第5步

WhisperCLI-本地部署语音识别系统;Mis开源LLM推理平台;Dokploy-开源版Vercel;Mem-大规模知识图谱

1. Whisper-cli:可本地部署的开源语音识别系统 近日,Ruff的开发团队发布了一款名为Whisper cpp cli的全新语音识别系统,该系统已在GitHub Repo上开源。这是一款完全自主研发的语音转文字系统,基于Whisper技术构建。Ruff团队一直以…

Istio基础知识

一、什么是Istio Istio 提供⼀种简单的⽅式来为已部署的服务建⽴⽹络,该⽹络具有 负载均衡、服务间认证、监控等功能,只需要对服务的代码进⾏⼀点或不需要做任何改动。想要让服务⽀持 Istio,只需要在您的环境中部署⼀个特殊的 sidecar 代 理&…

netsh命令

netsh是本地或远程计算机Windows 2000网络组件的命令行和脚本实用程序。为了存档或配置其他服务器,netsh实用程序也可将配置脚本保存在文本文件中。netsh实用程序是一个外壳,通过附加的“netsh帮助DLL”可支持多个Windows 2000组件。 有两种方式可以运行…

从 Servlet 到 DispatcherServlet(SpringMvc 容器的创建)

DispatcherServlet 的继承体系 SpringMvc 是一个具有 Spring 容器(ApplicationContext)的 Servlet。其中,HttpServlet 属于 JDK 的内容,从 HttpServletBean 开始,便属于 Spring 体系中的内容。 HttpServletBean&…

unity制作app(5)--发送数据给数据库

这个之前做过,先不做照片的。下一节再做带照片的。 第一步 收集数据 1.先做一个AppModel结构体,这个结构体需要单做的。 using System; using System.Collections.Generic; using System.Linq; using System.Text; //using Assets.Model; public clas…

Unity 性能优化之GPU Instancing(五)

提示:仅供参考,有误之处,麻烦大佬指出,不胜感激! 文章目录 前言一、GPU Instancing使用方法二、使用GPU Instancing的条件三、GPU Instancing弊端四、注意五、检查是否成功总结 前言 GPU Instancing也是一种Draw call…

探索C++的string:从基础到深入

文章目录 string类string类的接口string的常见构造string类对象的容量操作string类的遍历及访问操作string类对象的修改操作string类的非成员函数 总结 string类 C中的string类是一个非常重要的字符串处理工具,它提供了一种方便且灵活的方式来处理字符串。它位于标…

影响视频视觉质量的因素——各类视觉伪影

模糊效应(Blurring Artifact) 图像模糊(blurring):平滑图像的细节和边缘产生的现象,模糊对于图像来说,是一个低通滤波器(low-pass filter)。一般而言,用户更…

炒美股怎么开户?

近年来,随着国内投资者对境外投资需求的不断增长,炒美股逐渐成为许多投资者的选择。然而,随着监管政策的不断完善,传统的互联网券商开户方式已经不再适用。那么,对于想要入场美股市场的投资者来说,该如何开…

2. Linux 基本指令(上)|ls|pwd|cd|tree|touch|mkdir|rmdir|rm

前言 计算机软硬件体系结构 层状结构应用软件Word,Matlab操作系统Windows,Linux设备驱动声卡驱动硬件CPU,内存,磁盘,显示器,键盘 操作系统概念 操作系统 是一款进行软硬件资源管理的软件 例子 比如在学…

vue2实现右键菜单功能——vue-diy-rightmenu——基础积累

五一之前遇到一个需求,就是关于要实现自定义右键菜单的功能,普通的右键展示的菜单有【返回/前进/重新加载/另存为】等,希望实现的效果就是右键出现自定义的菜单,比如【编辑/删除/新增】等。 遇到这种的需求,可以直接去…

光伏设备制造5G智能工厂数字孪生可视化平台,推进行业数字化转型

光伏设备制造5G智能工厂数字孪生可视化平台,推进行业数字化转型。光伏设备制造5G智能工厂数字孪生可视化平台是光伏行业数字化转型的重要一环。通过数字孪生平台,光伏设备制造企业可以实现对生产过程的全面监控和智能管理,提高生产效率&#…

C++ | Leetcode C++题解之第77题组合

题目&#xff1a; 题解&#xff1a; class Solution { public:vector<int> temp;vector<vector<int>> ans;vector<vector<int>> combine(int n, int k) {// 初始化// 将 temp 中 [0, k - 1] 每个位置 i 设置为 i 1&#xff0c;即 [0, k - 1] 存…

软件测试行业的变革与自我成长

随着科技的不断进步和市场的快速变化&#xff0c;软件测试行业也迎来了前所未有的变革。近期&#xff0c;一些大型互联网公司如阿里Lazada、字节跳动等纷纷宣布裁员计划&#xff0c;让不少软件测试从业者感受到了前所未有的压力与焦虑。面对这样的行业现状&#xff0c;我们不禁…

1707jsp电影视频网站系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 JSP 校园商城派送系统 是一套完善的web设计系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统采用web模式&#xff0c;系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开发&#xff0c;数…

Web安全研究(七)

NDSS 2023 开源地址&#xff1a;https://github.com/bfpmeasurementgithub/browser-fingeprint-measurement 霍普金斯大学 文章结构 introbackground threat model measurement methodology step1: traffic analysisstep2: fingerprint analysis dataset attack statisticsbro…

当CV遇上transformer(二)MAE模型及源码分析

当CV遇上transformer(二)MAE模型 2020年10月&#xff0c;Dosovitskiy首次将纯Transformer的网络结构应用于图像分类任务中(ViT)&#xff0c;并取得了当时最优的分类效果&#xff0c;其研究成果是Transformer完全替代标准卷积的首次尝试。大神何恺明在2021年11月基于(ViT)架构&…