遥感领域新方向!Mamba+RS论文汇总!

本文总结了将Mamba应用至遥感领域的相关论文(14篇),涉及到的论文见文末链接,具体如下:

文章目录

    • 1. 遥感图像处理
    • 2. 多/高光谱图像分类
    • 3. 变化检测/语义分割
    • 4. 遥感图像融合/超分辨率

1. 遥感图像处理

  • 论文题目:Pan-Mamba: Effective pan-sharpening with State Space Model
  • 论文链接:https://arxiv.org/pdf/2402.12192

**【主要内容】:**将mamba应用到Pan-sharpening中提出Pan-Mamba,提出了两个核心模块:

  • Channel Swapping Mamba Block:通过部分全色和多光谱通道的交换启动轻量级的跨模态交互
  • Cross modality Mamba Block:通过利用固有的跨模态关系增强信息表示能力

  • 论文题目:HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising
  • 论文链接:https://arxiv.org/pdf/2404.09697

【主要内容】:将Mamba应用到高光谱成像(HSI)去噪中提出了HSIDMamba(HSDM),主要模块如上图所示:模块关系如下:

Spectral Attention ⊆ Bidirectional State Space Module ⊆ Hyper Continuous Scan Block

  • Spectral Attention:见图中©,由平均池化、二维卷积等组成的注意力模块
  • Bidirectional State Space Module:见图中(b),由DWConvSS2D等模块组成
  • Hyper Continuous Scan Block:将上面两个模块结合残差连接和transformer结构组成。

2. 多/高光谱图像分类

  • 论文题目:RSMamba: Remote Sensing Image Classification with State Space Model
  • 论文链接:https://arxiv.org/pdf/2403.19654

【主要内容】:将Mamba直接应用到遥感图像分类任务上,由于Mamba模型处理1D数据,而遥感图像往往至少2D,因此提出了一种动态多路径激活机制(Multi-Path SSM Encoder)来增强 Mamba 对非因果数据的建模能力。

  • **Multi-Path SSM Encoder:**总体上来看先用卷积提取遥感图像特征,flatten后加入position encoding。(有点类似于vit中的patch embedding

  • 论文题目:SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
  • 论文链接:https://arxiv.org/pdf/2404.08489

【主要内容】:将Mamba应用至高光谱图像分类中提出SpectralMamba。包括三个核心模块:

  • **Piece-wise Sequential Scanning(PSS):**沿光谱维度的分段顺序扫描(与空间维度相区分)
  • **Gated Spatial-Spectral Merging(GSSM):**用门控机制,把空间维度和光谱维度特征融合
  • **Efficient Selective State Space Modeling:**状态空间模型

根据Fig3具体流程如下:

  • 先把高光谱影像分块,得到patch wise input后通过卷积、残差连接等模块把空间维度的特征融合(图像分类,消除空间维度)
  • 经过PSS模块丰富通道信息,进而通过GSSM模块和S6模块融合特征
  • 最终通过一个MLP进行图像分类

  • 论文题目:Spectral-Spatial Mamba for Hyperspectral Image Classification
  • 论文链接:https://arxiv.org/pdf/2404.18401

【主要内容】:用于高光谱图像(HSI)分类,提出SS-Mamba(两个S分别表示Spectral和Spatial)。根据上图结构可知主要流程如下:

  • (1)把输入影像在Spectral和Spatial两个维度上分块,同时加上position encoding(类似于VIT中对图像进行patch embedding,针对的维度不同)
  • (2)将上述特征分别通过两个Mamba Block,利用Addition、Copy、Activation以及Linear Layer等操作进行特征融合。
  • (3)求平均后接一个Linear Classifier(例如MLP)

其中关键在于(1)分块和(2)特征融合


  • 论文题目:S2Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification
  • 论文链接:https://arxiv.org/pdf/2404.18213

【主要内容】:用于高光谱图像(HSI)分类,提出SS-Mamba。由图中Main Framework可知,主要有三个模块:

  • PCS(Patch Cross Scanning Mechanism):通道扫描、生成patch embedding,得到空间维度特征
  • BSS(Bi-directional Spectral Scanning Mechanism):生成路径,匹配光谱,得到光谱维度特征
  • SMG(Spatial-spectral Mixture Gate):利用门控机制融合两种特征

3. 变化检测/语义分割

  • 论文题目:ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.03425

【主要内容】:将Mamba用于遥感图像变化检测,提出ChangeMamba,为三个变化检测任务提供了丰富的编码器和解码器。模型架构图有点类似于Swin Transformer的4个Stage,充分贯彻多尺度特征融合,工作量饱满,建议阅读原文。


  • 论文题目:RSCaMa: Remote Sensing Image Change Captioning with State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.18895

【主要内容】:将Mamba用于遥感图像变化检测,提出RSCaMa。模型通过多个CaMa层实现了高效的联合空间-时间建模,其中CaMa层中包含SD-SSM和TT-SSM。利用Mamba状态空间模型的全局感知场和线性复杂度对空间、时间特征交叉建模

  • SD-SSM:Spatial Difference-aware:空间维度上建模
  • TT-SSM:Temporal-Traversing:时间维度上建模

  • 论文题目:Samba: Semantic Segmentation of Remotely Sensed Images with State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.01705

【主要内容】:将Mamba应用至高分辨率遥感图像分割领域,提出Samba。由图可知主要创新在于Samba Block

  • Samba Block:由一个MLP和一个Mamba Block,并各自采用残差连接组成。
  • Mamba Block:由SSM和Conv、Linear等模块组成。

  • 论文题目:RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation
  • 论文链接:https://arxiv.org/pdf/2404.02457

【主要内容】:将Mamba用于遥感图像变化检测,提出RS3Mamba。由图可知模型采用一个Main Encoder和一个Auxiliary Encoder,Decoder采用UNetformer中的解码器。主要创新点在于Auxiliary Encoder中的VSS block和Main Encoder中的CCM

  • VSS block:常规的Linear、LayerNorm以及SS2D(2D-selective-scan)
  • CCM:用Window-based attention提取全局注意力特征,用卷积提取局部注意力特征,然后将两者融合。

  • 论文题目:RS-Mamba for Large Remote Sensing Image Dense Prediction
  • 论文链接:https://arxiv.org/pdf/2404.02668

【主要内容】:将Mamba应用至遥感图像分割和变化检测中,提出RSM-SS和RSM-CD。由图可知主要为包含OSSM的OSS Block

  • OSSM:将图像分块后按照8个方向排序,分别送入SSM Block提取特征然后融合
  • OSS Block:OSSM 联合 DW卷积、Linear等模块一起组成OSS Block

4. 遥感图像融合/超分辨率

  • 论文题目:FusionMamba: Efficient Image Fusion with State Space Model
  • 论文链接:https://arxiv.org/pdf/2404.07932

【主要内容】:将Mamba应用于遥感图像融合中,提出U形结构的 spatial U-Netspectral U-Net。由图可知,其中主要用到的模块是Mamba Block和FusionMamba Block

  • Mamba Block:并联多个SSM处理特征,同样经过一个残差连接融合特征
  • FusionMamba Block:两个并行的多FSSM处理特征,其中FSSM是将SSM扩展适应双输入。

  • 论文题目:A Novel State Space Model with Local Enhancement and State Sharing for Image Fusion
  • 论文链接:https://arxiv.org/pdf/2404.09293

【主要内容】:图像融合任务定制和改进了视觉Mamba网络。由图可知主要是LEVM模块(Local-Enhanced vision Mamba),具体如下

  • a):用local window将影像分块,每一个块内采用VMamba模块,同时块间共享信息
  • b):常规SS2D、Linear、FFN等模块组成VMamba
  • c):将window内的局部信息和window间融合的全局信息串联+残差连接,构成LEVM block
  • d):将低、高分辨率影像分别通过多个LEVM Layer处理,结构类似于Unet

  • 论文题目:Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution
  • 论文链接:https://arxiv.org/pdf/2405.04964

【主要内容】:将Mamba应用至遥感图像(RSI)超分辨率(SR)中提出FMSR(频率辅助Mamba框架)。主要提出FMB模块,其中包含VSSM、HGM、FSM三个重要部分

  • VSSM:Vision State Space Module,基于SSM搭建的视觉SSM模块
  • HGM:Hybrid Gate Module,基于Attention,Linear,Conv等搭建的门控模块
  • FSM:Frequency Selection Module,基于2D快速傅里叶变换搭建的模块

近期将Mamba应用至遥感领域中的工作很多,做一点小结:

  • 遥感图像离不开多尺度,高光谱离不开通道维度上的特征处理
  • 把二维图像以某种形式转为一维序列让SSM来处理,很多工作都在扫描方式上进行了改进
  • 感觉Swin Transformer的窗口思路和Unet的结构在搭模型的时候要使用
  • 变化检测更多是2个时相,如果是多个时相的变化检测会不会可以更好的变换序列特征

论文pdf链接:https://pan.baidu.com/s/1rFn6pxTC5srOzmpeznyDag
提取码:o6aw

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/386779.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

6.3 面向对象技术-设计模式

设计模式 创建型模式 结构型模式 行为型模式 真题

配置本地开发服务器代理请求以及登录模块开发(二)

项目初始化完成之后,准备开始进行项目的开发,首先配置好开发环境作为整个项目的基础 一、配置代理 1、config/proxy.ts配置代理 export default {// 如果需要自定义本地开发服务器 请取消注释按需调整dev: {// localhost:8000/api/** -> https://p…

第07课 Scratch入门篇:水果音乐钢琴

水果音乐钢琴 入门篇适合新手,如您已经学过,可以忽略本节课! 一、故事背景: 在一个充满创意和想象的奇妙世界里,有一架与众不同的钢琴——水果音乐钢琴。这架钢琴的键盘不是由普通的黑白键组成,而是由各种…

http post请求 - 最简测试环境 - 使用flask

1.缘起 工作中,我们有时需要测试web post功能是否正常。这类测试,客户端的请求很容易实现,比如portman,比如非常简单的命令行curl语法: curl -X POST http://127.0.0.1:5000/post-endpoint/ -F "warning_image/p…

鸿蒙 HarmonyOS NEXT端云一体化开发-云数据库篇

一、概述 云数据库是一款基于对象模型的数据库,采用存储区、对象类型和对象三级结构。 数据模型 存储区 存储区是一个独立的数据存储区域,多个数据存储区之间相互独立,每个存储区拥有完全相同的对象类型定义 --类似于关系型数据库中的da…

一番赏小程序开发,为消费者带来更多新鲜体验

一番赏作为经典的潮玩方式,深受消费者的喜爱,一番赏还会与不同的热门IP合作,不断推出新的赏品,吸引众多粉丝。赏品的内容非常丰富,从手办、公仔玩具等,还设有隐藏款和最终赏商品,对玩家拥有着非…

哲学CSSCI南大核心期刊论文投稿推荐(含发表方向)

发表哲学方向的C刊论文,却在选刊上一直找不到合适的。本文介绍14本哲学CSSCI南大核心期刊名单,帮助您快速找到哲学类期刊! 哲学类CSSCI核心期刊推荐: 1、逻辑学研究 发表内容方向:符号逻辑、非形式逻辑、逻辑与哲学、…

Synchronized的锁升级过程是怎样的?

文章目录 一、Synchronized的使用1、修饰实例方法2、修饰静态方法3、修饰代码块4、总结: 二、Monitor1、Java对象头1.1 32 位虚拟机的对象头1.2 64位虚拟机的对象头 2、Mark Word 结构3、Moniter4、Synchronized 字节码5、轻量级锁6、锁膨胀7、自旋优化8、偏向锁9、…

命令行使用ADB,不用root,完美卸载小米预装软件

ADB安装与运行 install java 下载安装 注意选择JDK17以上版本 https://www.oracle.com/java/technologies/downloads/#jdk22-windows 选择中间的安装文件下载 编辑系统变量 C:\Program Files (x86)\Java\jdk-22 C:\Program Files (x86)\Java\jdk-22\bin 把C:\Progra…

K210视觉识别模块学习笔记7:多线程多模型编程识别

今日开始学习K210视觉识别模块: 图形化操作函数 亚博智能 K210视觉识别模块...... 固件库: canmv_yahboom_v2.1.1.bin 训练网站: 嘉楠开发者社区 今日学习使用多线程、多模型来识别各种物体 这里先提前说一下本文这次测试实验的结果吧:结果是不太成…

视频去水印免费电脑版 pdf压缩在线免费网页版 pdf压缩在线免费 简单工具软件详细方法步骤分享

消除视频中的恼人水印,是许多视频编辑爱好者的常见需求。在这篇文章中,我们将探讨几种视频去水印的技巧,在数字化时代,视频和图片的传播越来越方便,但随之而来的水印问题也让人头疼。本文将为您详细介绍视频剪辑去水印…

捕获会自动消失的消息提示弹窗

如上图,我们会在一些场景碰到会自动消失的消息提示弹窗,一般存在个3-5秒,我们在做UI断言时,需要监测这个弹窗是否会出现,就需要去捕获这个弹窗的位置 我们打开浏览器的开发者模式(F12),找到源码(Sources) …

探索 Redis 不同集群架构的性能与应用

1. 引言 Redis的集群配置成为了提高数据可靠性和服务可用性的关键。本文将带领大家了解Redis的四种主要集群架构,并重点分析哨兵模式和Redis Cluster架构和优势。 2. Redis的四种集群架构 2.1 单实例Redis 使用单个 Redis 实例提供服务。适用于小规模应用&#…

MiniExcel:.NET中处理Excel的高效方案

在.NET开发环境中,处理Excel文件是一项常见的任务,无论是数据导入、导出还是报表生成。传统的解决方案可能存在性能瓶颈或功能限制。MiniExcel作为一个现代、高效的库,为.NET开发者提供了一个强大的工具来简化Excel操作。本文将介绍MiniExcel…

爬虫程序在采集亚马逊站点数据时如何绕过验证码限制?

引言 在电商数据分析中,爬虫技术的应用日益广泛。通过爬虫技术,我们可以高效地获取大量的电商平台数据,这些数据对于市场分析、竞争情报、价格监控等有着极其重要的意义。亚马逊作为全球最大的电商平台之一,是数据采集的重要目标…

【技术升级】Docker环境下Nacos平滑升级攻略,安全配置一步到位

目前项目当中使用的Nacos版本为2.0.2,该版本可能存在一定的安全风险。软件的安全性是一个持续关注的问题,尤其是对于像Nacos这样的服务发现与配置管理平台,它在微服务架构中扮演着核心角色。随着新版本的发布,开发团队会修复已知的…

【解决】ubuntu20.04 root用户无法SSH登陆问题

Ubuntu root用户无法登录的问题通常可以通过修改‌SSH配置文件和系统登录配置来解决。 修改SSH配置文件 sudo vim /etc/ssh/sshd_config 找到 PermitRootLogin 设置,并将其值更改为 yes 以允许root用户通过SSH登录 保存并关闭文件之后,需要重启SSH服务…

【HarmonyOS】实现矩形上下拖动、动态拖拽修改高度

简介 实现一个矩形块上下拖动,并且可以拖动边缘定位点改变矩形块高度。实现效果如下: 代码 Entry Component struct Rec_Page {State penOffsetY: number 0;State offsetX: number 0State offsetY: number 0State positionX: number 0State posi…

Microsoft 官网免费下载安装正版官方增强版 office LSTC (长期支持版) 包含 visio , access

1.进入下方网址: https://www.microsoft.com/en-us/download/details.aspx?id49117 下载文件: officedeploymenttool_17126-20132.exe 现在看到下载链接可能失效了,但是下述步骤任然正确。需要下载文件的可以私信发送。 2.进入下方网址…