【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果:ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测

01文章简介

论文名称The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery(ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测)

第一作者及通讯作者:Kai Tang;陈晋(教授)

第一作者及通讯作者单位:北京师范大学地理学部

文章发表期刊:《ISPRS Journal of Photogrammetry and Remote Sensing》(遥感领域顶级期刊&中科院1区Top期刊|最新影响因子:12.4)

期刊平均审稿速度:9个月(参考)

02 研究内容

1.文章摘要

        地球表面持续存在着众多人为和自然变化。高空间分辨率遥感图像在全球范围内准确揭示这些变化提供了独特的视角。利用高空间分辨率遥感图像进行语义变化检测(SCD)已成为在语义层面跟踪地表类型演变的常用技术。然而,现有的语义变化检测方法很少模拟语义与变化之间的依赖关系,导致检测复杂地表变化的精度不理想。针对这一局限性,该研究提出了一个多任务学习模型ClearSCD。该模型通过三个创新模块利用语义与变化之间的互利关系。第一个模块将不同时间的语义特征解释为表面类型的后验概率,以检测二元变化信息;第二个模块学习地表类型随时间变化与二元变化信息之间的相关性;第三个模块使用语义增强对比学习模块,以提高其他两个模块的性能。该研究在两个大型基准数据集(Hi-UCD mini和Hi-UCD)和一个真实应用场景(称为LsSCD)中测试了ClearSCD,结果表明ClearSCD在mIoUsc指标上比现有方法高出1.23% 至19.34%。此外,消融实验证明了三个新模块对性能提高的独特贡献。在不同变化场景下的高计算效率和强大性能表明ClearSCD是利用高空间分辨率遥感图像探测地表语义变化信息的实用工具。代码和LsSCD数据集可在https://github.com/tangkai-RS/ClearSCD获取。

2.研究背景

        最近,基于深度学习的多任务学习模型在SCD中显示出巨大的潜力,因为它可以有效地克服变化向量分析方法中的目标分离问题,即作为单独的目标获取二元变化和语义信息,以及通过参数和特征共享以及多分支网络的同时优化来克服后分类比较方法的误差积累问题。此外,通过间接地从两个时间点的地表类型(LULC)语义派生出“from-to”类型,这种方法允许使用比“from-to类型样本更容易获得的LULC样本进行模型训练。然而,基于深度学习的多任务SCD模型仍然存在不足。

        首先,尽管目前基于深度学习的多任务学习SCD模型利用了语义信息来提高二元变化分割的性能,但是忽略了二元变化信息在优化语义信息方面的潜力。即现有方法通过融合语义特征来获得二元变化信息,而不再使用二元变化信息来建立双时态语义的相关性。模型在两个方面之间的不完全连接可能导致两个语义分割分支输出的语义类型与来自变化解码器的二元变化信息不匹配。具体来说,变化解码器识别的非变化区域在两个语义分割分支上可能表现出不同的LULC类型,因为它们每次都是由两个时刻的语义解码器独立输出的。类似地,由变化解码器输出的变化区域在两个时刻可以具有相同的LULC类型。其次,变化解码器融合两个时刻的语义编码器提取的高维深度特征来输出二元变化信息。这些特征缺乏明确的语义,阻碍了解码器利用变化信息与语义信息之间的因果关系。这种复杂性使得优化过程的计算量很大,使得模型不实用。第三,准确的语义信息是多任务学习SCD方法性能的基础。然而,现有的方法通常只使用交叉熵损失函数进行语义优化,其优化重点是类间边界,而忽略了类之间的相似度度量。这种局限性在高空间分辨率影像中尤为突出,因为复杂的地表景观和不同的成像条件会进一步混淆语义。

     为了解决现有基于多任务学习的SCD模型的三个不足,该研究提出了一个综合利用语义和变化关系的语义变化检测模型(Comprehensively leveraging semantics and change relationships for semantic change detection),称为ClearSCD。

3.研究方法

        ClearSCD的灵感来自于多任务学习模型中语义和变化信息的相互强化。ClearSCD的主要创新如下:首先,该研究引入了一个监督语义增强对比学习(SACL)模块,该模块利用局部和全局数据特征,以及跨时间差异来增强语义特征的类内相似性和类间可分性。其次,设计了双时态语义相关性捕获机制(BSCC),其使用变化分支的输出来反向细化双时相语义信息。最后,提出了深度分类后验概率空间模块(deep CVAPS),该模块通过整合语义后验概率代替高维特征来进行二元变化信息解码。

图片

图1.ClearSCD总体框架

图片

图2.SACL模块示意图

图片

图3.Deep CVAPS模块示意图

图片

图4.BSCC机制示意图

4.研究主要结果

        该研究在Hi-UCD和Hi-UCD mini两个大型基准数据集上进行验证。同时,为了验证ClearSCD在现实应用场景的实用价值,该研究构建了LsSCD数据集。验证结果表明ClearSCD在mIoUsc指标上比现有方法高出1.23%至19.34%。

表1.Hi-UCD mini数据集定量评价结果

图片

表2.Hi-UCD数据集定量评价结果

图片

表3.LsSCD数据集定量评价结果

图片

图片

图5.ClearSCD与对比方法在LsSCD数据集的可视化结果

5.研究结论

        通过实验证明:ClearSCD在不同变化场景下的性能具有鲁棒性,是一种在能够自动化获取地表语义变化信息的有力工具

03 文章引用

文章信息:Kai Tang, Fei Xu, Xuehong Chen, Qi Dong, Yuheng Yuan, Jin Chen,The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery,ISPRS Journal of Photogrammetry and Remote Sensing,Volume 211, 2024,Pages 299-317,ISSN 0924-2716,https://doi.org/10.1016/j. isprsjprs.2024.04.013.

代码链接:https://github.com/tangkai-RS/ClearSCD

信息来源:http://www.chen-lab.club/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/324899.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【GESP】2023年12月图形化二级 -- 小杨报数

小杨报数 【题目描述】 小杨需要从 1 1 1到 N N N报数。在报数过程中,小杨希望跳过 M M M的倍数。例如,如果 N 5 N5 N5, M 2 M2 M2,那么小杨就需要依次报出 1 1 1, 3 3 3, 5 5 5。 默认小猫角色和白色背…

桥接模式类图与代码

欲开发一个绘图软件,要求使用不同的绘图程序绘制不同的图形。以绘制直线和圆形为例,对应的绘图程序如表 7.7 所示。 根据绘图软件的扩展性要求,该绘图软件将不断扩充新的图形和新的绘图程序。为了避免出现类爆炸的情况,现采用桥接…

车辆运动模型中LQR代码实现

一、前言 最近看到关于架构和算法两者关系的一个描述,我觉得非常认同,分享给大家。 1、好架构起到两个作用:合理的分解功能、合理的适配算法; 2、好的架构是好的功能的必要条件,不是充分条件,一味追求架构…

Scala编程入门:从零开始的完整教程

目录 引言环境准备创建第一个Scala项目基本语法高阶概念进阶资源结语 引言 Scala是一种强大的、静态类型的、多范式编程语言,它结合了面向对象和函数式编程的特点。本教程将指导您如何从零开始学习Scala,并搭建一个简单的开发环境。让我们开始探索Scala…

webassembly入门详解(C++)

一、环境配置 环境说明,操作系统为window操作系统。 1.1 下载和安装python 下载 需要python版本至少3.6版本 python下载地址:https://www.python.org/getit/ 安装 检测安装结果 win+R组合键->cmd->输入python->回车 1.2 下载和安装emsdk 下载 下载地址:https://gi…

春秋云镜 CVE-2022-4230

靶标介绍: WP Statistics WordPress 插件13.2.9之前的版本不会转义参数,这可能允许经过身份验证的用户执行 SQL 注入攻击。默认情况下,具有管理选项功能 (admin) 的用户可以使用受影响的功能,但是该插件有一个设置允许低权限用户…

Spring Security基础教程:从入门到实战

作者介绍:✌️大厂全栈码农|毕设实战开发,专注于大学生项目实战开发、讲解和毕业答疑辅导。 推荐订阅精彩专栏 👇🏻 避免错过下次更新 Springboot项目精选实战案例 更多项目:CSDN主页YAML墨韵 学如逆水行舟&#xff0c…

LOTO示波器动作编程功能(命令批处理)

动作编程功能是为了方便客户根据自己的应用场景,做到一个按键就连续做多个示波器操作,从而降低了对操作人员的技术要求,做到傻瓜式操作。之前LOTO有个类似的功能,是把示波器的基础设置根据不同的测试场景存成不同的设置文件&#…

新建的springBoot WEB项目无法自动返回html模版(gradle+kotlin版本)

最近研究了springBoot创建web项目, 第一步服务端返回字符串没有问题,第二步返回html时,还是返回的字符串。 文章目录 一、参考方案二、新建springBoot web项目三、启动项目的三种方式 一、参考方案 将控制器类的 RestController 改为 Contro…

基于CCS5.5的双音多频(DTMF)信号检测仿真实验(①检测型音频文件②输入生成音频并检测)

DTMF的优点 我们知道,DTMF根本上仍然是频谱分析,基础还是DFT,但DFT通常需要对一整段数据做变换,而DTMF不同,每输入一个采样点就计算一次,更有利于硬件实现。 基于CCS的双音多频(DTMF)信号检测原理 公式详细推导 详细的公式推导在下面这篇博客中已经进行了详细的描述,…

AI图书推荐:给自媒体创作者的ChatGPT使用指南

你是否厌倦了花费数小时盯着空白屏幕,努力为你的内容想出新鲜点子?想要将你的写作提升到下一个水平?有了ChatGPT,你可以告别写作障碍、无休止的修订和浪费的时间。 在这本全面的指南中,你将学到关于ChatGPT你需要知道…

vue3使用el-autocomplete请求远程数据

服务器端 RestController RequestMapping("/teacher") public class TeacherController {Resourceprivate TeacherService teacherService;GetMapping({"/v1/getTop10TeacherByName/","/v1/getTop10TeacherByName/{name}"})public ResultBean&l…

工业机器人应用实践之玻璃涂胶(篇二)

工业机器人 接上篇文章,浅谈一下实践应用,具体以玻璃涂胶为例: 了解工业机器人在玻璃涂胶领域的应用认识工具坐标系的标定方法掌握计时指令的应用掌握人机交互指令的应用掌握等待类指令用法(WaitDI、WaitUnitl 等)认…

【gpedit.msc】组策略编辑器的安装,针对windows家庭版,没有此功能

创建一个记事本文件然后放入以下内容 echo offpushd "%~dp0"dir /b %systemroot%\Windows\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >gp.txtdir /b %systemroot%\servicing\Packages\Microsoft-Windows-GroupPolicy-…

进程间通信

文章目录 1.进程间通信2.进程间通信方式2.1 管道---匿名管道2.2 使用管道---管道测试接口(代码实现) 3.进程池3.1 进程池的原理图3.2 进程池的代码实现 4.命名管道4.1 有名管道通信4.2 有名管道通信的代码实现 5.共享内存5.1 共享内存原理5.2 共享内存的代码实现 6.共享内存7.代…

Ubuntu24.04安装中文输入法

Ubuntu24.04安装中文输入法 为了更好的体验,请访问个人博客 www.huerpu.cc:7000 一、添加中文语言支持 在安装中文输入法之前,首选要添加中文语言支持。选择System,点击Region & Language。 点击Manage Install Languages。 点击Insta…

MongoDB安装及接入springboot

环境:windows、jdk8、springboot2 1.MongoDB概述 MongoDB是一个开源、高性能、无模式(模式自由)的文档(Bson)型数据库;其特点如下: 模式自由 ---- 不需要提前创建表 直接放数据就可以 支持高并…

Coursera吴恩达深度学习专项课程01: Neural Networks and Deep Learning 学习笔记 Week 04 (完结)

Neural Networks and Deep Learning Course Certificate 本文是学习 https://www.coursera.org/learn/neural-networks-deep-learning 这门课的笔记 Course Intro 文章目录 Neural Networks and Deep LearningWeek 04: Deep Neural NetworksLearning Objectives Deep L-layer…

AppBuilder低代码体验:构建雅思大作文组件

AppBuilder低代码体验:构建雅思大作文组件 ​ 在4月14日,AppBuilder赢来了一次大更新,具体更新内容见:AppBuilder 2024.04.14发版上线公告 。本次更新最大的亮点就是**新增了工作流,低代码制作组件。**具体包括&#x…

i春秋-Backdoor

题目 考点 git源码泄露 Linux文件恢复 代码审计 http 解题 参考wp https://blog.csdn.net/cbhjerry/article/details/105791056https://www.pianshen.com/article/19461342501/扫描 题目给出提示:敏感文件泄漏 于是使用dirsearch扫一下 python dirsearch.py -…