【2024|滑坡数据集论文解读3】CAS滑坡数据集:用于深度学习滑坡检测的大规模多传感器数据集

【2024|滑坡数据集论文解读3】CAS滑坡数据集:用于深度学习滑坡检测的大规模多传感器数据集

【2024|滑坡数据集论文解读3】CAS滑坡数据集:用于深度学习滑坡检测的大规模多传感器数据集


文章目录

  • 【2024|滑坡数据集论文解读3】CAS滑坡数据集:用于深度学习滑坡检测的大规模多传感器数据集
  • 3. Data Records
  • 4. 技术验证
    • 4.1 CAS滑坡数据集的验证
    • 4.2 数据集质量控制的验证
    • 4.3 深度学习滑坡数据集的对比实验
  • 5. 使用说明


欢迎宝子们点赞、关注、收藏!欢迎宝子们批评指正!
祝所有的硕博生都能遇到好的导师!好的审稿人!好的同门!顺利毕业!

大多数高校硕博生毕业要求需要参加学术会议,发表EI或者SCI检索的学术论文会议论文:
可访问艾思科蓝官网,浏览即将召开的学术会议列表。会议入口:https://ais.cn/u/mmmiUz

论文链接:https://www.nature.com/articles/s41597-023-02847-z

3. Data Records

CAS滑坡数据集已上传至Zenodo平台【56】,旨在对所有从事滑坡研究的科研人员和专业人士开放并可访问。与本研究相关的数据可从该仓库获取,其中包含名为“CAS滑坡数据集”的项目文件、README文件、研究区的shp文件以及16个代表不同子数据集的压缩文件。每个子数据集由三个子文件夹组成:img(影像)、label(标签)和mask(掩膜)。值得注意的是,在mask文件中,滑坡区域被标记为1,非滑坡区域标记为0。

每个子数据集均由三个文件夹组成:img、label和mask。数据集中所有文件均为TIFF格式,分辨率为512 × 512像素。为了提供数据集关键参数的概览,这些参数已编入表4中,并与数据集一起上传

在这里插入图片描述

4. 技术验证

在训练过程中,DeeplabV3+、U-net和MFFENet模型使用ResNet50作为基础骨干网络,而FCN则使用VGG16作为骨干网络。**在模型参数设置方面,我们的实现基于PyTorch框架,使用了SGD优化器,学习率为0.01,动量为0.9,权重衰减为0.0005。**由于滑坡识别涉及不平衡数据样本的问题,我们采用了Dice损失函数。值得一提的是,模型训练是在一张NVIDIA Tesla V100-SXM2 32GB显卡上进行的

从遥感影像中提取滑坡信息通常被视为语义分割任务,其目标是将像素精确地分类为前景和背景两个类别。在此框架下,分割性能的评估通过量化交集区域(即真实正类TP像素的数量)和并集(即TP、假正类FP和假负类FN像素的总和)来进行。具体而言,TP对应于准确识别的滑坡像素,FP表示被错误分类为滑坡的像素(属于非滑坡),而FN则表示被错误分类为非滑坡的像素(属于滑坡)。

我们使用了六个典型的评估指标,即精确率(Precision)、召回率(Recall)、F1得分(F1 Score)、交并比(IoU)、平均交并比(mIoU)和总体准确率(Overall Accuracy, OA)。具体来说,精确率反映了模型的误报率,召回率则反映了模型的漏报率,而F1得分综合了这两个指标,得分越高,模型越好。IoU表示在检测图与真实情况之间的变化类重叠率,mIoU是所有类别IoU的平均值,它计算每个类别的IoU,然后取所有类别的平均值,mIoU提供了跨类别的综合检测性能衡量。OA是像素分类的总体准确率,反映了所有样本中被正确分类的比例,较高的OA意味着更准确的分类结果。上述六个指标的计算公式如下:
在这里插入图片描述

4.1 CAS滑坡数据集的验证

CAS滑坡数据集主要基于来自9个不同区域的无人机(UAV)和卫星(SAT)影像数据构建。为了验证数据集的质量,我们遵循Géron A.提出的方法,将每个子数据集随机按7:3的比例划分为训练集和验证集【57】。接着,我们在精心筛选的数据集上进行模型训练,这些数据包括来自UAV、SAT以及UAV与SAT组合的影像。我们在表5中列出了数据集的结果。

在我们的三个数据集中,FCN和U-Net模型表现良好,其mIoU值在72%到78%之间,F1得分在82%到87%之间。复杂的网络模型,如DeepLabv3+和MFFENet,表现出更为出色的结果,mIoU值在82%到90%之间,F1得分在89%到94%之间。这些结果强调了我们数据集的鲁棒性和潜力。在对比三个数据集时,我们发现UAV数据集在所有模型中的表现最佳,而卫星数据集的得分最低,表明其质量可能不如UAV数据集。这种模型性能差异可能归因于卫星影像质量低于UAV影像。然而,结合UAV和卫星数据集后,模型仍取得了良好的得分,显示出我们的数据集在无人机和卫星遥感影像领域的稳健性,同时为使用多传感器影像进行滑坡识别提供了宝贵的数据支持。此外,这也为后续大数据集的生成和大规模模型的训练奠定了基础。
在这里插入图片描述

4.2 数据集质量控制的验证

在本实验部分,我们验证了“构建数据集”部分中提到的质量控制方法。最初的SAT数据集来源于未经过滤的SAT数据集,而用于验证CAS滑坡数据集的SAT数据集则是经过筛选并最终发布的版本。实验结果如表6所示。通过对即将发布的数据集与原始版本的分析,显示出二者在性能上的显著差异。SAT数据集在多个关键指标上优于原始数据集,包括精确率(74.275% vs. 72.365%)、召回率(89.187% vs. 88.382%)、IoU(68.137% vs. 66.275%)、F1得分(89.675% vs. 88.759%)、mIoU(82.397% vs. 81.233%)以及总体准确率(96.881% vs. 96.457%)。这些结果表明,SAT数据集提供了更精确、可靠的标签,提升了分割性能。尽管我们总共剔除了1245张图像,但模型性能实际上有所提高。特别是,与滑坡识别直接相关的IoU指标提高了1.862%,F1得分则提高了0.916%。这表明我们的筛选方法整体上是有效的,不仅节省了计算成本,还提高了精度。
在这里插入图片描述

4.3 深度学习滑坡数据集的对比实验

为了展示我们数据集的卓越质量和稳健性,我们将其与之前发布的数据集进行了对比。我们精心选择了一个验证集,其中包括来自莫西台地区的2119张UAV和卫星影像,而其余数据则被分类为UAV和卫星类别,并重新构建为训练集。我们从毕节滑坡数据集【58,59】中获取了RGB数据,该数据集是关于四川及周边地区(四川及周边地区滑坡数据集【60】)的高精度滑坡和泥石流灾害航拍影像和解译数据。此外,还包括HR-GLDD全球分布的高分辨率滑坡数据集【61,62】和Landslide4Sense数据集【63】。为了在训练过程中确保一致性,我们将影像标准化为512 × 512像素的分辨率。实验结果如表7所示。
在这里插入图片描述
表格中展示的数据揭示了一些意想不到的发现。值得注意的是,尽管四川及其周边地区的数据集仅包含59个样本,但在滑坡检测任务中,其表现显著优于毕节数据集、HR-GLDD数据集以及AI4RS小组的数据集,且其性能接近于我们在莫西台地区检测任务中的SAT数据集。与其他三个公开数据集相比,我们的数据集在IoU、F1得分和mIoU等指标上表现出色。这些结果突显了该数据集在指定任务区域内精准识别滑坡的卓越能力。四川及其周边地区数据集在训练中的出色表现可归因于以下几个因素。首先,训练集和验证集地理位置相似,均位于中国四川省。其次,训练集中航拍影像的质量相当高。在我们创建的三个数据集中,SAT+UAV数据集尤为突出,其结果展示了在处理未知影像时,多源数据的稳健性。此外,UAV数据集与SAT数据集的对比表明,训练集质量与滑坡识别能力之间存在正相关关系。有趣的是,尽管在先前的基线分析中SAT数据集的质量较低,但本实验中其结果与质量更高的“四川及周边地区滑坡数据集”相当,这表明卫星数据集的局限性主要来源于影像质量本身。

需要强调的是,在本次比较中,我们仅使用了RGB光学影像进行训练,未引入诸如DEM数据等额外数据进行辅助训练。尽管HR-GLDD数据集总共包含1785张影像,但其主要用于训练集的图像为1119张,其余图像则分配到测试集和验证集中。

5. 使用说明

CAS滑坡数据集提供了超高分辨率、多模态和多样化场景,涵盖了不同地形、气候和植被变化。然而,需注意其局限性。具体来说,尽管数据集包含多样的场景,但在深度学习任务中的数据量仍相对较少,且某些子数据集之间存在显著的区域差异。在训练和使用CAS滑坡数据集时,应考虑这些差异对结果的潜在影响。此外,在解释结果和评估数据集性能时,还需注意数据集的局限性,例如其空间分辨率范围为0.2-5米,以及其数据源自SAT和UAV平台。

欢迎宝子们点赞、关注、收藏!欢迎宝子们批评指正!
祝所有的硕博生都能遇到好的导师!好的审稿人!好的同门!顺利毕业!

大多数高校硕博生毕业要求需要参加学术会议,发表EI或者SCI检索的学术论文会议论文:
可访问艾思科蓝官网,浏览即将召开的学术会议列表。会议入口:https://ais.cn/u/mmmiUz

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/457569.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络(十二) —— 高级IO

#1024程序员节 | 征文# 目录 一,预备 1.1 重新理解IO 1.2 五种IO模型 1.3 非阻塞IO 二,select 2.1 关于select 2.2 select接口参数解释 2.3 timeval结构体和fd_set类型 2.4 socket就绪条件 2.5 select基本工作流程 2.6 简单select的服务器代…

c++编解码封装

多态版编解码 对服务器和客户端的结构体进行序列化然后对数据进行反序列化 案例分析 代码demo Codec.h #pragma once #include <iostream>class Codec { public:Codec();virtual std::string encodeMsg();//string是标准库的string类virtual void* decodeMsg();virtu…

西瓜书《机器学习》符号表KaTex表示

写这篇post的缘故是最近整理机器学习的相关公式&#xff0c;经常要用到KaTex, 但网络上搜索到的西瓜书符号表的表示有些并不准确或不严谨&#xff0c;本着严谨治学的态度&#xff0c;整理了一下符号表的KaTex表示&#xff0c;希望有所帮助,整理过程中参考了《南瓜书》和 KaTex官…

Flutter TextField和Button组件开发登录页面案例

In this section, we’ll go through building a basic login screen using the Button and TextField widgets. We’ll follow a step-bystep approach, allowing you to code along and understand each part of the process. Let’s get started! 在本节中&#xff0c;我们…

软件系统建设方案书(word参考模板)

1 引言 1.1 编写目的 1.2 项目概述 1.3 名词解释 2 项目背景 3 业务分析 3.1 业务需求 3.2 业务需求分析与解决思路 3.3 数据需求分析【可选】 4 项目建设总体规划【可选】 4.1 系统定位【可选】 4.2 系统建设规划 5 建设目标 5.1 总体目标 5.2 分阶段目标【可选】 5.2.1 业务目…

ctfshow(259->261)--反序列化漏洞--原生类与更多魔术方法

Web259 进入界面&#xff0c;回显如下&#xff1a; highlight_file(__FILE__);$vip unserialize($_GET[vip]); //vip can get flag one key $vip->getFlag();题干里还提示了网站有一个flag.php界面&#xff0c;源代码如下&#xff1a; $xff explode(,, $_SERVER[HTTP_X…

Docker容器操作

Docker容器操作 启动容器 docker run -it 镜像名(镜像id) bash当利用docker run来创建容器时&#xff0c;Docker在后台运行的标准操作包括&#xff1a; 检查本地是否存在指定的镜像&#xff0c;不存在就从公有仓库中下载利用镜像创建并启动一个容器分配一个文件系统&#xf…

C语言实现Go的defer功能

之前笔者写了一篇博文C实现Go的defer功能&#xff0c;介绍了如何在C语言中实现Go的defer功能&#xff0c;那在C语言中是否也可以实现这样的功能呢&#xff1f;本文就将介绍一下如何在C语言中实现Go的defer功能。 我们还是使用C实现Go的defer功能中的示例&#xff1a; void te…

医院信息化与智能化系统(9)

医院信息化与智能化系统(9) 这里只描述对应过程&#xff0c;和可能遇到的问题及解决办法以及对应的参考链接&#xff0c;并不会直接每一步详细配置 如果你想通过文字描述或代码画流程图&#xff0c;可以试试PlantUML&#xff0c;告诉GPT你的文件结构&#xff0c;让他给你对应的…

改进YOLOv8系列:引入低照度图像增强网络Retinexformer | 优化低光照目标检测那题

改进YOLOv8系列:引入低照度图像增强网络Retinexformer | 优化低光照目标检测那题 🚀论文研究概括🚀加入到网络中的理论研究🚀需要修改的代码1 🍀🍀Retinexformer 代码2🍀🍀tasks里引用🚀创建yaml文件🚀测试是否创建成功前言:这篇论文提出了一种用于低光图像…

STM32应用详解(10)I2C总线初始化

文章目录 前言一、I2C总线初始化二、程序源码与详解1.I2C初始化2.I2C端口初始化及设置IO端口工作模式3.函数I2C_Init4.函数I2C_Cmd5.使能APB1外设时钟6.I2C通信时序图 前言 介绍STM32的I2C总线初始化&#xff0c;给出了代码详解。《i2c.h》文件&#xff0c;由用户编写。定义了…

系统聚类比较——最短距离法、最长距离法、重心法和类平均法

系统聚类概述 系统聚类&#xff0c;又称分层聚类法&#xff0c;是一种用于分析数据的统计方法&#xff0c;在生物学、分类学、社会网络等领域有广泛应用。以下是对系统聚类的详细概述&#xff1a; 一、基本思想 系统聚类的基本思想是将每个样品&#xff08;或数据点&#xf…

OAK相机的RGB-D彩色相机去畸变做对齐

▌低畸变标准镜头的OAK相机RGB-D对齐的方法 OAK相机内置的RGB-D管道会自动将深度图和RGB图对齐。其思想是将深度图像中的每个像素与彩色图像中对应的相应像素对齐。产生的RGB-D图像可以用于OAK内置的图像识别模型将识别到的2D物体自动映射到三维空间中去&#xff0c;或者产生的…

深入理解Python异常处理机制

在Python编程中&#xff0c;异常处理是一个非常重要的概念。它可以帮助我们捕获程序运行过程中出现的错误&#xff0c;防止程序崩溃&#xff0c;并提供友好的错误信息。本文将详细讲解Python的异常处理机制&#xff0c;并提供丰富的代码示例&#xff0c;帮助您更好地理解和应用…

【Spring MVC】响应结果和设置

​ 我的主页&#xff1a;2的n次方_ 1. 返回静态页面 先创建一个 html 页面 ​ 如果还按照之前的方式进行返回的话&#xff0c;返回的并不是一个 html 页面 RequestMapping("/response") RestController public class ResponseController {RequestMapping(&quo…

React基础使用教程

初识JSX React主要使用的就是jsx语法来编写dom&#xff0c;所以我们要先认识jsx&#xff0c;然后再开始学习两者相结合jsx其实就是在JS中编写HTML的一种写法编写jsx要注意以下几个规则&#xff1a; 定义虚拟DOM时&#xff0c;不要写引号标签中混入JS表达式时要用{}样式的类名指…

2024 Rust现代实用教程:1.3获取rust的库国内源以及windows下的操作

文章目录 一、使用Cargo第三方库1.直接修改Cargo.toml2.使用cargo-edit插件3.设置国内源4.与windows下面的rust不同点 参考 一、使用Cargo第三方库 1.直接修改Cargo.toml rust语言的库&#xff1a;crate 黏贴至Cargo.toml 保存完毕之后&#xff0c;自动下载依赖 拷贝crat…

形态学-闭运算

目录 依赖库显示图像的函数读取图像转换为灰度图像应用二值化阈值处理创建结构元素应用形态学闭运算显示结果 依赖库 首先&#xff0c;我们需要导入必要的库&#xff1a; import cv2 import numpy as npcv2 是OpenCV的Python接口&#xff0c;用于图像处理。numpy 是一个用于科…

在时间敏感网络中启用网络诊断:协议、算法和硬件

英文论文标题&#xff1a;Enabling Network Diagnostics in Time-Sensitive Networking: Protocol, Algorithm, and Hardware 作者信息&#xff1a; Zeyu Wang, Xiaowu He, Xiangwen Zhuge, Shen Xu, Fan Dang, Jingao Xu, Zheng Yang所属机构&#xff1a;清华大学软件学院和…

Pytorch笔记--RuntimeError: NCCL communicator was aborted on rank 3.

1--分布式并行训练&#xff0c;出现以下bug&#xff1a; [E ProcessGroupNCCL.cpp:719] [Rank 3] Watchdog caught collective operation timeout: WorkNCCL(SeqNum1721483, OpTypeALLREDUCE, Timeout(ms)1800000) ran for 1805695 milliseconds before timing out. RuntimeErr…