ArcGIS Pro 3.4新功能3:空间统计新特性,基于森林和增强分类与回归,过滤空间自相关

目录

应用 1:它是相关性还是托布勒第一定律?

应用 2:将空间带入非空间模型

结论


在 ArcGIS Pro 3.4 中,我们在新的空间组件实用程序(Moran 特征向量)工具集中发布了一个新工具 -  从字段过滤空间自相关。此工具允许我们获取数值变量并从中提取空间模式。它给了我们所谓的过滤变量和一个或多个空间组件。过滤后的变量表示从原始变量中提取可识别的空间模式后得到的变量。想象图 1 中描绘的场景,绿色的数值变量在南部和东南部地区显示更高的值。通过应用从字段过滤空间自相关工具,变量被分为非空间部分和空间部分。以蓝色显示的非空间部分表示空间过滤变量。从原始变量中删除的空间模式被捕获在相应的空间组件中。一个组件显示东南部和非东南部地区的模式,而另一个组件突出显示非中西部和中西部模式。这些成分各自代表特定尺度的空间自相关,彼此之间不相关。

图片

此工具在两种情况下非常有用。首先,它帮助我们探索两个变量之间的关系,同时减少邻近影响的干扰。其次,它通过消除空间错误指定来增强回归和机器学习模型,并可以使非空间模型成为空间模型。

应用 1:它是相关性还是托布勒第一定律?

“研究人员如何知道变量 y 和变量 x 是否以有意义的方式相互关联,或者它们是否仅仅因为“一切都与其他一切相关”而显得相关?”(Thayn,2017)

作为地理学家或 GIS 分析师,我们认识到大多数现象并非独立于空间而存在。我们相信托布勒地理学第一定律——“万事万物都相互关联,但近处的事物比远处的事物关联性更强。”空间数据的这一独特方面往往违背了观测值相互独立的统计假设。因此,在评估两个变量之间的关系时,很难判断它们的关系是真实的还是仅仅是显著的空间自相关的结果。

例如,下图是波士顿老房子比例与一氧化氮浓度关系的散点图。该图表明,两者呈正相关。随着老房子比例的增加,一氧化氮浓度也上升。

图片

然而,当观测值受到相邻数据点的影响时,确定图 2 中所示的强正关系就变得具有挑战性,因为这可能是由于空间自相关的混杂影响造成的。如果你看看老房子和新奥尔良的地图(下面的2幅图),你会注意到这两个变量都表现出很强的空间聚类性。

图片

图片

这就是“从文件过滤空间自相关”工具发挥作用的地方。它帮助我们从变量中分离出空间成分,使我们能够独立于相邻变量的影响来研究两个变量之间的关系。在该工具中,我首先选择波士顿数据作为输入特征。然后,下面两幅图显示了用于过滤房屋年龄和一氧化氮字段的工具对话框。

图片

图片

通过两次运行此工具生成了两个输出。一个输出地图基于过滤后的 AGE 进行符号化,表示波士顿老房子的比例,不受空间影响(见下面第一张图)。第二张地图展示了过滤后的一氧化氮,显示了过滤空间自相关后的 NO 浓度。

图片

图片

过滤步骤可以在地理处理消息中找到。例如,图 9 演示了如何在四次迭代后消除 AGE 中存在的空间自相关。最初,Moran's I 指数为 0.3206,P 值为 0.001,表明存在显著的空间自相关。从 AGE 中过滤四个空间成分后,Moran's I 指数下降,P 值增加到 0.99。这一变化告诉我们空间自相关不再显著。

图片

现在,下图展示了滤除空间影响后两个变量之间的关系。将应用1的第一幅图与下图进行比较,我们会发现,应用1的第一幅图中显示的强正相关关系很大程度上是由于共享的空间关系,但滤除空间关系后仍然存在一些相关性。

图片

应用 2:将空间带入非空间模型

如前所述,空间数据经常违反传统统计方法的假设,导致估计有偏差和结果可疑。然而,通过整合从字段过滤空间自相关工具返回的空间组件,我们可以将空间信息纳入非空间模型,将其转变为空间感知模型。

举个例子,我们有俄亥俄州的人口统计数据,使用基于森林和增强分类与回归工具构建了一个基于森林的模型。我们的目标是更深入地了解贫困因素,并估计实施潜在干预计划后的贫困百分比。

选择过去 12 个月收入低于贫困水平的人口百分比作为要预测的输入变量。所选的解释训练变量包括:

  1. 受赡养年龄组人口百分比(18 岁以下和 65 岁以上)

  2. 外国出生人口百分比

  3. 房屋自有率:自住住房占已入住住房的百分比

  4. 25 岁及以上人口中最高教育程度为学士学位或更高学位的百分比。

最后,将输出训练特征保存为Poverty_Pred,然后点击运行。

图片

运行该工具后,得到了一个输出训练层,其中显示了其标准化残差(下面第一幅图)。让我们看一下地图,可以注意到两个聚类:绿色阴影的县位于东南部,而紫色阴影的县聚集在西北部。该残差图表明,该模型倾向于低估东南部地区的贫困率(%),而高估西北部地区的贫困率。换句话说,模型的残差中存在明显的空间自相关性。这突显了不同地区预测能力的不平等,表明这种基于森林的模型无法解释数据中存在的某种空间模式。模型性能也需要改进,因为目前的验证 R 平方为 0.578(下面第二幅图)。

图片

图片

为了解决基于森林的模型中的空间偏差,我使用了“从字段过滤空间自相关”工具。

打开该工具,并选择Poverty_Pred(基于森林的模型生成的输出)作为输入特征。

选择标准化残差作为输入字段,指定Poverty_Pred_FilterSpatialAutocorrelationFromField作为输出特征,并且运行该工具。

图片

此工具生成的输出要素不仅包含过滤后的输入字段,还包含与输入字段隔离的空间组件。在这种情况下,空间组件表示我们在上方地图中看到的基于森林的模型无法解释的空间模式。因此,基于森林的模型中包含此空间组件后,该模型可能能够解决预测能力的空间分布不均的问题。

  1. 重新打开基于森林和增强分类与回归,而不是原来的poverty_Ohio。

  2. Poverty_Pred_FilterSpatialAutocorrelationFromField作为输入训练特征。

  3. 保留了大部分预测变量和解释训练变量,同时添加了空间成分作为额外的解释训练变量。

  4. 然后,点击运行。

图片

下图显示了改进的效果。训练 R2 从 0.903 增加到 0.938。更重要的是,验证 R2 从 0.578 显著增加到 0.819,同时所有误差(包括 MAE、MAPE 和 RMSE)均有所减少。这种改进的基于森林的模型表明该模型更加可靠,我们对解释变量重要性和估计贫困率更有信心。

图片

让我们看看变量重要性,注意到我添加到模型中的空间组件位于顶部。空间组件正在捕获我们在原始训练数据集中没有的空间过程,这可能是俄亥俄州贫困的一个关键指标。

图片

我们甚至可以绘制空间成分图,以查看对贫困率影响巨大的空间模式。该成分的模式在俄亥俄州阿巴拉契亚地区显示较高值,而在俄亥俄州非阿巴拉契亚地区显示较低值,这表明我们在试图减轻俄亥俄州的贫困时应该关注这种明显的空间差异。空间成分还为我们提供了应该将哪些现实世界变量纳入模型的见解。当我们不知道可能缺少哪些变量时,应该使用空间成分作为替代。只要有可能,总是建议采用可测量的替代方案。

图片

结论

在这篇文章中,我们展示了“从字段过滤空间自相关”工具如何在两种情况下发挥作用。首先,它通过过滤空间的影响来帮助我们评估两个变量之间的关系。其次,空间成分可以作为模型中缺失的重要解释变量的代理变量。通过将成分添加到非空间机器学习模型中,模型将转变为空间模型,而无需修改模型的结构。此外,从残差中分离出来的空间成分为我们的模型中可能被忽视的现实世界变量提供了宝贵的见解。

转载请注明出处:ArcGIS Pro 3.4新功能3:空间统计新特性,基于森林和增强分类与回归,过滤空间自相关

作者:ArcGIS中国培训中心 www.higisedu.cn

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/495014.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【微信小程序】2|轮播图 | 我的咖啡店-综合实训

轮播图 引言 在微信小程序中,轮播图是一种常见的用户界面元素,用于展示广告、产品图片等。本文将通过“我的咖啡店”小程序的轮播图实现,详细介绍如何在微信小程序中创建和管理轮播图。 轮播图数据准备 首先,在home.js文件中&a…

vue3封装而成的APP ,在版本更新后,页面显示空白

一、问题展示 更新之后页面空白,打不开 ,主要是由于缓存造成的 二、解决办法 1、随机数代码实现 使用随机数来动态的生成静态资源目录名可以避免浏览器缓存,但同时每次也会导致浏览器每次都下载最新的资源。如果静态资源过大,可…

JAVA HTTP压缩数据

/*** 压缩数据包** param code* param data* param resp* throws IOException*/protected void writeZipResult(int code, Object data, HttpServletResponse resp) throws IOException {resp.setHeader("Content-Encoding", "gzip");// write到客户端resp…

京东零售数据可视化平台产品实践与思考

导读 本次分享题目为京东零售数据可视化平台产品实践与思考。 主要包括以下四个部分: 1. 平台产品能力介绍 2. 业务赋能案例分享 3. 平台建设挑战与展望 作者:梁臣 京东 数据产品架构师 01平台产品能力介绍 1. 产品矩阵 数据可视化产品是一种利用…

springBoot Maven 剔除无用的jar引用

目录 Used undeclared dependencies found Unused declared dependencies found 当项目经过一段时间的开发和维护后,经常会遇到项目打包速度变慢的问题。这通常与项目中包含大量的jar依赖有关,这些依赖之间的关系错综复杂。这种情况在项目维护过程中是…

Apache RocketMQ 5.1.3安装部署文档

官方文档不好使,可以说是一坨… 关键词:Apache RocketMQ 5.0 JDK 17 废话少说,开整。 1.版本 官网地址,版本如下。 https://rocketmq.apache.org/download2.配置文件 2.1namesrv端口 在ROCKETMQ_HOME/conf下 新增namesrv.pro…

uniapp Native.js原生arr插件服务发送广播到uniapp页面中

前言 最近搞了个设备,需求是读取m1卡,厂家给了个安卓原生demo,接入arr插件如下,接入后发现还是少了一部分代码,设备服务调起后触发刷卡无法发送到uniapp里。 中间是一些踩坑记录,最后面是解决办法&#xf…

实践KDTS-WEB从mysql迁移到kingbasev9

数据库国产化替代数据迁移是一个复杂且关键的过程。这涉及到将原有数据库中的数据准确、完整地迁移到新的国产数据库中,同时确保数据的完整性和一致性。人大金仓提供了强大的数据库迁移工具(KDTS)对同构、异构数据库数据迁移; 数…

nmap扫描优化

扫描优化用来提高扫描效率。当描一个大范围网络中的主机时,如果使用通用的方法可能需要很长的时间,此时可以使用一些特定选项进行扫描优化,以提高扫描效率。Nmap提供了几种优化方式,如分组扫描、设置发包方式和超时时间等。 分组…

mysql 查询优化之字段建立全文索引

最近在接手一些老项目时发现表设计存在问题导致查询较慢 例如一张旧表的设计: 模糊匹配某个关键字时,需要十几秒左右,而且表的数据量不多 都知道mysql8.0版本InnoDB引擎都支持全文索引了,因此可以在content建立全文索引,但全文索引对中文支持并不完善…

Selenium 和 Playwright两大框架的不同之处

自动化测试工具百花齐放,其中 Selenium 和 Playwright 是两大热门框架,谁才是你的最佳选择?面对企业项目的真实需求,它们的差异究竟在哪儿? Selenium 和 Playwright 是两种流行的自动化测试工具,它们都被用…

智能化军事【五】精确制导武器智能化实现

文章目录 前言精确制导武器智能化实现基于深度学习实现的智能化功能基于强化学习实现的智能化功能强化学习深度强化学习 网络模型轻量化网络剪枝(通道剪枝)技术层剪枝权值量化技术低秩近似技术知识蒸馏技术强化学习联合训练 解决有效训练样本不足或获取困…

Windows内核开发环境配置

SDK 软件开发工具包 r3用到的win32api 就是SDK WDK 驱动内核 r0用到的包 Previous WDK versions and other downloads - Windows drivers | Microsoft Learn sdk版本必须和wdk版本一致 驱动环境部署 #include <ntifs.h>NTSTATUS DriverUnload(PDRIVER_OBJECT pDriver) …

图像处理-Ch6-彩色图像处理

Ch6 彩色图像处理 无广告更易阅读&#xff0c;个人博客点此进入<– 文章目录 Ch6 彩色图像处理彩色基础彩色模型(Color models)RGB(red, green, blue)CMY & CMYK(cyan, magenta, yellow/and black)HSI(hue, saturation, intensity)HSV(hue, saturation, value) 颜色空…

window安装TradingView

目录 下载安装包 修改文件后缀&#xff0c;解压 将K线换成国内涨红跌绿样式 下载安装包 https://www.tradingview.com/desktop/ 下载完成后是.msix格式文件 &#xff08;我在win10和win11的系统中尝试运行msix都没有成功&#xff0c;所以放弃直接双击运行msix&#xff…

畅捷通T+13管理员密码任意重置漏洞

复现版本 畅捷通13 漏洞复现 POST /tplus/ajaxpro/RecoverPassword,App_Web_recoverpassword.aspx.cdcab7d2.ashx?methodSetNewPwd HTTP/1.1 Host: 192.168.1.8:8080 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:124.0) Gecko/20100101 Firefox/124.0 Accept…

搭建Elastic search群集

一、实验环境 二、实验步骤 Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎Elasticsearch目录文件&#xff1a; /etc/elasticsearch/elasticsearch.yml#配置文件 /etc/elasticsearch/jvm.options#java虚拟机 /etc/init.d/elasticsearch#服务启动脚本 /e…

三.统一异常Exception拦截处理

文章目录 前言一、先定义一个业务异常类二、定义全局异常处理器二、测试小插曲抛出异常&#xff1a;抛出自定义异常&#xff1a; 总结 前言 上一章对统一返回值进行封装&#xff0c;但是都是基于正常情况下的返回&#xff0c;系统难免会出现异常的情况&#xff0c;我们不可能在…

Xcode 16 编译弹窗问题、编译通过无法,编译通过打包等问题汇总

问题1&#xff1a;打包的过程中不断提示 &#xff1a;codesign 想要访问你的钥匙串中的密钥“develop 或者distribution 证书” 解决&#xff1a;打开钥匙串&#xff0c;点击证书---显示简介---信任----改为始终信任 &#xff08;记住 &#xff1a;不能只修改钥匙的显示简介的…

汽车IVI中控开发入门及进阶(44):杰发科智能座舱芯片

概述: 杰发科技自成立以来,一直专注于汽车电子芯片及相关系统的研发与设计。 产品布局: 合作伙伴: 杰发科技不断提升产品设计能力和产品工艺,确保产品达 到更高的质量标准。目前杰发科技已通过ISO9001质 量管理体系与CMMIL3认证。 杰发科技长期合作的供应商(芯片代工厂、…