03 常见数据网站的数据下载及处理
230108直播录像 常见数据下载及nc文件批处理
数据源网站汇总
名称 | 网址 | 备注 |
---|---|---|
RESDC | https://www.resdc.cn/ | 中科院地理科学与资源研究所,非会员用户每日5次下载,大部分有用的资源均收费。 |
TPDC | https://data.tpdc.ac.cn/ | 国家青藏高原科学数据中心。有引用且大部分免费,使用FTP传输。 |
EarthData search | https://search.earthdata.nasa.gov/search | MODIS各产品下载,高程产品下载 |
GlobeLand30 | http://www.globallandcover.com/ | 土地利用类型30m,10、20 |
Global land cover | http://data.ess.tsinghua.edu.cn/ | GLC土地利用产品 |
Alos dem12.5 | https://search.asf.alaska.edu/ | 12.5m分辨率高程数据 |
zenodo | https://zenodo.org/ | 一些论文公开的数据集汇总 |
GLASS | http://www.glass.umd.edu/Download.html | 全球路标特征参量 |
美国蒙大拿大学 | http://files.ntsg.umt.edu/data | NTSG的公共数据存储库 |
Climate Explorer | http://climexp.knmi.nl/selectfield_obs2.cgi?id=someone@somewhere | 各类气象要素 |
下载工具
直接下载或者FTP传输
-
Chrono资源嗅探器
下载链接:https://pan.baidu.com/s/1FIqAi1XD2wMqqCwzdFOung?pwd=6vtj
提取码:6vtj
-
Filezilla
下载链接:Download FileZilla Client for Windows (64bit x86)
用于FTP传输的软件
常见数据格式处理
把一系列其他格式的文件转为栅格文件(.tif)
.hdf文件
MODIS系列产品常用hdf格式存储数据,另外还有GLASS产品(http://www.glass.umd.edu/Download.html)。
hdf文件的处理工作流通常是提取、拼接、重投影、裁剪、去除特殊值、换算单位,可使用MRT、HEG或易方MODIS综合处理工具对进行处理。
推荐阅读
[MODIS数据处理#1]利用MRT工具预处理MODIS数据——以MOD16、MOD13为例_Salierib的博客-CSDN博客_mod16a3蒸发量数据处理异常值
MODIS数据批量处理工具,一键完成拼接、裁剪,比MRT更快速
.nc文件
f ( l o n , l a t , t i m e ) = v f(lon,lat,time)=v f(lon,lat,time)=v
ArcGIS官网对nc文件存储格式的说明见Fundamentals of netCDF data storage
这种数据格式常被用于存储气象科学数据,通常需要对nc文件中某时刻某个变量的数据进行提取,并转换为栅格文件。这可以利用arcgis中的 多维工具->创建 NetCDF 栅格图层->导出数据得到,具体的步骤可以参考:NetCDF数据在ArcMap中的使用,这篇文章关于处理步骤的描述十分详细,后面对于批量化转换nc到栅格也提供了相关代码。
NetCDF数据的介绍可以参考:NetCDF数据介绍及python处理
自定义脚本工具可以参考我之前的专栏【ArcGIS自定义脚本工具】批量NetCDF文件至tif文件(以GLDAS和GRACE为例)
强烈建议处理nc文件前用Panoply这个软件查看描述信息,接下来演示处理TPDC的逐月降水量产品的过程。
中国1km分辨率逐月降水量数据集(1901-2021)
nc文件处理
-
单个处理
-
-
1 make raster layer
-
2 分别设置经度、纬度、时间、目标时刻值
-
3 另存为tif后再定义投影
-
-
批量处理
-
-
panoply获取nc文件相关信息(目标变量的名、时间维度可选值的总数)
-
1 运行nc批量转tif工具(注意:变量名(属性->参数->filter->添加目标变量名);修改time=xx, 右键工具->编辑源代码中名为times这一行)
-
2 用批量定义投影工具
-
其他格式的栅格数据
用ArcGIS的Copy raster复制栅格工具转为tif格式
GIS学习网站
-
麻辣GIS
-
开源地理空间基金会中国分会
-
地信遥感数据汇
https://malagis.com/) -
开源地理空间基金会中国分会
-
地信遥感数据汇