SpatiallyAdaptiveSSID 是一种有效的图像去噪方法,它通过自适应地处理不同区域的噪声,能够在保持图像细节的同时,有效地去除噪声。
目录
- 一、SpatiallyAdaptiveSSID网络简介
- 二、源码包准备
- 2.1 测试集
- 2.2 模型权重文件
- 三、测试环境
- 四、推理测试
- 4.1 mat格式数据制作
- 4.2 mat数据测试
- 4.2.1 测试集路径修改
- 4.2.2 模型权重路径修改
- 4.2.3 官网测试
- 4.2.4 官网测试+保存推理结果
- 4.2.5 只输入噪声数据+保存推理结果
- 4.3 png数据直接测试
- 4.4 推理速度
- 4.4.1 GPU
- 4.4.1 CPU
- 4.5 效果展示
- 五、总结
一、SpatiallyAdaptiveSSID网络简介
Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising (SpatiallyAdaptiveSSID) 是一种新的自监督真实世界图像去噪视角。这种方法的主要贡献是根据图像特征学习去噪网络的空间自适应监督。
对于平坦区域,该方法将盲点网络扩展到盲邻域网络(blind-neighborhood network, BNN),以提供监督信息。对于纹理区域,该方法提出了一个局部感知网络(locally aware network, LAN)来从相邻像素中学习网络。
该方法的实验结果显示,它能够很好地处理平坦区域和纹理区域的噪声,对于具有空间相关噪声的真实sRGB图像具有很好的去噪效果。然而,具体的去噪效果可能会受到图像内容、噪声类型和噪声级别等因素的影响。
二、源码包准备
官网源码包链接为:SpatiallyAdaptiveSSID
我在官网源码包基础上修改了很多代码,也添加了很多实用脚本,建议学者配套我提供的源码包学习此教程,我提供的源码包获取方法为文章末扫码到公众号中回复关键字:图像去噪SASSID。获取下载链接。
论文地址:论文
下载源码包解压后的样子如下:
2.1 测试集
配套教程中提供了部分测试集,位置如下,其中data中的mat格式的数据,Test_Images是png或JPG数据。
2.2 模型权重文件
模型权重文件位于pretrained_models文件夹下:
三、测试环境
下面是我自己的测试环境,供参考,其它版本也行。
四、推理测试
4.1 mat格式数据制作
官网源码中要求导入数据是mat格式数据,关于什么是mat格式数据,已经怎么制作mat格式数据,看另外博文:制作mat格式数据
在我提供的源码包中有一个.png图像转mat格式格式数据的脚本,如下:
使用此脚本需要修改的地方如下,修改路径还有文件名,注意转换干净图像和噪声图像,要对应修改mat文件名,下面我用不同颜色字体区分出来了。
运行脚本后的结果如下:
4.2 mat数据测试
4.2.1 测试集路径修改
下面是导入测试集路径的地方,用绝对路径:
4.2.2 模型权重路径修改
下面是模型权重修改的地方:
4.2.3 官网测试
在官网源码中,测试脚本为validate_SIDD.py,如下,只能给出测试的PSNR值,没有将推理结果保存下来,而且测试噪声图像必须有配对的干净图像。
直接运行此脚本的输出为:
4.2.4 官网测试+保存推理结果
如果你想将推理结果保存下来,同时输出PSNR值,运行我提供的predict_PSNR.py脚本,如下:
此脚本只需要修改图像保存路径即可:
保存的推理结果如下:
4.2.5 只输入噪声数据+保存推理结果
如果你想只输入噪声图像测试,不要输入干净图像,也不要输出指标PSNR,运行我提供的脚本predict_mat_onlyNoise.py,如下:
4.3 png数据直接测试
官网提供的原始方法,需要转mat格式数据,很麻烦,我重新写了两个脚本,直接读入png噪声图像的路径,批量推理测试后保存到指定路径中,这两个脚本一个是GPU推理的,脚本为predict_GPU.py;另外一个是CPU推理的,脚本为predict_CPU.py,如下:
使用上面两个脚本,只需要修改png格式噪声图片文件夹路径和模型推理结果输出路径,如下:
运行脚本后的结果如下:
4.4 推理速度
4.4.1 GPU
GPU测试环境:Nvidia GeForce RTX 3050,测试图片480*360,推理时间:4.75ms/fps。
4.4.1 CPU
测试环境:12th Gen Intel® Core™ i7-12700H 2.30 GHz,测试图片480*360,推理速度:256.76ms/fps。
4.5 效果展示
测试的噪声图像,有真实的噪声图,也有合成的噪声图,具体去噪效果如下:
五、总结
以上就是图像去噪SpatiallyAdaptiveSSID网络推理测试的详细图文教程,官网提供了测试源码,没有开源训练源码。
总结不易,多多支持,谢谢!
欢迎扫码关注 视觉研坊,学习更多经典和最新开源资源,一起交流图像处理。