基于深度学习的单帧图像超分辨率重建综述

论文标题：基于深度学习的单帧图像超分辨率重建综述
作者：吴靖，叶晓晶，黄峰，陈丽琼，王志锋，刘文犀
发表日期：2022 年9 月
阅读日期：2023.11.18
研究背景：
图像超分辨率重建是计算机视觉中的基本图像处理技术之一，不仅可以提高图像分辨率改善图像质量，还可以辅助其他计算机视觉任务. 近年来，随着人工智能浪潮的兴起，基于深度学习的图像超分辨率重建也取得了显著进展. 本文在简述图像超分辨率重建方法的基础上，全面综述了基于深度学习的单帧图像超分辨率重建的技术架构及研究历程，包括数据集构建方式、网络模型基本框架以及用于图像质量评估的主、客观评价指标，重点介绍了根据网络结构及图像重建效果划分的基于卷积神经网络的方法、基于生成对抗网络的方法以及基于Transformer的方法，并对相关网络模型加以评述和对比，最后依据网络模型和超分辨率重建挑战赛相关内容，展望了图像超分辨率重建未来的发展趋势.
方法和性质：

退化模型

简单退化模型
一般退化模型
🌟大规模退化模型
无监督退化模型-生成对抗网络

上采样指的是将原始的LR图像转换为HR图像的操作，它作为SR中必不可少的环节，在网络模型框架中占有重要地位

上采样
后上采样
渐进式上采样
迭代式上采样

重建方法

卷积神经网络的 SR
浅层神经网络
残差网络
递归神经网络

评价方法

主观
客观：峰值信噪比、结构相似度、信息保真度、学习感知度

—
7. 研究结果
第一阶段，多模态非联合方法和联合方法的分类准确率值分别为86.43%和92.86%。第二阶段和第三阶段期的该值分别为92.14%和99.29%。

8.创新点
9.数据

10.结论

11.研究展望

12.重要性

句式积累：

相比于设计更复杂的光学成像系统来提升图像质量，图像 SR技术能够在达到相同效果的同时大大降低成本，也能突破
衍射极限对光学成像系统的限制，获取更高分辨率的重建图像，因此在视频监控、医疗成像、卫星遥感等领域有着广泛的应用
相较于MISR需要多张同一场景具有亚像素位移的 LR图像作为输入，且图像间亚像素位移的不可预知性给充分利用图像的混叠信息带来了一定难度，SISR只需输入一张LR图像即可重建出图像的纹理细节，具有较高的实用价值，因此是目前图
像超分辨率重建领域的主要研究方向.
传统的方法大多是通过提取对图像轮廓等纹理细节表达能力有限的图像底层特征来重建高分辨率图像，故在很大程度上限制了图像的重建效果.
相较于传统方法，基于深度学习的方法能够从数据集中提取到更具表达能力的图像特征，自适应地学习低分辨率与高分辨率图像之间的映射关系，不仅有效地克服了图像获取过程中出现的模糊、噪声等退化因素的影响，同时在各种标准数据集上取得了更好的重建效果并展现出更优的网络性能.
本文在前人的基础上，首先以网络模型的设计、训练、测试为逻辑思路介绍图像 SR 的相关知识，完善并丰富数据集构建方式、网络模型基本框架以及图像质量评价指标等相关内容；其次根据学习
模式的不同将现有方法划分为监督式 SR 和无监督式SR，并根据模型的网络结构及设计策略，重点对监督式SR 典型及最新的研究成果加以评述，力求系统和全面地介绍基于深度学习的 SISR 方法；最后从数据集构建方式、网络模型研究进展及SR挑战赛等角度分析基于深度学习的图像 SR未来的发展趋势，以促进基于深度学习的SISR技术今后的发展及应用.