学习资料
- 论文题目：增强型超分辨率生成对抗网络（ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks）
- 论文地址：[1809.00219] ESRGAN：增强型超分辨率生成对抗网络
- 代码：xinntao / ESRGAN：ECCV18 研讨会 - 增强的 SRGAN。Champion PIRM Challenge 关于感知超分辨率。训练代码位于 BasicSR 中。
1. WHY
SRCNN→SRGAN
以PSNR为导向的方法往往输出过于平滑的结果，缺乏足够的高频细节，因为 PSNR指标在根本上与人类观察者的主观评估不一致。
所以提出了基于感知驱动的方法。 感知损失（感知损失聚焦特征空间，通过比较生成图像与真实图像在预训练网络中的特征，使模型学习到高级语义特征。这有助于生成更逼真自然、纹理细节丰富且视觉效果更好的超分辨率图像，提升模型对图像的理解与重建能力）被提出用于在特征空间而不是像素空间中优化超分辨率模型。GAN被引入到SRIR，以鼓励网络倾向于看起来更像自然图像的解决方案。进一步结合语义图像先验（利用图像中物体、场景等的已有知识。比如知道天空在上且颜色均匀，以此引导模型生成更合理的高分辨率图像，改善纹理细节，让结果更符合视觉认知），以改善恢复的纹理细节。
追求视觉愉悦结果的一个里程碑是 SRGAN。基本模型是通过残差块 [18] 构建的，并在 GAN 框架中使用感知损失进行优化。通过所有这些技术，SRGAN 显著提高了重建的整体视觉质量，超过了以 PSNR 为导向的方法。
SRGAN→ESRGAN
尽管已有如 SRGAN 等感知驱动方法改善了视觉效果，但生成的细节仍伴有不良伪影，与真实图像存在明显差距，因此需要进一步提升超分辨率图像的视觉质量。
2. WHAT
我们采用SRResNet的基本架构，其中大部分计算在LR特征空间中进行。我们可以选择或设计“基本模块Basic Block”（例如，残差模块，密集模块，RRDB）以获得更好的性能。
2.1. 生成器改进
为了进一步提高SRGAN恢复图像的质量，我们主要对生成器的结构进行了两项修改：
2.1.1. 去除 BN 层
原因
BN 层在训练时用批次均值和方差归一化特征，测试时用训练集估计均值和方差。当训练和测试数据集统计特征差异大时，会引入伪影且限制泛化能力。在 GAN 框架下训练且网络深时，BN 层更易产生伪影，违反稳定训练需求。
效果
去除 BN 层可实现稳定训练和一致性能，节省计算资源和内存，在某些情况下还能带来轻微性能改善。
2.1.2. 采用 RRDB 块
结构特点
RRDB 具有残差 - 残差结构，在不同层次进行残差学习，主路径中使用稠密块，网络容量因稠密连接而提高。比 SRGAN 中原始残差块更深更复杂。
