Spectral super-resolution meets deep learning: Achievements and challenges

（面向深度学习的光谱超分辨率：成就和挑战）
光谱超分辨率是一种从RGB图像获取高光谱图像的重要技术，可以有效地克服高光谱图像获取成本高、空间分辨率低的缺点。从线性插值到稀疏恢复，光谱超分辨率技术得到了快速发展。在过去的五年里，随着深度学习在各种计算机视觉任务中的起飞，基于深度学习的光谱超分辨率算法也出现了爆炸式增长。从残差学习到物理建模，用于光谱超分辨率的基于深度学习的模型多种多样。本文收集了几乎所有基于深度学习的sSR算法，并根据它们的主要贡献进行了综述，涉及网络架构，特征提取和物理建模。本文提出了一个关于基于深度学习的光谱超分辨率算法的基准测试，除了光谱恢复外，还系统地讨论了它们在彩色化和光谱压缩成像中的潜力。此外，我们提出了我们对基于深度学习的sSR的挑战和可能的进一步趋势的看法。具有泛化能力的轻量级模型架构对于相机内处理至关重要。应仔细考虑模型的稳健性，以管理具有各种退化的数据。最后，多任务的sSR满足人类的多种需求，同时实现任务间的相互改进，包括低层与低层，低层与高层，数据重建与参数反演。

Introduction

高光谱成像以其良好的光谱分辨率而闻名，它能捕捉到物体更多的物理辐射特征。与多光谱（MS）或RGB图像不同，HS图像的每个像素包含连续光谱，这在几个领域中引起了广泛关注，例如食品安全，农业监测，地质勘探，环境监测，医学诊断和遥感。在一个数据立方体中涉及丰富的空间和光谱信息，HS图像是许多进一步应用的良好数据源，包括图像分割，对象识别，轨迹跟踪，检测。
然而，由于独特的成像过程和更精细的辐射捕获，HS图像总是遭受复杂的噪声，高采集成本，低信噪比和低空间分辨率。这一缺点大大限制了在空间和光谱域中需要高分辨率的应用的进一步发展。在过去的几年中，许多研究人员利用基于融合的方法来获得高分辨率HS图像，以将MS图像中的空间细节与HS图像中的更精细光谱相结合。然而，在实践中，对应的MS-HS图像对几乎不可用。在这些方法中存在三个典型的困难。(1)HS图像成本高。大多数HS图像用于商业用途，不能免费获得。(2)HS图像的复杂预准备。HS图像的预处理包括辐射校正、大气校正、几何校正和去噪，其中HS去噪由于噪声的多种类型而非常复杂。
直接从MS或RGB图像生成HS图像是受计算成像技术启发的经济实惠的方式。RGB或MS传感器的图像形成被定义为
𝜙(𝜆)表示传感器在λ波长处的光谱响应。𝛬表示传感器的整个接收谱。换句话说，观察到的通道是在接受谱上的积分𝛬。在离散设置中，它等于

早期的尝试是优化线性模型以实现光谱超分辨率，例如主成分分析和Karhunen-Loève变换。这些方法旨在通过k个基函数v_j搜索表示每个高光谱像素的完美线性组合p_j
2008年，Parmar等人首先采用稀疏恢复来增强RGB图像的频带数。它们用稀疏表示来表示HS图像：
然后，Nguyen等人提出了一种高光谱数据集，通过训练策略恢复HS图像，自2014年以来，基于学习的光谱超分辨率方法已经涌现。RoblesKelly [36]利用材料外观信息来更好地捕获训练集中的特征。Arad等人使用K-means奇异值分解来提取光谱字典。Wu等人转移了他们的空间超分辨率算法和增强的字典学习。
代替考虑物理成像过程，另一类方法直接将MS图像映射到HS域，特别是在深度学习之后变得越来越流行。基于深度学习的方法的目标是
(8)是基于深度学习的光谱超分辨率的目标函数。深度学习的目标是找到能够恢复理想高光谱图像的最佳参数。
深度学习可以追溯到1958年，Rosenblatt等人提出了感知器算法，开启了神经网络学习的第一波浪潮。1986年，Rumelhart和欣顿将反向传播引入多层感知器（MLP）以优化权重。1989年，LeCun等人设计了一种基于卷积的神经网络，它是卷积神经网络的雏形。与MLP相比，CNN以其对局部窗口的关注而闻名，更适合于图像处理。因此，在频谱超分辨率中，除了CNN，几乎没有其他基于深度学习的方法。早期基于深度学习的工作是由Galliani等人提出的DenseUnet。Xiong等人改进了非常深的空间超分辨率残差CNN，以增强RGB图像的光谱分辨率。Rangnekar等人训练了一个Unet架构，然后是一个带有生成对抗网络（GAN）的31核1 × 1卷积层，以恢复高光谱图像。Han等人使用K均值对RGB图像进行聚类，并采用不同的反向传播神经网络（BPNN）来恢复不同的光谱类别。Fu等人将光谱响应模拟和光谱恢复与空间光谱CNN相结合。后来，Koundinya等人比较了频谱重建中的2D和3D卷积。Wang等人提出了一种具有空间光谱卷积的优化模型，以重建高光谱图像。Li等人利用具有双剩余注意力块的自适应加权注意力网络，在2020年明确建模通道之间的相互依赖性。马丁内斯等人使用光谱响应用退化损失预训练模型，并将模型转移到新的光谱数据集中。基于深度学习的方法已被证明在光谱超分辨率方面比传统的稀疏恢复取得了很大的进步。然而，由于深度学习的快速发展，研究人员提出的网络是海量的。
在本文中，我们回顾了2017年至2022年基于深度学习的光谱超分辨率的42篇论文。随着这些方法的发展，它们的主要贡献可以分为十种策略，如图1所示。(i)不像Unet 最初在图像分割中提出。由于Unet网络运行速度快、性能好，许多早期的光谱超分辨方法都采用Unet网络作为基本网络。(ii)残差学习。模型深度已被证明对深度学习的性能非常重要。然而，消失或爆炸梯度妨碍训练收敛。残差学习是构建更深网络的有效策略，吸引了许多关于光谱超分辨率的工作。(iii)生成对抗网络（GAN）。GAN [94]提出通过交替优化生成器和鉴别器来改进训练过程。一些研究者把光谱超分辨率看作是图像的生成，并采用遗传算法来解决。（iv）多特征融合。浅层或深层阶段的多个特征包含不同的信息，这些信息对模型性能都有很大的意义。密集连接[95]是重用这些功能的常用方法。此外，瓶颈保持低计算复杂度。(v)2D-3D深度学习中的经典卷积通常是2D的。考虑到高光谱图像的空间-光谱特征是三维的，一些工作将二维卷积与三维卷积相结合来实现光谱超分辨率。(vi)关注受分类中的挤压和激励网络的启发，注意力被广泛用于各种类型的CNN中，以提高频谱恢复。(vii)退化模拟。2018年，Fu等人设计了一个光谱超分辨率框架，通过基于卷积的退化模拟包含光谱退化和恢复。在此基础上，有许多研究改进退化模拟退化损失。(viii) Group recovery。许多研究者认识到不同光谱通道或不同目标之间的差异，将输入特征在空间域或光谱域进行分组，并利用不同的模型来提高其光谱分辨率。(ix)模型嵌入式学习。深度学习的数据驱动建模是一把双刃剑。一方面，用户不需要学习模型是如何工作的，直接通过将数据输入到训练的模型中来生成结果。另一方面，基于深度学习的方法总是因为缺乏物理可解释性而受到指责。为了打开深度学习的黑盒子，一些作品利用物理模型来帮助基于CNN的建模。(x)联合超分辨。除了光谱超分辨之外，一些研究者将光谱超分辨和空间超分辨结合起来，在端到端网络中解决。据观察，基于深度学习的sSR在网络架构、特征提取和物理建模方面发展迅速。
这项工作的动机如下。首先，就我们所知，目前还没有对基于深度学习的光谱超分辨率技术进行全面的综述。其次，光谱超分辨率方法可以部署到许多场景中，包括图像彩色化，光谱恢复和光谱压缩成像，而现有的工作只解决一个特定的任务。[96]是一个关于光谱恢复的最新综述，但它只讨论了光谱恢复，并没有提出一个基准。在本文中，我们对基于深度学习的方法进行了全面的综述，并比较了三种应用中的模型性能。

Method review

研究人员已经研究基于深度学习的sSR方法近十年了。随着深度学习的快速发展和高光谱数据集的日益丰富，基于深度学习的超光谱遥感图像识别技术得到了广泛的应用。本文主要调查了2017年以来的42部作品，如表1所示。
如第1节所述，上述十个核心思想涉及网络架构，特征提取和物理建模。具体而言，网络架构对于基于深度学习的方法非常重要，合适的架构可以带来更好的性能，常见的架构包括Unet-like，残差学习和GAN。其次，光谱超分辨率最重要的处理是空间-光谱特征提取，充分挖掘图像中的空间-光谱信息有利于高光谱图像的恢复。多特征融合、2D-3D和Attention都是提取空间-光谱特征的有效手段。最后，在算法中考虑物理成像模型也是光谱超分辨研究的一个新趋势。许多工作尝试在他们的CNN中使用物理建模，主要思想包括退化模拟，组恢复和模型嵌入学习。请注意，一些作品可能包含多种策略。为了保留他们的原始贡献，本次审查没有将他们分为单独的类别。

Network architecture

Unet-like

Unet首先在图像分割中被提出，并在各种任务中受到广泛关注。由于快速运行和多尺度特征重用，Unet是许多早期基于深度学习的sSR方法中的主要框架，如图3所示。在RGB图像的早期工作中，Rangnekar在Unet之后添加了一个31波段1 × 1卷积层，以增加通道数。和Alvarez-Gila等人取代了Unet中的Batch Normalization层。为了改进Unet中的特征提取，Galliani等人采用Tiramisu类网络，由密集连接的块组成。此外，Yan 等人在Tiramisu类网络中引入了多尺度卷积。
考虑到现实世界的成像，Stiebel等人使用Unet来解决基于非理想成像的sSR。2019年，Lore等人首先提炼了光谱超分辨率的概念，包括RGB到高光谱的恢复和选择波段到高光谱的重建。此外，他们还利用Unet讨论了不同的案例。随着越来越多的CNN模块被提出，Unet中的各种特征提取被提出。Banerjee等人用XResnet改进了Unet。Yan等人将类别和坐标信息注入Unet以增强特征提取。
研究人员在sSR中使用Unet类架构有三个主要原因。首先，通过多次上下采样，Unet可以利用图像中的多尺度特征。其次，下采样特征的运行时间显著减少。因此，计算速度非常高。最后，浅层特征包含丰富的纹理和结构，重用浅层特征减轻了下采样造成的信息损失。
不过，Unet的弱点也是显而易见的。一方面，下采样确实提高了频谱恢复，但另一方面，信息丢失是不可避免的。因此，Unet类方法生成的图像通常会丢失一些空间细节。

Residual learning

网络深度对于深度学习中的模型性能非常有意义。不幸的是，深度CNN中的梯度在反向传播过程中会消失。残差学习是一种构建从浅层到深层模块的恒等映射的策略，既没有额外的参数也没有计算复杂性，它能够解决深层CNN中的消失梯度。
受这些动机的启发，残差学习是光谱超分辨率中广泛使用的策略，如图4所示。早在2017年，Xiong等人首先改进了一种非常深的空间超分辨率残差CNN，以增强RGB图像的光谱分辨率。Han等人利用全局跳跃连接来增强高频频谱内容的恢复。对于全局剩余连接，Can等人没有建立一个非常深的CNN，而一个中等深度的CNN在两个5×5卷积之间有两个残差块。2019年，Gewali等人使用具有1D卷积的深度残差CNN逐像素重建高光谱图像。结合致密块体，Zhao等人利用剩余密集块提取多尺度特征以明确地考虑频谱上下文信息。在认识到光谱带之间的差异后，Hang等人利用相关矩阵对谱带进行分组，并分别利用残差网络进行重构。
虽然残差学习不需要更多的参数或计算复杂度，但它不能直接用于光谱超分辨。由于sSR中的输入通道数和输出通道数不同，因此逐元素求和不适用。因此，在求和之前应该采用更多的卷积，这导致所添加的特征在物理上不可解释为其他图像增强（诸如去噪、去雾和去噪）中的残差。

GAN

在早期的光谱超分辨率研究中，一些方法将空间分辨率看作图像生成，并利用遗传算法求解。GAN [98]提出通过交替优化生成器和鉴别器来改进训练过程。给定一个生成器𝐺（𝑀;𝜃_𝑔），一个鉴别器𝐷（𝑥;𝜃_𝑑），输入分布𝑝_𝑚𝑠和目标高光谱分布𝑝_ℎ𝑠,，基于GAN的sSR的目标是玩一个两个玩家的极大极小游戏，如图5所示。带值函数𝑉（𝐺，𝐷）：
早在2019年，Alvarez-Gila等人采用PatchGAN [99]作为鉴别器来训练没有Batch Normalization层的Unet类架构，以提高RGB图像的光谱分辨率。同年，Rangnekar等人训练了一个Unet架构，然后是一个带有GAN的31波段1 × 1卷积层，以恢复航空高光谱图像。Lore等人使用条件GAN来训练CNN，并讨论了他们改进的光谱超分辨率概念。在此之后，很少有采用GAN作为训练的sSR方法。2021年，Zhu等人提出了一种退化模型感知的高光谱图像生成方法，并利用GAN实现了无监督的光谱重建。
从基于GAN的光谱超分辨率方法的发展来看，我们可以发现，只有将sSR作为图像生成的工作才会使用GAN。显然，GAN的缺点是重建图像中不可避免的假信息。因此，如果在任务中无法获得地面实况，GAN是获得自然视觉性能的好选择。然而，光谱超分辨率恢复的光谱应尽可能类似于真实的高光谱传感器的观察。因为，光谱具有物理意义，可以反映被观测物体的辐射特性。

Feature extraction

Multi-feature fusion

与浅CNN相比，卷积神经网络（CNN）的记忆和特征随着它们的加深而受到影响。虽然剩余学习是将浅层特征引入深层的可接受的方法，但组合特征通过身份映射依赖于浅层特征。在许多情况下，浅层和深层特征都是非常重要的光谱超分辨率。因此，提出了用于多特征融合的密集连接，以平等地重用这些特征，如图6所示。Galliani 和Yan采用了一种类似Tiramisu的网络，将密集块嵌入到Unet中以解决光谱超分辨率。Shi等人设计并比较了两种类型的具有剩余跳过的CNN，然后发现通过路径加宽融合来连接密集连接可以提高模型性能。Nathan等人[63]提出了一个具有密集分支和类Unet分支并行的网络。
Peng等人融合了来自堆叠的残余通道注意力块的多深度特征，以改善频谱恢复。2020年，Zhang等人提出了多径函数混合块，以自适应地调整学习的逐像素频谱映射。
具有密集连接的多特征融合总是需要额外的瓶颈层来减少级联特征以显著提高计算量。如果密集块的使用是有限的，那么由瓶颈引入的参数是可以忽略的。然而，当在模型中重复使用密集块时，计算量增加。

2D–3D

一些研究人员认为，考虑到高光谱图像的空间光谱特征，经典的2D卷积可以学习非线性函数。然而，他们忽略了更深的通道间或中间层之间的空间特征的相关性。人类动作识别包括一种可以从视频中捕获时空特征的卷积。2D和3D卷积之间的差异如图7所示。因此，为了利用高光谱图像中的空间-光谱特征，3D卷积也用于光谱超分辨率。
2018年，Koundinya等人比较了2D和3D卷积用于RGB图像的光谱重建的性能，并提出3D CNN更合适。Li等人利用具有结构张量约束的2D和3D残差注意力来恢复高光谱图像。随后，Li等人进一步探索了具有2D和3D卷积的二阶通道注意力和结构张量注意力，以改善频谱恢复。
从完整的基于3D卷积的CNN到2D-3D CNN，频谱超分辨率中的3D卷积没有获得显著的关注。最新的作品仅采用3D卷积作为并行分支。3D CNN的一个严重问题是3D内核中的大量参数。通过3D卷积，模型真正重建更理想的高光谱图像，但需要相当长的时间[73]。将2D CNN与3D卷积嵌入可以缓解这个问题。

Attention

自2017年提出注意力机制以来，许多工作已经实现了特征之间的差异。尤其是，Hu等人设计了挤压提取网络来捕获带间的注意力。在光谱超分辨率中，注意力机制是在过去三年中引入的。主要关注分为空间和光谱关注，如图8所示。此外，一些研究者通过结合两种注意力来利用混合注意力。

于2020，Li等利用具有双剩余注意力块的自适应加权注意力网络来显式地对通道之间的相互依赖性建模。同年，他们进一步改进了结构张量约束和2D-3D卷积的残差注意力，以恢复高光谱图像。Peng等人去除了残余通道注意力块的池化，并融合了多深度特征以改善频谱恢复。Nathan等人提出了一种基于注意力的网络，具有并行的密集分支和Unet-like分支。2021年，Li等人基于他们先前的2D-3D结构张量注意力探索了二阶通道注意力。Gu等人将2D和3D分支与不同的通道关注点相结合，并使用光谱响应来约束模型优化。此外，Zheng et al提出了一种CNN，由不同的空间-频谱分支组成，具有空间和频谱残差关注。2022年，Li等再次改进了混合残差关注度，将RGB输入的结构信息注入到中间特征中。Chen等人利用基于光谱注意力的网络来实现半监督光谱超分辨率。注意机制是探索图像内部关系的有效策略。它引导模型关注感兴趣的特征。空间注意捕捉空间差异，这可能代表了观察对象的类别。此外，光谱的关注，确保模型可以区分不同的辐射特性的波段。经典的注意力需要很少的额外参数，但需要更多的浮点计算，因为逐元素的产品。特别是，更多的作品喜欢使用混合注意力，从而进一步增加计算时间。

Physical modeling

Degradation simulation

与经典的图像重建类似，光谱超分辨率将信息从RGB域映射到高光谱域，表现出不适定的逆问题。因此，从恢复的高光谱图像退化的RGB图像应当与原始RGB图像一致，因为当使用固定传感器时，在成像期间仅发生一种固定类型的退化。许多研究者致力于在他们的工作中适当地模拟理想退化，以将一致性约束引入光谱超分辨率。它们可以分为两组，包括更好的输入和更好的约束模拟模拟，如图9所示。使用模拟以获得更好的输入的工作表明，重建图像的质量对用于生成输入图像的光谱响应函数敏感。其他研究更多地集中在增强输出图像的约束，例如光谱退化损失函数。
早在2018年，Fu等人模拟了几种光谱响应，并使用空间光谱CNN实现了光谱恢复。Kaya等人设计了两个网络来学习光谱响应和类别，并讨论了不同类型的光谱超分辨率框架的优点和缺点。Martínez等人使用光谱响应用退化损失预训练模型。Sun等人模拟了一个红外截止滤波器，以实现可学习的RGB合成。Li等人使用光谱响应来优化他们的2D- 3D基于注意力的模型。通过退化模拟，一些工作试图实现无监督的光谱超分辨率。2020年，Fubara等人使用学习的光谱基函数作为指导来实现监督和无监督的光谱恢复。Zhu等人提出了一种退化模型感知的高光谱图像生成，并利用生成对抗训练来实现无监督光谱重建。Chen等人利用物理光谱退化来实现半监督光谱超分辨率。退化模拟可以有效地改善恢复的高光谱图像的约束，特别是当特定的光谱退化矩阵是已知的。问题是退化模拟的误差进一步影响光谱超分辨率的精度。此外，提高退化模拟的效率和准确性是重要的。

Group recovery

高光谱图像中的局部和非局部相似性对于改善几种成像过程中的重建非常有用，例如去噪，空间超分辨率和图像融合。受这些工作的启发，在光谱超分辨率中引入局部和非局部相似性的两种类型的策略是空间组恢复和光谱组恢复，如图10所示。
在利用光谱超分辨率中的自相似性的早期工作中，Han等人使用K均值对输入RGB图像进行聚类，并采用不同的反向传播神经网络来恢复不同的光谱类别。在2022年，他们进一步聚类RGB图像，并使用多分支反向传播神经网络生成高光谱图像。这些工作是基于空间组恢复。对于光谱相似性，He等人使用光谱响应对光谱带进行分组，并应用深度展开网络来恢复它们。此外，Hang 等人用相关矩阵对谱带进行分组，并使用残差网络对它们进行重构。然而，有些作品与这一想法相反。他们认为不同波段或像素的信息会相互干扰。因此，它们分别实现了每个像素或波段的光谱超分辨率。Gewali等人使用了具有1D卷积的深度残差CNN，并重建了高光谱图像pixel-bypixel。Mei等人逐波段重建高光谱图像，然后使用空间光谱卷积对其进行优化。
无论是空间域还是频谱域的组恢复，都可以真正为网络注入更多的物理先验。然而，提出了以下问题：我们需要几组？分组恢复中的两个极端是：常用的空间域和谱域的随机恢复方法不对图像进行分组，且分组数最小为1; Gewali和Mei提出的另一种方法是逐像素或逐带对图像进行分组，其中组数最大。一些工作表明，组恢复的改善显著依赖于组数。他们还指出，不同传感器的最合适组号不同。因此，使基于深度学习的模型能够自适应地确定组数是基于组恢复的算法亟待解决的问题。

Model-embedded learning

深度学习确实获得了相当大的关注，因为它具有隐式学习复杂非线性映射的强大能力。然而，深度学习的黑匣子缺乏足够的物理可解释性，并且难以提供统一的框架来处理各种任务。基于物理模型的算法，如总变分，贝叶斯最大后验和其他优化算法，很容易部署到不同的任务，因为它们是基于特定的物理过程建模。自2017年以来，Sun等人建立了一座桥梁，将优化算法与图像恢复中的深度学习相结合。已经进行了许多使用物理模型来构建网络结构的工作。图11示出了在光谱超分辨率中将物理模型与深度学习相结合的想法。常见的方法可能是跟踪优化算法中的数据流，并构建基于深度学习的网络;这种方法也称为深度展开。
2019年，Wang等人提出了一种具有空间-光谱卷积的优化启发模型来重建高光谱图像。在第二年，他们设计了一个用于计算光谱成像的非局部展开网络。2021年，He等展开了基于半二次分裂的方法，并采用参数自学习来实现频谱恢复。在同一年，Zhu等通过展开修正的梯度下降过程提出了一种端到端CNN。最近，Ma等提出了一种交替方向乘子方法，实现了光谱和空间联合超分辨。Wei等人将光谱解混与CNN相结合，以增加RGB图像的光谱通道。Stiebel等人假设重建的光谱应该涉及基于物理模型推导的两个解决方案，并使用CNN来学习其中之一。
模型嵌入式学习将已知的物理先验引入深度学习，可以指导模型准确地学习到物理模型的对应过程。同时，模型嵌入式学习保持了深度学习的端到端方式和数据驱动训练。该优点缓解了传统物理模型需要大量手动调整的问题。然而，现有的基于模型嵌入学习的方法是多种多样的，并没有工作已经证明哪种类型的这些方法是最适合的光谱超分辨率。此外，频繁的算术计算导致更多的浮点运算和更长的基于模型嵌入式学习的深度学习sSR的运行时间，即使参数很少。

Joint super-resolution

近年来，许多工作不仅实现了光谱超分辨，而且在一个模型中处理空间超分辨，即联合超分辨。光谱超分辨与联合超分辨的区别在于是否同时提高了空间分辨率。可用于解决联合超分辨率的框架包括两种类型。一种方法是用不同的模型依次解决这些问题，另一种方法是将空间退化考虑到光谱超分辨率。
最早的联合超分辨率工作是由Mei等人提出的。其中光谱超分辨率网络与空间超分辨率网络堆叠，以同时增强RGB图像的空间和光谱分辨率。2022年，He等提出了一种通用的CNN，通过展开一种考虑光谱退化和空间退化的基于优化的算法。Ma等人提出了一种深度空间-光谱特征交互网络来生成高分辨率高光谱图像。同年，Ma等人在此基础上，提出了一种同时提高空间分辨率和光谱分辨率的交替方向乘子方法，该方法考虑了空间超分辨率和光谱超分辨率的观测模型。

Applications and comparisons

光谱超分辨率可以有效地增强观测对象的光谱信息，使个体从另一个角度探索世界。sSR导出的应用被表示为提供关于所捕获的图像的辐射特性的更多信息。正常的应用是光谱恢复，从低光谱分辨率图像恢复高光谱信息。在这篇综述中，我们进一步讨论了基于深度学习的sSR算法在其他两个应用中的潜力，即图像彩色化和光谱压缩成像，可以直观地展示光谱超分辨率的重要性。图12示出了三个应用之间的差异。
光谱恢复在RGB图像和高光谱图像之间建立了桥梁。高光谱图像涉及具有多个波段的精细光谱辐射特性，总是遭受低空间分辨率和高获取成本。RGB和MS图像因其快速成像、高空间分辨率和无处不在的数据源而备受青睐。MS图像和RGB图像之间的差异在于它们的波长范围。RGB图像仅覆盖具有三个波段的可见光谱，而MS图像通常覆盖具有更多光谱波段的更宽光谱范围。同时，与高光谱图像相比，无论是RGB还是MS图像，都存在光谱分辨率较低的问题。光谱恢复是光谱超分辨率的一种应用，可以直接从可用的RGB图像重建高光谱图像。如图12（B），我们将讨论基于光谱超分辨率的RGB到高光谱映射的光谱恢复，这是由图像恢复和增强新趋势（NTIRE）提出的被广泛接受的基准。
执行图像彩色化以重建所观察到的灰度照片的合理彩色版本，以将白色图像转换为RGB图像。给定的灰度图像仅由光谱域中的一个频带组成，而重建的RGB图像具有三个频带，如图12（a）项所示。因此，图像彩色化也是光谱超分辨率的一对三映射。
光谱压缩成像旨在从一组欠采样观察中获取拍摄对象的大量空间-光谱信息，这可能是由于实际成像过程中对采集时间和功耗的限制。编码孔径快拍光谱成像（CASSI）系统是最常用的系统。图13示出了CASSI的示意图。在CASSI中，编码孔径通过其透射函数产生空间调制，并且色散棱镜根据波长相关色散函数沿着空间维度产生光谱剪切。最后，通过整合编码信息来生成2D压缩图像。如图在图12（c）中，光谱压缩成像尝试从编码的2D压缩图像重建理想的高光谱图像;它是光谱超分辨率一对多映射。
最重要的是，本文提出了在相同的训练和测试框架下的端到端基准。1所有方法都在没有任何其他帮助的情况下进行了比较。据我们所知，图像着色最初是作为一个一至三的映射着色卡通图片。因此，大多数图像彩色化方法需要弱监督或类别信息作为指导。对于光谱压缩成像，一对多映射，编码孔径总是被认为是一个先验。然而，所选择的光谱超分辨率方法不依赖于端到端方式的任何其他辅助。他们可以直接增加光谱波段数给定的低光谱分辨率的图像作为输入。在这种情况下，我们没有与特殊任务方法进行比较，该方法考虑了额外的先验。