Cross-Resolution知识蒸馏论文学习

TPAMI 2024：Pixel Distillation: Cost-Flexible Distillation Across Image Sizes and Heterogeneous Networks

在这里插入图片描述

教师模型使用高分辨率输入进行学习，学生模型使用低分辨率输入进行学习

学生蒸馏损失：Lpkd和Lisrd

Lpkd：任务损失+logits蒸馏损失或者特征蒸馏损失

Prediction-based distillation methods：

在这里插入图片描述

Feature-based distillation methods：

在这里插入图片描述

Lisrd：低分辨率输入的超分辨率自监督损失

在这里插入图片描述

TGRS 2024：Learning Cross-Modality High-Resolution Representation for Thermal Small-Object Detection

在这里插入图片描述

从高分辨率的RGB教师检测模型—到低分辨率的红外学生模型，三种蒸馏损失学习：Lsrg，Lcma，Lr

SRG Distillation：使用教师和学生模型RoI后的特征，对低分辨率的学生RoI特征进行上采样学习，然后进行L1蒸馏损失

在这里插入图片描述

CMA Distillation：学生特征的self-correlation与教师特征和学生特征的cross-correlation矩阵进行L1蒸馏

在这里插入图片描述

Response Distillation：对前景区域预测的reg和cls的response进行L1蒸馏，通过GT的bounding box计算前景mask矩阵

在这里插入图片描述

总的学生任务损失

在这里插入图片描述

TGRS 2024：HiCD: Change Detection in Quality-Varied Images via Hierarchical Correlation Distillation

在这里插入图片描述

高质量的遥感图像输入训练的变化检测器作为教师，经过降质处理的遥感图像输入训练的变化检测器作为学生

学生损失：

在这里插入图片描述

backbone后的semantic feature的蒸馏损失Lsfd：

（1）基于cosine-similarity的L2蒸馏损失：Ls2，Ls1

在这里插入图片描述

（2）基于cosine的变化前与变化后的cross-correlation的蒸馏损失：

在这里插入图片描述

（3）Global-Correlation Distillation：在每个轮次的迭代过程中选取一些特征存储到memory bank中，维护一个global 特征Fq，计算变化前与变化后特征与Fq的cross-correlation，进行蒸馏损失的计算

在这里插入图片描述

总的backbone后的semantic feature的蒸馏损失：

在这里插入图片描述

变化前后特征交互之后的变化特征的蒸馏损失Lcfd：只是对变化特征进行self-correlation，进行蒸馏

在这里插入图片描述

TCSVT 2024：Low-Resolution Object Recognition With Cross-Resolution Relational Contrastive Distillation

在这里插入图片描述

针对于低分辨率的人脸识别，提出了一种高分辨率的教师模型到低分辨率学生模型的Cross-Resolution Relational Contrastive Distillation方法，方法的核心：对比学习，self-correlation

使用一个learnable模块来学习correlation，两个样本在教师模型输出特征的Correlation称之为Vt，两个样本在教师模型和学生模型的Correlation称之为Vt,s

在这里插入图片描述

同一个样本的Vt称之为正样本对，不同样本的Vt为负样本对

同一个样本的Vt,s为正样本对，不同样本的Vt,s为负样本对

引入h函数衡量Vt与Vt,s之间的Correlation

在这里插入图片描述

对h函数使用Log对比损失进行蒸馏约束，最大化正样本对的Correlation，最小化负样本对的Correlation

在这里插入图片描述

总的损失函数为：任务损失+logitsKD损失+所提出的对比Correlation损失

在这里插入图片描述

PR 2024：Dynamic semantic structure distillation for low-resolution fine-grained recognition

在这里插入图片描述

教师模型：high-resolution的mixed images；学生模型：low-resolution的mixed images

semantic consistency learning and decoupled knowledge distilling.

MICCAI 2024：Progressive Knowledge Distillation for Automatic Perfusion Parameter Maps Generation from Low Temporal Resolution CT Perfusion Images

在这里插入图片描述

高分辨率教师模型，低分辨率学生模型

特征蒸馏+logits蒸馏

在这里插入图片描述

IJCNN 2024：Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation

在这里插入图片描述

高分辨率人脸图像输入的模型作为教师，低分辨率人脸图像输入的模型作为学生

Relation-level distillation

为了建模特征之间的relation，定义了一个relation extraction networks，包含一个linear transformation layer和一个ReLU激活函数

在这里插入图片描述
rti,j表示第i个样本与第j个样本在教师模型中的relation，rt,sij表示第i个样本在教师中与第j个样本在学生中的relation

根据对比学习，使用rt作为监督信号，来最大化rts与rt的互信息，

定义positive pairs和negative pairs （同一个indentity的不同sample为positive pairs），定义基于对比学习的蒸馏损失

在这里插入图片描述

IJCAI 2024：Cross-Scale Domain Adaptation with Comprehensive Information for Pansharpening

在这里插入图片描述

如图1第一部分，基于parsharpening任务，引入了第二部分和第三部分的两个图像重建任务

基于parshapening主任务和高分辨率的图像重建任务，引入了cross-scale的蒸馏损失，feature-level的L2损失和MMD损失（maximum mean discrepancy (MMD)）

在这里插入图片描述
图中DSB是特征下采样模块

IGARSS 2024：Cross-Resolution Distillation for Building Extraction in Medium-Resolution Satellite Imagery

在这里插入图片描述

从高分辨率的教师模型蒸馏到低分辨率的学生模型。蒸馏方法：Cross-Resolution Knowledge Distillation (CRKD)

CRKD：两个损失函数，先把学生模型的特征E3，E4，E5特征上采样，然后分别使用MSE损失和SSIM损失进行蒸馏

GRSL 2024：Feature Super-Resolution Fusion With Cross-Scale Distillation for Small-Object Detection in Optical Remote Sensing Images

在这里插入图片描述

ECCV 2024：Multi-Scale Cross Distillation for Object Detection in Aerial Images

航空图像中的目标检测是一项长期存在且颇具挑战性的任务。尽管近年来取得了显著进展，但由于目标的尺度变化，大多数研究成果的性能仍不尽人意。解决这一问题的标准策略是多尺度训练，旨在学习尺度不变的特征表示。尽管这种多尺度策略取得了令人鼓舞的改进，但由于推理时间大幅增加，在实际应用中并不实用。此外，原始图像被调整为不同尺度，随后分别进行训练，不同尺度之间缺乏信息交互。
本文**提出了一种名为多尺度交叉蒸馏（MSCD）**的新方法来解决上述问题。MSCD 结合了多尺度训练和知识蒸馏的优点，使单尺度推理能够实现与多尺度推理相当甚至更优的性能。 具体而言，我们首先构建了一个并行多分支架构，其中每个分支共享相同的参数，但以不同尺度的图像作为输入。此外，我们设计了一个自适应跨尺度蒸馏模块，该模块可将不同分支的知识自适应地整合为一体。因此，使用 MSCD 训练的检测器仅需进行单尺度推理。大量实验证明了 MSCD 的有效性。无需复杂技巧，MSCD 就能助力主流的两阶段检测器在 DOTA 和 DIOR - R 数据集上分别比相应的单尺度模型提升约 5 个和 7 个平均精度均值（mAP）。

在这里插入图片描述

对正负样本的RoI特征进行L2损失的计算

在这里插入图片描述

ICASSP 2025：Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition

在这里插入图片描述

从高分辨率人脸到低分辨率人脸，对比relation知识蒸馏+logits 知识蒸馏

CVPR 2023：ScaleKD: Distilling Scale-Aware Knowledge in Small Object Detector

尽管通用目标检测取得了显著成功，但小目标检测（SOD）的性能和效率仍不尽人意。现有研究往往难以在推理速度与 SOD 性能之间取得平衡，而本文提出了一种新颖的尺度感知知识蒸馏（ScaleKD）方法，将复杂教师模型的知识迁移至紧凑的学生模型。
我们设计了两个新模块，以提升小目标检测知识蒸馏中的知识迁移质量：

尺度解耦特征蒸馏模块：该模块将教师模型的特征表示解耦为多尺度嵌入，使学生模型能够针对小目标进行显式的特征模仿。

跨尺度辅助模块：用于优化学生模型预测中嘈杂且无信息的边界框，这些边界框可能误导学生模型，削弱知识蒸馏的效果。通过建立多尺度交叉注意力层，捕捉多尺度语义信息，从而提升学生模型性能。

我们在 COCO 和 VisDrone 数据集上，使用多种类型的模型（即两阶段和单阶段检测器）对所提方法进行评估。ScaleKD 不仅在通用检测性能上表现出色，在小目标检测性能方面也取得了显著提升。

在这里插入图片描述

Scale-Decoupled Feature Distillation：对教师特征和学生特征分别使用多尺度dilation卷积之后提取的concat特征进行L2蒸馏损失的计算

在这里插入图片描述

Cross-Scale Assistant：使用教师模型的FPN特征和学生模型的FPN特征做cross-attention，然后用CSA得到的特征进行分类和回归的输出。对CSA的分类回归输出和学生模型的分类回归输出做知识蒸馏，Lcls和Lreg参照NIPS2017的工作。

在这里插入图片描述

arXiv 2023：Attention to detail: inter-resolution knowledge distillation

在这里插入图片描述

高分辨率训练教师模型，低分辨率训练学生模型

学生模型的总损失：任务损失Lce，特征蒸馏L2损失Lfm，注意力蒸馏损失LAT+

在这里插入图片描述

arXiv 2023：Enhancing Low-Resolution Face Recognition with Feature Similarity Knowledge Distillation

在本研究中，我们引入了一种特征知识蒸馏框架，利用从高分辨率（HR）图像中获取的知识来提升低分辨率（LR）人脸识别性能。

所提出的框架通过缩小二者之间的差距，将有用的特征从在高分辨率图像上训练的网络转移到在低分辨率图像上训练的网络。我们采用余弦相似度度量作为距离指标，以有效地对齐高分辨率和低分辨率特征。这种方法与传统的知识蒸馏框架不同，传统框架使用 Lp 距离指标，而我们的方法在缩小不同分辨率特征之间的差距时具有良好的收敛优势。

在 AgeDB - 30 基准测试中，我们的框架在不使用复杂技巧的情况下，比之前的最先进方法 Moschoglou 等人（2017 年）提升了 3% ，同时在高分辨率图像上也保持了良好的性能。通过统计分析验证了余弦相似度作为距离指标的有效性，这使得我们的方法成为在经常遇到低分辨率图像的实际应用中的一个有前景的解决方案。

在这里插入图片描述

TIP 2022：Feature Map Distillation of Thin Nets for Low-Resolution Object Recognition

在这里插入图片描述

高分辨率教师模型，低分辨率学生模型，学生模型总的损失函数：学生模型任务交叉熵损失LCL，logits蒸馏损失LKL，LFDD是特征解码器蒸馏损失，LFMC是特征一致性增强损失。

在这里插入图片描述

Feature Decoder Distillation (FDD)：计算教师模型与学生模型的Gram矩阵的相似性

在这里插入图片描述

Feature Map Consistency-Enforcement (FMC)：包含两个项，一个是L2 norm范数的平均值，做L1蒸馏损失（size Distillation）；另一个是cosine similarity的平均值（direction Distillation），并使用Huber loss来动态调整size和direction的差异

在这里插入图片描述

TCSVT 2022：Cross-Resolution Distillation for Efficient 3D Medical Image Registration

在临床中获取的图像，比如磁共振成像（MRI）扫描图像，通常是具有高空间分辨率的三维格式。现有的基于学习的医学图像配准模型会消耗大量的 GPU 内存，且推理时间长，难以在资源有限的诊断场景中部署。

为解决这一问题，我们并未像以往研究那样缩减模型规模，而是选择降低现有配准模型的输入分辨率，并通过知识蒸馏提升其性能。

具体而言，我们提出了一种跨分辨率蒸馏（CRD）方案，旨在让低分辨率模型在相应高分辨率模型的指导下进行训练。

然而，由于高、低分辨率模型的特征之间存在分辨率差距，直接进行蒸馏难以实现。

为应对这一挑战，我们首先引入了特征偏移教师模型（FST），用于对高、低分辨率模型的特征进行偏移和融合。

接着，我们利用这个教师模型，通过特征和形变场的蒸馏损失来引导低分辨率学生模型的学习。

最终，在推理过程中我们仅需使用经过蒸馏的学生模型。

在四个三维医学图像数据集上的实验结果表明，通过我们的 CRD 方案训练出的低分辨率模型，GPU 内存占用少于 20%，推理时间缩短至不到 20%，同时与相应的高分辨率模型相比，仍能取得具有竞争力的性能。

在这里插入图片描述

第一步：训练教师模型：采用resolution cooperative的训练方式。使用共享权重的方式，同时使用高分辨率图像和低分辨率图像训练一个教师模型。

第二步：feature shift：将低分辨率和高分辨率的decoder特征错位对齐，使得空间特征图大小一致，然后使用特征融合手段将FH和FL融合，得到教师的特征表示FT

第三步：Cross-Resolution Distillation：特征层面上的，MSE蒸馏损失；Deformation层面上的，MSE蒸馏损失。

NeurIPS 2022：Rethinking Resolution in the Context of Efficient Video Recognition

在这里插入图片描述

GRSL 2022：Enhancing Mid–Low-Resolution Ship Detection With High-Resolution Feature Distillation

在这里插入图片描述

ECCV 2022：Teaching Where to Look: Attention Similarity Knowledge Distillation for Low Resolution Face Recognition

在这里插入图片描述
深度学习在人脸识别基准测试中取得了出色的成绩，但对于低分辨率（LR）图像，其性能会显著下降。

我们提出了一种注意力相似性知识蒸馏方法，该方法将从高分辨率（HR）网络（作为教师网络）获得的注意力图转移到低分辨率（LR）网络（作为学生网络）中，以提升低分辨率图像的识别性能。

受人类能够基于从高分辨率图像中获取的先验知识，从低分辨率图像中大致判断出物体区域这一现象的启发，我们使用余弦相似度设计了知识蒸馏损失，以使学生网络的注意力与教师网络的注意力相似。

在各种与低分辨率人脸相关的基准测试中进行的实验证实，所提出的方法普遍提高了在低分辨率设置下的识别性能，仅通过转移精心构建的注意力图，就超越了当前最先进的结果。
在这里插入图片描述

Attention Similarity Knowledge Distillation：分别对教师模型和学生模型的空间注意力图和通道注意力图的1-余弦相似性做平均

在这里插入图片描述

CVPR 2022：Incremental Cross-view Mutual Distillation for Self-supervised Medical CT Synthesis

在这里插入图片描述

TIP 2021：Resolution-Aware Knowledge Distillation for Efficient Inference

在这里插入图片描述

Adversarial Learning：design a discriminator to decide whether the features are from HR images or LR images

Cross-Resolution Knowledge Distillation：logits的KL散度蒸馏 + 特征的L1距离蒸馏 + Maximum MeanDiscrepancy （MMD）蒸馏

在这里插入图片描述

学生模型的总的损失函数：

在这里插入图片描述

Artificial Intelligence in Medicine 2021：Resolution-based distillation for efficient histology image classification

在这里插入图片描述

2021：Multi-level Relational Knowledge Distillation for Low Resolution Image Recognition

在这里插入图片描述

两个stage：第一个stage，从复杂的教师模型蒸馏到简单的学生模型；第二个stage，从同样大小规模的Assist蒸馏到同样大小规模但是低分辨率输入的学生模型。

Multi-level relational蒸馏方法：

在这里插入图片描述

Center angle loss: 计算每个类特征的平均特征，使用点积得到两个样本的距离，对学生和教师的两个样本的距离度量做交叉熵

在这里插入图片描述

Inter-class Angle loss and Intra-class Angle loss：Linter和Lintra的表示形式和Lcenter一样都是交叉熵，定义相同类和不同类别的两个样本之间的特征距离作为度量，计算学生与教师模型的交叉熵。

在这里插入图片描述

CVPR 2021：Multi-Scale Aligned Distillation for Low-Resolution Detection

在这里插入图片描述

教师模型使用两个尺度的训练，高分辨率和低分辨率的输入，教师模型的损失函数为：

在这里插入图片描述

Cross Feature-level Knowledge Distillation：

在这里插入图片描述

TIP 2020：Efficient Low-Resolution Face Recognition via Bridge Distillation

野外环境下的人脸识别正朝着轻量化模型、快速推理速度以及分辨率自适应能力的方向发展。在本文中，我们提出了一种桥梁蒸馏方法，将在私有高分辨率人脸数据集上预训练的复杂人脸识别模型，转化为适用于低分辨率人脸识别的轻量化模型。在我们的方法中，这种跨数据集且分辨率自适应的知识迁移问题，通过两步蒸馏法得以解决。

第一步，我们进行跨数据集蒸馏，将先验知识从私有高分辨率人脸数据集迁移到公开高分辨率人脸数据集，生成紧凑且具有判别性的特征。

第二步，开展分辨率自适应蒸馏，通过多任务学习将先验知识进一步迁移到合成的低分辨率人脸数据集中。通过学习低分辨率人脸的特征表示，并模仿适配的高分辨率知识，能够高效构建出一个轻量化的学生模型，该模型在识别低分辨率人脸时具有可观的准确率。

实验结果表明，这个学生模型在识别低分辨率人脸时表现出色，仅含 0.21M 个参数，内存占用仅 0.057MB。同时，其推理速度在 GPU、CPU 和手机上分别可达每秒 14705 张、934 张和 763 张人脸。

在这里插入图片描述

AAAI 2020：Look One and More: Distilling Hybrid Order Relational Knowledge for Cross-Resolution Image Recognition

尽管近年来深度模型在许多图像识别任务中取得了巨大成功，但由于在分辨率降低过程中信息细节的缺失，直接将它们应用于低分辨率图像识别可能会导致准确率较低。然而，对于熟悉相应高分辨率图像的人来说，这些低分辨率图像仍然是可识别的。受此启发，我们提出了一种师生学习方法，通过混合序关系知识蒸馏来促进低分辨率图像识别。

该方法涉及三个流：教师流经过预训练以高精度识别高分辨率图像；学生流通过模仿教师的行为来学习识别低分辨率图像；额外引入的辅助流作为桥梁，帮助知识从教师流向学生。

为了提取足够的知识以减少准确率的损失，学生的学习由多种损失监督，这些损失保留了各种序关系结构中的相似性。

通过这种方式，可以有效增强恢复熟悉的低分辨率图像缺失细节的能力，从而实现更好的知识转移。在度量学习、低分辨率图像分类和低分辨率人脸识别任务上进行的大量实验表明，在采用精简模型的情况下，我们的方法依然有效。

在这里插入图片描述

Two-Stage Knowledge Transfer：Teacher-Assistant-Student架构，Teacher和Assistant都是高分辨率图像输入，从复杂网络模型蒸馏到简单网络模型；Assistant和Student拥有相同的网络结构，从高分辨率的Assistant蒸馏到低分辨率的Student模型中。

Hybrid Order Relational Knowledge：在这项研究中，首先运用传统的低阶关系知识：一阶、二阶和三阶。此外，我们提出了一种有效的方法来挖掘高阶关系知识。

在这里插入图片描述

1-order relational knowledge：只考虑单个样本在教师和学生模型中的差异度量，使用L1函数进行度量

在这里插入图片描述

2-order relational knowledge：使用L2度量考虑两个样本的距离在教师和学生模型中的差异

在这里插入图片描述

3-order relational knowledge：考虑三个样本的dot-product距离度量在教师和学生模型中的差异

在这里插入图片描述

Center-based relational knowledge：计算每个class的平均中心特征，度量每个样本在学生模型和教师模型中与该类所在样本中心的差异

在这里插入图片描述

总的蒸馏损失函数：

在这里插入图片描述

TIP 2019：Low-Resolution Face Recognition in the Wild via Selective Knowledge Distillation

通常，在野外环境部署人脸识别模型时，需要以极低的计算成本识别低分辨率人脸。为解决这一问题，一个可行的办法是压缩复杂的人脸模型，在尽量减少性能损失的前提下，实现更高的速度和更低的内存占用。受此启发，本文提出一种通过选择性知识蒸馏来识别低分辨率人脸的学习方法。

在该方法中，首先初始化一个双流卷积神经网络（CNN），分别通过教师流和学生流来识别高分辨率人脸和分辨率降低的人脸。教师流由一个复杂的 CNN 表示，用于高精度识别；学生流由一个简单得多的 CNN 表示，用于低复杂度识别。

为避免学生流出现显著的性能下降，我们通过求解一个稀疏图优化问题，从教师流中有选择地提取最具信息性的面部特征，然后利用这些特征对学生流的微调过程进行正则化。通过这种方式，学生流实际上是在有限的计算资源下同时处理两项任务：通过特征回归逼近最具信息性的面部线索，以及通过低分辨率人脸分类恢复缺失的面部线索。

实验结果表明，学生流在识别低分辨率人脸方面表现出色，仅占用 0.15MB 内存，在 CPU 上每秒可处理 418 张人脸，在 GPU 上每秒可处理 9433 张人脸。

在这里插入图片描述