本改进已同步到YOLO-Magic框架!
摘要:虽然许多近期的研究在图像修复(IR)领域取得了进展,但它们通常存在参数数量过多的问题。另一个问题是,大多数基于Transformer的图像修复方法只关注局部或全局特征,导致感受野有限或参数不足的问题。为了解决这些问题,我们提出了一种轻量级网络——互补注意力混合Transformer(RAMiT)。该网络使用我们提出的维度互补注意力混合Transformer(D-RAMiT)块,该块并行计算具有不同多头数的二维自注意力。二维自注意力机制相互补充各自的缺点,然后进行混合。此外,我们引入了一个分层互补注意力混合(H-RAMi)层,该层在保持高效的分层结构的同时,弥补了像素级信息的损失并利用了语义信息。此外,我们重新审视并修改了MobileNet V2,以便将高效卷积应用于我们提出的组件。实验结果表明,RAMiT在多个轻量级图像修复任务(包括超分辨率、低光增强、去雨、彩色去噪和灰度去噪)上达到了最新的性能。
论文地址: