Review Learning : 推进一体化超高清图像恢复训练方法

Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method


 

摘要

一体化图像恢复任务变得越来越重要,特别是对于超高清(UHD)图像。

现有的一体机UHD图像恢复方法通常通过引入针对不同退化类型的即时或定制的动态网络来提高模型的性能。在推理阶段,它可能是友好的,但在训练阶段,由于模型在一个时代遇到多个不同质量的退化图像,这些杂乱的学习目标可能是模型的信息污染。

为了解决这个问题,本文提出了一种新的一般图像恢复模型的训练范式,本文将其命名为Review Learning,它使图像恢复模型能够在没有先验知识和提示的情况下处理多种类型的退化。该方法首先在几个退化数据集上对图像恢复模型进行顺序训练,并结合一种回顾机制,以增强图像恢复模型对以前几类退化数据集的记忆。此外,本文设计了一个轻量级的通用图像恢复网络,它可以有效地推理在单一消费级GPU上具有4K(3840×2160)分辨率的退化图像。

Introduction

近年来,先进的成像传感器和显示器的出现,极大地促进了超高清(UHD)成像技术的发展。然而,UHD图像中像素数量的增加无疑使它们在成像过程中更容易受到多个未知退化的影响。以前的UHD图像恢复方法通常分别处理这些基本的图像退化,包括低光图像增强、去雨、去雪和去模糊,通过使用特定的单任务模型。实际上,本文更需要一个一体化的模型来恢复不同类型的UHD退化图像。

最近的一系列工作专注于统一图像恢复,其中模型在混合退化数据集上进行训练,并对恢复过程中的退化类型进行隐式分类。虽然结果令人印象深刻,但批处理大小的减少以适应消费者级gpu的内存限制导致了训练时间的延长。此外,这种训练方法依赖于具有较强感知能力的提示信号,不幸的是,这些提示信号难以捕捉退化类型的图像。有鉴于此,本文对一体机图像恢复任务提出了两个关键问题:

i) 可以通过没有提示的混合退化图像来优化模型吗?

ii) 如何避免训练模型阶段的信息污染(多种退化类型的图像对模型记忆的干扰)?

为了解决这些问题,并受最近研究中证明的持续预训练(CPT)原则的启发,本文提出了一种名为Review Learning的方法,该方法可以逐步增强任意模型在统一图像恢复区域的能力,而不会产生显著的一般性能损失。具体来说,该模型学习一个特定的任务(如低光图像增强或图像去模糊),然后在这些知识的基础上学习新任务,定期回顾以前任务中具有挑战性的样本,以避免知识丢失。本文进行了全面的分析和统计,以确定审查困难样本的频率和间隔。这种训练模型的范式利用了神经网络的最大潜力,而不提示信息。

本文的贡献:

本文提出审查学习方法是第一个一体化图像恢复算法,不需要先验知识,不需要一个定制的网络架构,这给网络能够解决多个退化类型通过迭代学习策略

本文提出了一种轻量级高效的图像恢复通用模型,称为SimpleIR。SimpleIR可以对UHD图像进行全分辨率推理。4K,8K)在一个单一的消费级GPU上。

广泛的比较验证了SimpleIR的有效性,通过在各种图像恢复任务上实现最先进的性能,包括低光照图像增强、图像去雨、去模糊和去雪。

Review Learning

本文提出了“Review Learning”,旨在找到一套统一的预训练权重来存档通用图像恢复。在本文的训练范式中,来自前一个训练阶段的具有挑战性的样本将在后续阶段进行回顾。此外,具有挑战性的样本的数量明显小于主要的训练数据集。这确保了在避免信息污染的同时,也可以有效地防止灾难性的遗忘。在本节中,本文将详细介绍“Review Learning”和轻量级的通用UHD图像恢复模型。

理论基础

在本文的“Review Learning”方法论的核心在于持续学习的概念。这一理论表明,一个有效的学习系统应该逐步积累知识,类似于人类的学习,在人类的学习中,新的信息被吸收,而不侵蚀对先前经验的回忆(Parisi et al. 2019)。在神经网络范式中,这往往因灾难性遗忘现象而变得复杂(法语1999),在这种现象中,网络容纳新数据的能力可能以牺牲其存储的记忆为代价。到目前为止,本文设计了一个Review Learning范式,结合了一步一步学习的想法和避免灾难性遗忘的策略。Review Learning的设计如算法1所示,Review Learning的整个实现过程包括三个步骤,介绍如下:

1.基于退化复杂度的训练管道:根据退化数据集的内在学习难度对其训练顺序进行排序,这是由原始图像和退化图像之间的熵差决定的。这个排名促进了一种结构化的学习方法,从最简单的任务开始到最复杂的任务。

2.挑战性样本的获取:在初始阶段,挑战性样本通过其超过局部平均值的损失值来识别,这表明了模型的难度。从第二阶段开始,焦点转移到熵差最高的样本上,避免了混合数据集的分布,这可能会歪曲真正具有挑战性的样本。

3.顺序训练和回顾集成:模型在数据集上进行顺序训练,从第一个模型重新开始。在每个阶段之后,具有挑战性的样本将被识别和存档。随着训练对后续数据集的进展,这些具有挑战性的样本的选择被重新整合,以确保学习知识的持续强化和减轻灾难性遗忘。

在本节中,本文将详细介绍四种类型的退化的UHD图像的恢复过程,以帮助解释“Review Learning”的有效性。

如图3所示,本文展示了四种类型的UHD退化数据集之间的熵差的直方图。本文根据难度水平策略性地规划模型的学习路径,从减少到去模糊、脱色,最后到弱光增强。首先,在UHD-Snow数据集上训练模型,并根据超过周围时期平均损失的异常高损失值收集具有挑战性的样本。在预训练(第1阶段)之后,本文选择了所有具有挑战性的样本,占UHD-Snow数据集的10%。

在图4中,可以观察到在阶段1后的训练损失波动剧烈。因此,本文选择了具有前20%熵差的具有挑战性的样本,而不考虑它们的损失函数性能。此外,为了避免“信息污染”,本文将前一阶段的困难样品数量减少50%,每个后续阶段。

SimpleIR架构

Hybrid Attention Blocks:为了捕捉图像的低分辨率特征,本文提出了混合注意块(HAB)来赋予低分辨率空间更具有代表性的特征。每个HAB包含一个双流注意(DSA)和一个局部细节注意模块(LDAM)。

DualStream Attention:该模型中主要的计算开销来自于自注意层。最近已经提出了许多方法来降低自注意的二次复杂度,这是基于变压器的架构中的计算瓶颈。为了寻找适合实时移动视觉应用程序的高效和可扩展的注意机制,本文引入了一种新的方法,即选择了一种计算效率更高的策略,该策略保留了在输入数据中捕获全局依赖关系的本质。本文的双元流注意的核心是生成查询和关键向量的双重路径,设计用于封装输入特征图的交叉通道和空间上下文。

Local Detail Attention Module:受(Szegedy et al. 2016)设计的启发,该设计能够有效地捕获不同尺度上的信息,本文引入了一个轻量级的局部细节注意模块(LDAModule),以增强高分辨率图像中细粒度特征的提取。

Feed-Forward Network:为了将特征转换为一个紧凑的表示形式,本文引入了FFN模块,它由一个3×3卷积、一个1×1卷积和一个GELU函数组成。

Feature Iteration Block

实验结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/400648.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python,Spire.Doc模块,处理word、docx文件,极致丝滑

Python处理word文件,一般都是推荐的Python-docx,但是只写出一个,一句话的文件,也没有什么样式,就是36K。 再打开word在另存一下,就可以到7-8k,我想一定是python-docx的问题,但一直没…

加和分数、训练、测试

一、加和所有alignment的分数 1、路线图中 2、l_i只与token有关,有一个专门训练的网络;h_i变化只与null有关 3、distribution生成的概率不受路径影响,只要到达位置概率就是一样的 4、计算alignment分数的总和 (1)αi…

C 语言结构体赋值分析和其优点(使用方式和汇编分析)

1. 例子 #include <stdio.h> #include <stdlib.h> #include <string.h>struct Foo {char a;int b;double c; };int main() {// 定义结构体对象struct Foo foo1;struct Foo foo2;// 初始化为 0memset(&foo1, 0, sizeof(foo1));memset(&foo2, 0, size…

Kubernetes/K8s集群1.23.6搭建

1 集群规划 HostnameIP角色centos702192.168.131.102mastercentos704192.168.131.104nodecentos705192.168.131.105node 2 安装步骤 初始操作和安装基础软件每个节点都要执行。 2.1 初始操作 2.1.1 关闭防火墙 systemctl stop firewalld systemctl disable firewalld2.1.…

Science Robotics 受鳞片启发的可编程机器人结构,可同时进行形状变形和刚度变化

一、前言速览 生物有机体通常凭借复杂的结构表现出显著的多功能性&#xff0c;例如章鱼具有可以同时改变形状和刚度的能力。现有的仿生软体机器人要想实现这样的能力&#xff0c;往往需要繁琐的结构和复杂的控制系统。为此&#xff0c;来自新加坡南洋理工大学的研究人员从覆盖…

ARM高性能计算(HPC)处理器Neoverse介绍

思考: Neoverse系列中的N、V、E有什么区别? 这三个字母的缩写又是什么? ARM Neoverse架构是ARM专为服务器、数据中心、高性能计算(HPC)和网络基础设施设计的一系列处理器架构。Neoverse架构分为N系列、V系列和E系列,这些系列面向不同的应用场景,各自有不同的设计目标和…

44 个 React 前端面试问题

1.你知道哪些React hooks&#xff1f; useState&#xff1a;用于管理功能组件中的状态。useEffect&#xff1a;用于在功能组件中执行副作用&#xff0c;例如获取数据或订阅事件。useContext&#xff1a;用于访问功能组件内的 React 上下文的值。useRef&#xff1a;用于创建对跨…

人工智能新纪元

人类社会正式从信息科技时代步入了人工智能时代&#xff0c;相比信息科技革命&#xff0c;人工智能科技革命的影响要深远的多&#xff0c;在这新旧交替剧烈变革期&#xff0c;绝大多数人都有机会。 为了更好的理解人工智能科技革命&#xff0c;首先我们首先梳理一下技术的发展…

全网最最最详细的haproxy详解!!!

1 什么是负载均衡 负载均衡&#xff08;Load Balancing&#xff09;是一种将网络请求或工作负载分散到多个服务器或计算机资源上的技术&#xff0c;以实现优化资源使用、提高系统吞吐量、增强数据冗余和故障容错能力、以及减少响应时间的目的。在分布式系统、云计算环境、Web服…

ArkUI---Swiper、Grid、List组件简单介绍

前言&#xff1a;ForEach ForEach语法如下&#xff1a; ForEach(arr: Array,itemGenerator: (item: Array, index?: number) > void,keyGenerator?: (item: Array, index?: number) : string > string ) 参数1&#xff1a;数据源&#xff0c;为Array的数组 参数2&am…

KOLA: CAREFULLY BENCHMARKING WORLD KNOWLEDGE OF LARGE LANGUAGE MODELS

文章目录 题目摘要简介KOLA 基准实验评估结论和未来工作道德声明 题目 KOLA&#xff1a;仔细对大型语言模型的世界知识进行基准测试 论文地址:https://arxiv.org/abs/2306.09296 项目地址:https://github.com/ranahaani/GNews 摘要 大型语言模型 (LLM) 的卓越性能要求评估方法…

Grok-2的Beta版发布

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

图论------Bellman-Ford算法求单源最短路径的优化

目录 前情回顾&#xff1a; 画图分析&#xff1a; 具体代码&#xff1a; 前情回顾&#xff1a; 大家是否还记得我们之前讲过的Bellman-Ford算法&#xff0c;如果忘记的话可以点击链接去复习一下&#xff1a;图论------贝尔曼-福德&#xff08;Bellman-Ford&#xff09;算法-…

8月13日学习笔记 LVS

一.描述以及工作原理 1. 什么是LVS linux virtural server的简称&#xff0c;也就是linxu虚拟机服务器&#xff0c;这是一个 由章文嵩博士发起的开源项目&#xff0c;官网是 http://www.linuxvirtualserver.org,现在lvs已经是linux内核标 准的一部分&#xff0c;使用lvs可以达…

杭州网络安全等保测评——数据守护者的金盾牌️

在数字化转型疾驰的杭州&#xff0c;网络疆域的每一次拓展都伴随着安全风险的增长。如何在创新与安全之间找到黄金平衡点&#xff1f;《杭州等保测评&#xff1a;守护网络安全的坚实屏障》一文&#xff0c;深入探索这座智慧城市如何依托等保测评体系&#xff0c;构建起一道道安…

【已EI检索会议】第五届新材料与清洁能源国际学术会议(ICAMCE 2024)

重要信息 会议官网&#xff1a;2024.icceam.com 接受/拒稿通知&#xff1a;投稿后1周内 收录检索&#xff1a;EI, Scopus 会议召开视频 见刊封面 EI检索页面 Scopus 检索页面 相关会议 第六届新材料与清洁能源国际学术会议&#xff08;ICAMCE 2025&#xff09; 大会官网&…

机器学习常用包numpy篇(二)数组属性与基本操作

目录 前言 数组属性 1.数组转置 2.数组元素的数据类型 3.数组元素的虚部 4.数组元素的实部 5.数组包含的元素个数 6.数组元素的字节数 7.数组元素的总字节 8.数组维度 9.数组形状 10.每个维度中步进的字节数组 11.数组维度和形状 数组基本操作 1.重设形状 2.数…

【vue3|第23期】Vite + Vue3: 深入理解public和assets文件夹的作用与使用

日期&#xff1a;2024年8月14日 作者&#xff1a;Commas 签名&#xff1a;(ง •_•)ง 积跬步以致千里,积小流以成江海…… 注释&#xff1a;如果您觉得有所帮助&#xff0c;帮忙点个赞&#xff0c;也可以关注我&#xff0c;我们一起成长&#xff1b;如果有不对的地方&#xf…

GBJ406-ASEMI无人机专用GBJ406

编辑&#xff1a;ll GBJ406-ASEMI无人机专用GBJ406 型号&#xff1a;GBJ406 品牌&#xff1a;ASEMI 封装&#xff1a;GBJ-4 批号&#xff1a;2024 现货&#xff1a;50000 最大重复峰值反向电压&#xff1a;600V 最大正向平均整流电流(Vdss)&#xff1a;4A 功率(Pd)&am…

“从零开始的HTML 表格”——WEB开发系列09

HTML 表格是一种用于在网页上组织和显示信息的结构性元素&#xff0c;它能够将数据以行和列的形式呈现&#xff0c;帮助用户更清晰地理解数据关系。表格在展示统计数据、产品列表、日程安排等方面非常实用。 一、HTML 表格的基本结构 HTML 表格用 ​​<table>​​ 标签来…