Learning Sample Relationship for Exposure Correction 论文阅读笔记

在这里插入图片描述

  • 这是中科大发表在CVPR2023的一篇论文,提出了一个module和一个损失项,能够提高现有exposure correction网络的性能。这已经是最近第三次看到这种论文了,前两篇分别是CVPR2022的ENC(和这篇文章是同一个一作作者)和CVPR2023的SKF,都是类似即插即用地提出一些模块来提高现有方法的性能,实验结果都是以方法A+XX比方法A性能提高,方法B+xx比方法B性能提高的方式展示。

  • 文章的动机是,在多曝光数据集上训练时,同一个batch可能同时出现需要增亮的样本和需要抑制过曝的样本,而这两种样本的优化方向是相反的,从而产生负面影响。为了解决这个问题,本文提出通过学习一个batch的样本间的关系。不过我个人觉得这个逻辑上说不通,需要增亮的样本和需要抑制过曝的样本的优化方向相反问题通过归一化可以解决,通过样本间的关系解决就很奇怪了,本来样本间也没有什么关系。

  • 而样本间关系主要是通过把特征转到 B × C B\times C B×C然后batch之间做注意力实现的,如下图所示,将encoder提取的 B C H W B C H W BCHW的特征reshape成 B × C ′ B\times C' B×C,再attention,再resize回去,再decoder得到结果。这个过程是很直观简单的。比较复杂的是训练流程。首先丢掉中间的transformer的部分,先用reconstruction任务train encoder decoder,然后fix encoder decoder的参数只训练transformer的参数,这一阶段的训练仍然是reconstruction任务,但是不再是对 I I I I ′ I' I算L1损失,而是取其相位分量算损失(从而剥离亮度因素)。文章认为,transformer本身自带的交互会影响这一重建任务,所以通过这一重建任务可以使得样本之间的内容交互作用被抑制,从而使得整个BCM模块只进行亮度交互作用
    在这里插入图片描述

  • 上面这个模型训练完之后呢,就产生了一个可以进行样本间交互的模块,然后在训练现有的exposure correction模型的时候,可以按下图的方式去利用上述模型的encoder和transformer去获取隐空间特征,计算GT和增强结果的隐空间特征的L1距离作为额外的损失:
    在这里插入图片描述

  • 实验结果显示,通过这个方法可以提高一些现有方法的性能:
    在这里插入图片描述

  • 评价:角度很新奇,如果是真的,说明现有expsoure correction模型的潜能还没有被完全发掘出来,通过更合理的训练策略和损失函数,可以提高现有模型的性能,同时还不增加推理的计算负担。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/160702.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ardupilot开发 --- 起飞前后 篇

起飞前检查 电机响应是否正确(转向)姿态响应是否正常(roll pitch yaw)GPS数据是否正常(星数,RTK信号)电源电压安全开关安全检测(armed pre check) 起飞前的必调参数 机…

mmlab 做实验

首先 下载项目完整代码,在pycharm中打开 1. comfig 中有各种网络模型,可以直接使用训练好的预训练模型,尽量不要改动网络模型的结构 2. 18表示网络机构18层,8是每个卡的batch,cifar10 是数据集 3.配置文件解析 4. …

工业机器视觉系统构成及功能

工业机器视觉系统构成及功能 工业机器视觉系统由光源、光学传感器、图像采集设备、图像处理设备、机器视觉软件、辅助传感器、控制单元和执行机构等组件构成。 光源提供光线以辅助图像获取。 光学传感器将外部场景转换为电信号。 图像采集设备将信号转换为图像数据&#xf…

VSCode连接代理

VSCode连接代理 首先有代理 然后在设置里搜代理 然后再在windows的设置–>网络–>代理 拼接上就行 最后重启

【小尘送书-第八期】《小团队管理:如何轻松带出1+1>2的团队》

大家好,我是小尘,欢迎你的关注!大家可以一起交流学习!欢迎大家在CSDN后台私信我!一起讨论学习,讨论如何找到满意的工作! 👨‍💻博主主页:小尘要自信 &#x1…

macos 12 支持机型 macOS Monterey 更新中新增的功能

macOS Monterey 能让你以全然一新的方式与他人沟通联络、共享内容和挥洒创意。尽享 FaceTime 通话新增的音频和视频增强功能,包括空间音频和人像模式。通过功能强大的效率类工具(例如专注模式、快速备忘录和 Safari 浏览器中的标签页组)完成更…

【unity】【VR】白马VR课堂系列-VR开发核心基础04-主体设置-XR Rig的引入和设置

接下来我们开始引入并构建XR Rig。 你可以将XR Rig理解为玩家在VR世界中的替身。 我们先删除Main Camera,在Hierarchy右键点击删除。 然后再在场景层右键选择XR下的XR Origin。这时一个XR Origin对象就被添加到了Hierarchy。 重设XR Origin的Position和Rotation…

数据结构 - 4(栈和队列6000字详解)

一:栈 1.1 栈的概念 栈:一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶,另一端称为栈底。栈中的数据元素遵守后进先出LIFO(Last In First Out)的原…

JVM三色标记

三色标记 什么是三色标记法 三色标记法,也被称为Tri-color Marking Algorithm,是一种用于追踪对象存活状态的垃圾回收算法。它基于William D. Hana和Mark S. McCulleghan在1976年提出的两色标记法的基础上进行了改进。 与两色标记法只能将对象标记为“…

[GSEP202306 一级] C++ 时间规划

题目描述 小明在为自己规划学习时间。现在他想知道两个时刻之间有多少分钟,你通过编程帮他做到吗? 输入格式 输入4行,第一行为开始时刻的小时,第二行为开始时刻的分钟,第三行为结束时刻的小时,第四行为结束时刻的分…

笔记本Win10系统一键重装操作方法

笔记本电脑已经成为大家日常生活和工作中必不可少的工具之一,如果笔记本电脑系统出现问题了,那么就会影响到大家的正常操作。这时候就可以考虑给笔记本电脑重装系统了。接下来小编给大家介绍关于一键重装Win10笔记本电脑系统的详细步骤方法。 推荐下载 系…

【Linux学习笔记】代码编译工具gcc/g++

1. 程序的翻译1.1. 预处理1.2. 编译1.3. 汇编1.4. 链接 2. 动态链接和静态链接2.1. 动态链接2.2. 静态链接2.3. 动态链接和静态链接的区别2.4. 动态链接和静态链接的验证 3. make/makefile3.1. 依赖方法和依赖关系3.2. 写一个makefile文件3.3. PHONY的意义3.4. makefile的推导规…

无人机电力巡检:国网安徽实际案例解析

在科技快速发展的今天,传统行业正在经历前所未有的转型。电力巡检,这一看似传统且乏味的任务,却因为无人机技术的介入而焕发新生。今天,让我们深入了解一个具体的案例,探索无人机如何革新电力巡检。 案例背景&#xff…

【Machine Learning】03-Unsupervised learning

03-Unsupervised learning 3. Unsupervised Learning3.1 无监督学习(Unsupervised Learning)3.1.1 聚类(Clustering)3.1.2 K-均值聚类算法(K-means Clustering)3.1.3 高斯分布(Gaussian distrib…

深度学习入门(一)之感知机

文章目录 前言什么是感知机简单的逻辑电路与门与非门和或门 感知机的实现简单的实现导入权重和偏置 感知机的局限性异或门线性和非线性 多层感知机已有门电路的组合异或门的实现 代码合集 前言 感知机是由美国学者1957年提出来,作为神经网络的起源算法。因此学习感…

新增Node.js运行环境、新增系统缓存清理功能,1Panel开源面板v1.7.0发布

2023年10月16日,现代化、开源的Linux服务器运维管理面板1Panel正式发布v1.7.0版本。 在这个版本中,1Panel新增Node.js运行环境;新增系统缓存清理功能;应用安装时支持选择远程数据库。此外,我们进行了40多项功能更新和…

阿里云云服务器实例使用教学

目录 云服务器免费试用 详细步骤 Xshell 远程连接 云服务器免费试用 阿里云云服务器网址:阿里云免费试用 - 阿里云 详细步骤 访问阿里云免费试用。单击页面右上方的登录/注册按钮,并根据页面提示完成账号登录(已有阿里云账号)…

配置hpa后,target显示<unknown>/50%

背景: 有两个服务,server 负责主要后端请求,bill 负责计量计费请求。服务都是使用 helm 部署。测试提了一个缺陷,说全部服务没有配置hpa。 解决一 按照之前的代码结构添加了hpa后,发现: ➜ kubectl get…

软件外包开发团队人员构成

软件外包开发团队的人员构成可以因项目的规模、类型和要求而有所不同。通常,一个典型的软件外包开发团队可能包括以下关键角色,每个角色都有要完成的工作。北京木奇移动技术有限公司,专业的软件外包开发公司,欢迎交流合作。 项目经…

playwright: local variable ‘page‘ referenced before assignment

安装好playwright后,运行相关程序出现此错误,按照下述链接中的方法安装相关组件和浏览器驱动后,问题得以解决。 https://www.cnblogs.com/fengyangsheng/p/17531254.html安装playwright pip install -i https://mirrors.aliyun.com/pypi/si…