【图像压缩感知】论文阅读:Self-supervised Scalable Deep Compressed Sensing

tips:本文为个人阅读论文的笔记,仅作为学习记录所用。

Title:Self-supervised Scalable Deep Compressed Sensing

Journal:IJCV  2024

代码链接GitHub - Guaishou74851/SCNet: Self-Supervised Scalable Deep Compressed Sensing (IJCV 2024) [PyTorch]Self-Supervised Scalable Deep Compressed Sensing (IJCV 2024) [PyTorch] - Guaishou74851/SCNeticon-default.png?t=O83Ahttps://github.com/Guaishou74851/SCNet

论文地址: Self-supervised Scalable Deep Compressed Sensing | International Journal of Computer VisionCompressed sensing (CS) is a promising tool for reducing sampling costs. Current deep neural network (NN)-based CS approaches face the challenges of collecicon-default.png?t=O83Ahttps://link.springer.com/article/10.1007/s11263-024-02209-1

问题动机: 

压缩感知(CS)是一种很有前途的降低采样成本的工具。当前基于深度神经网络(NN)的CS方法面临着收集标记测量 Ground Truth 数据并将其推广到实际应用中的挑战,特别是CS在医学成像领域的应用,如MRI成像等,这些领域的 Ground Truth 数据的获取更为困难。

解决方法:

提出了一种新的自监督可扩展深度CS方法,该方法包括一个名为SCL的深度学习方案和一个名为SCNet的网络家族,该方法不需要 Ground Truth 数据,并且一旦在部分测量集上训练就可以处理任意采样比率和矩阵。SCL包含双域损失和四阶段恢复策略。前者鼓励两个测量部分的交叉一致性和对任意比率和矩阵的采样-重构周期一致性,以最大限度地利用数据。后者可以逐步利用外部测量中的公共信号和测试样本的内部特性以及学习的神经网络来提高精度。SCNet结合了优化算法的显式指导和高级神经网络块的隐式正则化来学习协作信号表示。

相关工作:

现有的自监督学习压缩感知存在的不足,

1、表现不佳

现有的自监督CS对不同CS任务之间的数据和共享知识的利用不足,导致正则化弱,并且对不完整的测量结果进行过拟合的风险很高。其次,大多数方法只关注神经网络架构和学习方案设计的一部分(例如损失函数),由于其过时的组件和训练技术,导致不平衡的发展和欠拟合。

2、缺乏灵活性和可扩展性
现有的自监督CS将替换不同采样矩阵或采样率等视为独立问题,虽可以进行更换,但往往需要进行重新训练模型,费时费力,导致灵活性、可扩展性较差。

主要贡献:

1、基于双域损失函数和四阶段深度递进重建策略,提出了一种新的自监督可扩展CS学习方案SCL

2、一种被称为 SCNet 的新 NN 家族,它结合了传统近端梯度下降 (PGD) 算法 的显式指导和来自高级 NN 组件的隐式正则化。

3、在一维、二维和三维信号的模拟和真实数据上进行的大量实验表明,我们的方法在提高恢复质量和泛化能力方面具有显著的优势和有效性

整体架构:

自监督可扩展重构学习(SCL)

双域损失函数(Dual-Domain Loss Function)

DMC(Division-based Measurement-domain Consistency  loss)

面对传统CS方法的损失函数存在的问题:(1)噪声的存在;(2)解决方法模糊,输出不稳定

为了缓解这些问题,并使NN适应采样矩阵和采样率的变化,设计了DMC loss,其使用y中的测量元素的组合来构建数千个互补的矩阵和比例对的新任务,以增强数据多样性。其中隐含的假设是训练集是足够大的,可以划分出足够的任务组合。

其中存在两个约束:

如此设计的神经网络损失函数是免于噪声影响的,这是在N2N和S2S(2020,CVPR)的先验基础上的发展。

DMC的定义如下,本文的p范数设置为1范数:

DOC(matrixnetwork Disentanglement-based Original-domain Consistency loss)

为了让训练后的NN可以突破内部数据的限制,达到真正的泛化,如采样率(0 - 1),推广到整个矩阵空间。对原始图像进行几何变换,并添加随机生成的噪声、矩阵、采样率。

DOC约束:

DOC定义:

四阶段渐进恢复策略(Four-Stage Progressive Reconstruction Strategy)

核心:从粗到细(coarse-to-fine)

stage-1 —— 使用外部数据集离线学习,获得一个通用的模型。

stage-2 —— 使用测试数据集学习,获得一个使用于当前数据集的模型。

stage-3 —— 使用单个图片进行学习,模型精确到单张图片。

stage-4 —— 对单张图片进行self-ensemble,使用蒙特卡洛来近似估计。

在实践中,可以根据具体需求灵活地实现对策略的几种定制,例如对于最佳恢复质量,表示为(1→2→3→4)的完全激活策略,对于训练资源受限的设备,表示为(1→4),对于无数据集的部署,表示为(3→4)。在每个配置的第一阶段随机初始化NN参数,并在逐步学习完成后保存到下一阶段。

SCNet(基于协同表示的图像重建网络,Collaborative Representation-Based Reconstruction Network)

基于协同表示的图像重建网络——SCNet,结合了迭代优化算法(PGD)的显式结构设计启发与神经网络模块的隐式正则化约束

PGD展开 -->   提高可解释性

隐式正则化 -->  防止模型过拟合

浅层特征初始化(Shallow Feature Initialization)

使用A的伪逆将测量值y变换到图像域,并域采样率比例图R连接,然后使用卷积层提取浅层特征。

图像嵌入和位置嵌入(IE & PE)

图像嵌入将图像转成向量,方便后续处理,并将每个特定的测量 y 与整个测试集区分开来

位置嵌入为数据提供位置编码,使其能够感知位置和空间变化。

可学习的嵌入操作,增加优化自由度,防止欠拟合。

IE 和 PE 操作都只在 stage 2-4 中进行,在数据量较少时加入,防止欠拟合。

深度特征细化(Deep Feature Refinement)

将PGD算法展开,从传统的图像级优化扩展到特征级优化,

PGD模块后,使用RB/SCB模块,隐式正则化,防止过拟合。

在转化过程中,PGD算法中的Proximal Mapping部分可以用RB/SCB进行替换,是因为PM和RB/SCB存在一定的数学等价性

在某些情况下,Proximal Mapping的求解可以转化为一个优化问题,该问题具有与残差块相似的结构。具体来说,Proximal Mapping的目标是找到一个点,使得该点既满足凸函数的约束,又与给定点距离最小。这可以看作是一个最小化问题,其中包含了原始输入和一个与凸函数相关的项。而残差块在某种程度上也执行了一个类似的最小化任务,它试图保持输入信息的同时,最小化网络输出的误差。因此,在某些数学形式上,这两者可能具有等价性。

Proximal Mapping和残差块在功能上都具有“保持输入信息并尝试最小化误差”的特点。Proximal Mapping通过找到与给定点距离最小的凸函数定义域内的点来实现这一点,而残差块则通过跳跃连接来保持输入信息,并通过卷积层来最小化输出误差。这种功能上的相似性使得残差块有可能成为Proximal Mapping的一个有效替代。

最终图像重建(Final Image Reconstruction)

将深化后的特征层通过卷积生成精化图像,最后通过额外的GD(梯度下降)操作获得最终恢复结果,最后一个GD操作目的是去除噪声(2017,TIP)

本文的NN family

实验部分

一维合成稀疏信号和二维MNIST数字图像的CS重构

二维自然图像上的CS重构——PSNR对比

二维自然图像上的CS重构——PSNR和参数数对比、从DIV2K重建效果对比

二维自然图像上的CS重构——可扩展性实验

本文小结

本文提出了一种新的自监督可扩展的神经网络方法,由一个名为SCL的学习方案和一个名为SCNet的深度神经网络家族组成。

SCL通过增强和鼓励随机交叉一致性和任意采样重建周期一致性,采用双域损失来学习可推广的图像、比率和矩阵自适应映射,而不是来自固定部分测量的特定映射。四阶段策略进一步提高了准确性。

SCNet是基于PGD灵感设计的,并通过神经网络机制进行了良好的正则化。SCL和SCNet的结合和相互促进有效地利用了可用的数据和信息,推动深度重建朝着有效的方向发展,甚至可以超越监督神经网络的预测结果。实验证明了该方法在成像质量、灵活性、可扩展性、复杂性和可解释性之间取得了更好的平衡。

读者小结

这篇文章是北大VILLA实验室联合清华团队、哈工大团队最新提出的基于深度网络的CS方法。这篇文章的工作非常饱满,篇幅有30多页,其中实验部分做的扎实,我在上面放的实验部分只是作者在正文部分的内容,在附录中还有很多的实验细节内容,比如具体的消融实验、更多尺度的对比实验等。

这篇文章阅读后给我的启发最大的还是SCL学习策略部分,使用的双域函数以及四阶段渐进重建策略可以将CS扩展到整个矩阵空间,以及从粗到细的重建策略。这样的策略无疑是能达到更好的效果,但问题也是很明显的,就是时间、能耗问题,这方面作者在最后的讨论部分也提出了。对于这个问题,作者提供了神经网络家族(NN family)的方法,可以让用户来根据现实情况来自行选择。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/470757.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用elementUI实现表格行拖拽改变顺序,无需引入外部库

前言: 使用vue2element UI,且完全使用原生的拖拽事件,无需引入外部库。 如果表格数据量较大,或需要更多复杂功能,可以考虑使用 vuedraggable库,提供更多配置选项和拖拽功能。 思路: 1. 通过el-table的ro…

深入理解接口测试:实用指南与最佳实践5.0(三)

✨博客主页: https://blog.csdn.net/m0_63815035?typeblog 💗《博客内容》:.NET、Java.测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识 📢博客专栏: https://blog.csdn.net/m0_63815035/cat…

32位、64位、x86与x64:深入解析计算机架构

目录 一、32位架构(x86) 1.1 定义与历史 1.2 技术特点 1.3 优缺点 二、64位架构(x64) 2.1 定义与历史 2.2 技术特点 2.3 优缺点 三、x86与x64的关系 四、应用场景 4.1 32位架构的应用场景 4.2 64位架构的应用场景 五、总结 在计算机领域中,处理器架构的选择对…

【stable diffusion部署】超强AI绘画Stable Diffusion,本地部署使用教程,完全免费使用

前言 01 软件介绍 Stable Diffusion和Midjourney类似,都是当下AI绘画最流行的AI工具之一,都支持用文字生成AI图片或者图片生成图片的软件。 二者的区别是:Midjourney只能在网上使用,国内需要魔法才能使用,而且存在使…

【计算机网络】【网络层】【习题】

计算机网络-传输层-习题 文章目录 13. 图 4-69 给出了距离-向量协议工作过程,表(a)是路由表 R1 初始的路由表,表(b)是相邻路由器 R2 传送来的路由表。请写出 R1 更新后的路由表(c)。…

【嵌入式开发】单片机CAN配置详解

0 前言 CAN外设作为一种传输速率较高,且连线较为简洁的通信协议,如今很多单片机内部都集成了CAN控制模块,这样只需要再外接一个CAN收发芯片,将TTL/CMOS电平转换成CAN协议的差分电平,就是一个完整的CAN收发节点。   最…

虚拟机安装Ubuntu 24.04服务器版(命令行版)

这个是专门用于服务器使用的,没有GUI,常用软件安装,见 虚拟机安装Ubuntu 24.04及其常用软件(2024.7)_ubuntu24.04-CSDN博客https://blog.csdn.net/weixin_42173947/article/details/140335522这里只记录独特的安装步骤 1 下载Ubuntu 24.04安…

ctfshow-web入门-SSTI(web361-web368)上

目录 1、web361 2、web362 3、web363 4、web364 5、web365 6、web366 7、web367 8、web368 1、web361 测试一下存在 SSTI 注入 方法很多 (1)使用子类可以直接调用的函数来打 payload1: ?name{{.__class__.__base__.__subclasses__…

Axure网络短剧APP端原型图,竖屏微剧视频模版40页

作品概况 页面数量:共 40 页 使用软件:Axure RP 9 及以上,非软件无源码 适用领域:短剧、微短剧、竖屏视频 作品特色 本作品为网络短剧APP的Axure原型设计图,定位属于免费短剧软件,类似红果短剧、河马剧场…

如何从头开始构建神经网络?(附教程)

随着流行的深度学习框架的出现,如 TensorFlow、Keras、PyTorch 以及其他类似库,学习神经网络对于新手来说变得更加便捷。虽然这些框架可以让你在几分钟内解决最复杂的计算任务,但它们并不要求你理解背后所有需求的核心概念和直觉。如果你知道…

JS 实现SSE通讯和了解SSE通讯

SSE 介绍: Server-Sent Events(SSE)是一种用于实现服务器向客户端实时推送数据的Web技术。与传统的轮询和长轮询相比,SSE提供了更高效和实时的数据推送机制。 SSE基于HTTP协议,允许服务器将数据以事件流(…

HTML之表单学习记录

如果一个页面仅仅供用户浏览,那就是静态页面。如果这个页面还能实现与服务器进行数据交互(像注册登录、话费充值、评论交流)​,那就是动态页面。表单是我们接触动态页面的第一步。其中表单最重要的作用就是:在浏览器端…

WPF学习之路,控件的只读、是否可以、是否可见属性控制

C#的控件学习之控件属性操作 控件的只读、是否可以、是否可见,是三个重要的参数,在很多表单、列表中都有用到,正常表单控制可以在父层主键控制参数是否可以编辑和可见,但是遇到个别字段需要单独控制时,可以在初始化wi…

three.js 杂记

clip: 1: 着色器 #ifdef USE_CLIP_DISTANCE vec4 worldPosition modelMatrix * vec4( position, 1.0 ); gl_ClipDistance[ 0 ] worldPosition.x - sin( time ) * ( 0.5 ); #endif gl_Position projectionMatrix * modelViewMatrix * vec4( positio…

基于混合配准策略的多模态医学图像配准方法研究

摘要: 提出了一种由“粗”到“细”的混合配准策略,该配准策略吸取了以往配准方法的优点,且在细配阶段将基于特征的配准方法和基于灰度的配准方法结合在一起,提出了基于轮廓特征点集最大互信息的配准方法,从而在速度和精…

贪心算法入门(二)

相关文章 贪心算法入门(一)-CSDN博客 1.什么是贪心算法? 贪心算法是一种解决问题的策略,它将复杂的问题分解为若干个步骤,并在每一步都选择当前最优的解决方案,最终希望能得到全局最优解。这种策略的核心…

Autosar CP 基于CAN的时间同步规范导读

Autosar CP 基于CAN的时间同步规范主要用途 实现精确时间同步 提供了一种在CAN总线上准确分发时间信息的机制,确保连接到CAN网络的各个电子控制单元(ECU)能够共享精确的公共时间基准,对于需要精确时间协调的汽车系统功能&#xff…

前端常用布局模板39套,纯CSS实现布局

前端常用布局模板39套,纯CSS实现布局 说明 写博客、官网、管理后台都可以参考以下布局模板,实现模板布局的方式包含:flex、CSS、HTML5、Layout。 不需要下载积分,没有特殊库引用,不用安装任何插件,打开资源…

jmeter常用配置元件介绍总结之后置处理器

系列文章目录 安装jmeter jmeter常用配置元件介绍总结之后置处理器 8.后置处理器8.1.CSS/JQuery提取器8.2.JSON JMESPath Extractor8.3.JSON提取器8.4.正则表达式提取器8.5.边界提取器8.5.Debug PostProcessor8.6.XPath2 Extractor8.7.XPath提取器8.8.结果状态处理器 8.后置处理…

边缘计算在智能交通系统中的应用

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 边缘计算在智能交通系统中的应用 边缘计算在智能交通系统中的应用 边缘计算在智能交通系统中的应用 引言 边缘计算概述 定义与原…