【AI最前线】DP双像素sensor相关的AI算法全集:深度估计、图像去模糊去雨去雾恢复、图像重建、自动对焦

Dual Pixel 简介

双像素是成像系统的感光元器件中单帧同时生成的图像:通过双像素可以实现:深度估计、图像去模糊去雨去雾恢复、图像重建

成像原理来源如上,也有遮罩等方式的pd生成,如图双像素视图可以看到光圈的不同一半,这提供了一个深度提示。然而,由于基本的模糊性,如果相机的焦距(或光圈大小或焦距)发生变化,不同的场景可能会产生相同的双像素图像。在(a)中,具有焦距g1的相机在距离Z1处成像聚焦的蓝色点和离焦的橙色点。通过光圈左半部分折射的光(深蓝色和橙色光线)到达每个双像素的右半部分,反之亦然。这导致了一个双像素图像,其中失焦橙色点被d像素(a,“DP数据”)位移,被b像素模糊(a,”图像”)。在(b)中,不同的焦距和场景深度集产生相同的双像素和RGB图像。然而,如文中所示,该场景通过逆深度上的仿射变换与(a)中的场景相关。消费者迅速采用。双像素相机似乎代表了更雄心勃勃的光场相机和传统相机之间的一种有前景的折衷方案——DP相机牺牲了可忽略的空间分辨率来采样光场中的两个角度,而真正的单眼相机只采样一个角度,Lytro Illum等光场相机以牺牲显著的空间分辨率为代价采样196个角度。因此,它们在消费类相机和内窥镜等空间受限的应用中得到了更广泛的采用[6]。

消费类硬件的最新发展可能为深度估计的新方法提供机会。最近,通过使用密集的双像素(DP)传感器(图2),可以使用一台相机同时捕获两张类似于具有微小基线的立体对的图像(图1)。虽然这项技术最初是为相机自动对焦而开发的,但双像素图像也可以用来从单个相机中恢复密集的深度图,从而消除了对额外硬件、校准或同步的任何需求。例如,Wadhwa等人[55]使用经典的立体技术(块匹配和边缘感知平滑)从DP数据中恢复深度。但如图1所示,传统立体技术可以生成的深度图的质量是有限的,因为DP图像中视差和焦点之间的相互作用可能会导致经典立体匹配技术失败。现有的基于单眼学习的技术在这方面也表现不佳

接下来就介绍双像素相关的sota论文和代码,长期更新教学

Table of contents

  • DualPixel
  • Dateset

Dual Pixel

YearPubPaperAppRepo
2018SIGGRAPHSynthetic Depth-of-Field with a Single-Camera Mobile PhoneDepth / Segmenation / Synthetic DoF
2019CVPRReflection Removal Using a Dual-Pixel SensorReflection RemovalCode
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepthCode & Dataset
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsDepthCode & Dataset
2020CVPRLearning to AutofocusAutofocusDataset
2020ECCVDu2Net: Learning Depth Estimation from Dual-Cameras and Dual-PixelsDisparity (w/Stereo)
2020ECCVDefocus Deblurring Using Dual-Pixel DataDeblurCode & Dataset
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDepth / DeblurCode & Dataset
2021CVPRWNTIRE 2021 Challenge for Defocus Deblurring Using Dual-pixel Images: Methods and ResultsDeblur
2021CVPRWATTSF Attention! Stay Focus!DeblurCode
2021ICCVDefocus Map Estimation and Deblurring From a Single Dual-Pixel ImageDeblur / Defocus MapCode & Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDeblurCode & Dataset
2021IEEEWorld Largest Mobile Image Sensor with All Directional Phase Detection Auto Focus FunctionDepth
2021ICTCDisparity probability volume guided defocus deblurring using dual pixel dataDeblur
2021Journal of Electronic ImagingDefocus deblurring: a designed deep model based on CNNDeblur
2021IEEEAll-Directional Dual Pixel Auto Focus Technology in CMOS Image SensorsCircuits
2022WACVImproving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task LearningDeblurCode & Dataset
2022ISSCCA 1/1.57-inch 50Mpixel CMOS Image Sensor With 1.0μm All-Directional Dual Pixel by 0.5μm-Pitch Full-Depth Deep-Trench Isolation TechnologyCircuits
2022ECCVFacial Depth and Normal Estimation using Single Dual-Pixel CameraDepth / Surface Normal / Anti-spoofing / RelightingCode & Dataset
2023CVPRK3DN: Disparity-Aware Kernel Estimation for Dual-Pixel Defocus DeblurringDeblur
2023CVPRSpatio-Focal Bidirectional Disparity Estimation From a Dual-Pixel ImageDepth / DisparityCode
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesSimulatorCode & Dataset
2023ICCVExploring Positional Characteristics of Dual-Pixel Data for Camera AutofocusAutofocus

这其中

2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepth

 网络的代码被复现在:DualPixelFace/src at main · MinJunKang/DualPixelFace · GitHub ;GitHub - vyi/PdCapture: [google-research/dual-pixels](Forked from https://github.com/google-research/google-research/tree/master/dual_pixels)

GitHub - RugvedKatole/Learning-Single-Camera-Depth-Estimation-using-Dual-Pixels: This Repo is an implementation of paper titled "Learning Single Camera Depth Estimation using Dual-Pixels"

Dataset

YearPubPaperDetail
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsTrain:2506, Test:684, Res:1512x2016(DP), 16bit png, DP Raw / Depth
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsNum:100, Res:5180x2940, RGB 8bit jpg / 16bit tif Depth, DP LR / Depth
2020ECCVDefocus Deblurring Using Dual-Pixel DataNum:500, Res:1680x1120, 16bit, Used for NTIRE 2021 Challenge (CVPRW)
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDP Simulator from NYUD Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDP Simulator form SYNTHIA-SF dataset
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesNum:5130, Res:1680x1120, RGB(DP LRC) 8bit png / Depth 16bit png

小结

欢迎AI深度估计、AI重建、AI恢复图像:图像去雾去雨去模糊降噪方向的同学一起交流,cv君正在打造最大最前沿的AI社区,让你在浓厚的学习氛围中进步,让你在飞速发展的时代中砥砺前行;免费进群交流请私信cv君(免费)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/477154.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spark——安装步骤详细教程

1、安装步骤 1、上传 cd /opt/modules 2、解压 tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs 3、重命名 cd /opt/installs mv spark-3.1.2-bin-hadoop3.2 spark-local 4、创建软链接 ln -s spark-local spark 5、配置环境变量: vi /etc/prof…

Java语言程序设计 选填题知识点总结

第一章 javac.exe是JDK提供的编译器public static void main (String args[])是Java应用程序主类中正确的main方法Java源文件是由若干个书写形式互相独立的类组成的Java语言的名字是印度尼西亚一个盛产咖啡的岛名Java源文件中可以有一个或多个类Java源文件的扩展名是.java如果…

项目学习:仿b站的视频网站项目03-注册功能

概括 通过上一期,完成了项目和数据库的基础结构的搭建,接下来主要是完成项目的注册功能。该功能模块主要分为有两个接口,一个是验证码接口,一个是注册接口。 让我们开始吧! 验证码接口 验证码的生成主要配合下面这…

Linux——进程间通信之管道

进程间通信之管道 文章目录 进程间通信之管道1. 进程间通信1.1 为什么要进行进程间的通信1.2 如何进行进程间的通信1.3 进程间通信的方式 2. 管道2.1 匿名管道2.1.1 系统调用pipe()2.1.2 使用匿名管道进行通信2.1.1 匿名管道四种情况2.1.2 匿名管道的五大特性2.1.3 进程池 2.2 …

使用chrome 访问虚拟机Apache2 的默认页面,出现了ERR_ADDRESS_UNREACHABLE这个鸟问题

本地环境 主机MacOs Sequoia 15.1虚拟机Parallels Desktop 20 for Mac Pro Edition 版本 20.0.1 (55659)虚拟机-操作系统Ubuntu 22.04 服务器版本 最小安装 开发环境 编辑器编译器调试工具数据库http服务web开发防火墙Vim9Gcc13Gdb14Mysql8Apache2Php8.3Iptables 第一坑 数…

海洋通信船舶组网工业4G路由器应用

船舶是浩瀚海洋中探索与贸易的载体,更是船员们生活与工作的家园。为了在广阔的水域中搭建起稳定、高效的网络桥梁,工业4G路由器以卓越的通信组网能力,为船舶组网提供网络支持。 工业4G路由器以其强大的信号发射能力,确保船舶内部…

分类算法——基于heart数据集实现

1 heart数据集——描述性统计分析 import matplotlib.pyplot as plt import pandas as pd# Load the dataset heart pd.read_csv(r"heart.csv", sep,)# Check the columns in the DataFrame print(heart.columns)aheart.loc[:, y].value_counts() print(a) heart.l…

力扣面试经典 150(上)

文章目录 数组/字符串1. 合并两个有序数组2. 移除元素3. 删除有序数组中的重复项4. 删除有序数组的重复项II5. 多数元素6. 轮转数组7. 买卖股票的最佳时机8. 买卖股票的最佳时机II9. 跳跃游戏10. 跳跃游戏II11. H 指数12. O(1)时间插入、删除和获取随机元素13. 除自身以外数组的…

Vue3-后台管理系统

目录 一、完成项目历程 1、构建项目 2、项目的自定义选项 3、 封装组件 4、配置对应页面的路由 5、从后端调接口的方式 二、引入Element Plus、Echarts、国际化组件 1、Element Plus安装 2、Echarts安装 3、国际化 三、介绍项目以及展示 1、项目是基于Vue3、Element …

mq 消费慢处理方式,rocketmq消费慢如何处理,mq如何处理消费端消费速率慢。rocketmq优化

1. 问题:mq消费慢,如何加快处理速度 2. 分析: 没想到吧,官网上就有处理方式。! 3.链接: 基本最佳实践 | RocketMQ 4. 处理方式: 4.1 提高消费并行度 4.1.1 加机器,配置多个消费服…

内存级文件原理——Linux

目录 进程与文件 Linux下的文件系统 文件操作,及文件流 C语言函数 文件流 文件描述符 系统调用操作 系统调用参数 重定向与文件描述符 输出重定向 输入重定向 文件内容属性 Linux下一切皆文件 进程与文件 当我们对文件进行操作时,文件必…

MATLAB矩阵元素的修改及删除

利用等号赋值来进行修改 A ( m , n ) c A(m,n)c A(m,n)c将将矩阵第 m m m行第 n n n列的元素改为 c c c,如果 m m m或 n n n超出原来的行或列,则会自动补充行或列,目标元素改为要求的,其余为 0 0 0 A ( m ) c A(m)c A(m)c将索引…

并行IO接口8255

文章目录 8255A芯片组成外设接口三个端口两组端口关于C口(★) 内部逻辑CPU接口 8255A的控制字(★)位控字(D70)方式选择控制字(D71) 8255A的工作方式工作方式0(基本输入/输…

springboot3如何集成knife4j 4.x版本及如何进行API注解

1. 什么是Knife4j knife4j是为Java MVC框架集成Swagger生成Api文档的增强解决方案, 取名knife4j是希望她能像一把匕首一样小巧,轻量,并且功能强悍!knife4j的前身是swagger-bootstrap-ui,swagger-bootstrap-ui自1.9.6版本后,正式更名为knife4j为了契合微服务的架构发展,由于原来…

js高级06-ajax封装和跨域

8.1、ajax简介及相关知识 8.1.1、原生ajax 8.1.1.1、AJAX 简介 AJAX 全称为 Asynchronous JavaScript And XML,就是异步的 JS 和 XML。 通过 AJAX 可以在浏览器中向服务器发送异步请求,最大的优势:无刷新获取数据。 按需请求,可…

自然色调人像自拍照后期Lr调色教程,手机滤镜PS+Lightroom预设下载!

调色教程 自然色调人像自拍照后期通过 Lightroom 调色,旨在打造出清新、自然、真实的人像效果。这种风格强调还原人物的本来面貌,同时增强照片的色彩和光影表现力,让自拍照更加生动和吸引人。 预设信息 调色风格:清晰透明风格预…

RabbitMQ简单应用

概念 RabbitMQ 是一种流行的开源消息代理(Message Broker)软件,它实现了高级消息队列协议(AMQP - Advanced Message Queuing Protocol)。RabbitMQ 通过高效的消息传递机制,主要应用于分布式系统中解耦应用…

计算机网络(14)ip地址超详解

先看图: 注意看第三列蓝色标注的点不会改变,A类地址第一个比特只会是0,B类是10,C类是110,D类是1110,E类是1111. IPv4地址根据其用途和网络规模的不同,分为五个主要类别(A、B、C、D、…

挂壁式空气净化器哪个品牌的质量好?排名top3优秀产品测评分析

随着挂壁式空气净化器市场的不断扩大,各类品牌与型号琳琅满目。但遗憾的是,一些跨界网红品牌过于追求短期效益,导致产品在净化效果与去除异味方面表现平平,使用体验不佳,甚至可能带来二次污染风险,影响人体…

分布式 Data Warebase - 构筑 AI 时代数据基石

导读:作者以人类世界一个信息层次模型 DIKW 为出发点,引出对计算机世界(系统)处理数据过程的介绍。接着以一个民宿平台数据架构随业务发展而不断演进的过程,展示了这场信息革命中,在具体应用场景下&#xf…