光场相机建模与畸变校正改进方法

摘要:光场相机作为一种新型的成像系统,可以直接从一次曝光的图像中得到三维信息。为了能够更充分有效地利用光场数据包含的角度和位置信息,完成更加精准的场景深度计算,从而提升光场相机的三维重建的精度,需要实现精确的几何建模,并精确标定其模型参数。该方法从薄透镜模型和小孔成像模型出发,将主透镜建模为薄透镜模型,将微透镜建模为小孔成像模型,结合光场相机双平面模型,将每个提取到的特征点与其在三维空间中的射线建立联系,详细解释了内参矩阵中每个参数的物理意义,以及标定过程中初值确定的过程,并在镜头径向畸变模型的基础上进一步应用了相机镜头的切向畸变模型以及基于射线重投影误差的非线性优化方法,改进了光场相机的标定方法。实验显示,该方法的RMS射线重投影误差为0.332mm,与经典的Dansereau标定方法相比,进行非线性优化后得到的射线重投影误差精度提升了8%。该方法详细分析的场景点与特定像素索引的推导过程对光场相机的标定具有重要的研究意义,为光场相机光学模型的建立与初始化标定奠定了基础。

关键词:机器视觉;光场相机;重投影误差;相机标定;镜头畸变

引言

传统相机的成像方式只能记录光线所经过的位置信息,丢失了光线的深度信息,即三维信息。光场相机作为一种新型成像系统,由于其内部含有微透镜阵列这一特殊构造[1],可以同时获取光线的角度和位置信息,能颠覆传统成像方式的图像生成方法,实现如数字重聚焦、合成子孔径图像、光场显微成像、全景深图像合成、场景深度图获取等功能[2]。能够为三维重建[3]、全景拼接、视角合成、目标识别与跟踪等计算机视觉问题提供更加完备而有效的解决方案[4]。

光场相机的原型首先是由Adelson和Wang[5]在1992年提出的。第一个商业化的手持光场相机是由NgR[6]在2005年设计的,然后由Lytro公司发布。该光场相机在图像传感器与主透镜之间放置了一个微透镜阵列,通过它来获取光线的更多场景信息。但是该相机模型的空间分辨率不高,又被称为未聚焦光场相机。2009年,Georgiev和Lumsdaine[7−8]提出了基于Ng光场相机模型的新模型,名为聚焦光场相机,其中微透镜阵列(MLA)聚焦于主透镜形成的图像平面上。这个相机模型由Raytrix公司发布,有更高的空间分辨率,但是角度分辨率较低。

相机的标定参数可以提高其精度和性能,因此,研究者们提出了不同的标定方法。2013年,Dansereau[9]等人提出一种包含15个参数的相机标定模型和方法,他们推导了像素索引与光线的四维内参矩阵和畸变模型,但其工作中仍然存在着初始化优化和解决校准参数等问题。2014年,Bok[10]等人提出了利用原始图像提取适当区域内线的特征校正线性形状的相机投影模型的方法,然而,他们并没有模拟外子孔径图像的镜头畸变。2016年,Zeller[11]等人提出了一种测量校准方法,使用全聚焦图像和虚拟深度图计算三维观测结果,然而,该方法未能得到物体距离超过1m的特征点。Johannsen[12]等根据该特征重建标定物的三维点坐标,通过序列二次规划(SQP)优化方法求解内外参数,但却忽略了微透镜产生的畸变。Zhang[13]等人提出了一种基于原始图像特征与深度尺度信息之间关系的校准方法,然而他们没有对微透镜阵列引起的畸变误差进行补偿,为了填补这一空白,2017年,Noury[14]等人提出了一种仅基于原始图像的校准方法。这项工作开发了一种新的检测器,以直接估计棋盘格,观察原始图像的亚像素精度。然而,他们从白图像而不是捕获的原始图像估计微图像的网格参数,这在标定过程中引入了不确定性。光场相机出现时间不长,其成像模型的建立与参数标定研究并不多,仍然不成熟。

文中在经典的Dansereau方法的基础上,改进了光场相机的标定与畸变校正方法,通过通用的小孔成像与薄透镜模型,分析了光场相机模型中参数的物理意义,并用通用相机的标定方法进行光场相机标定,推导出不同方向的子孔径图像像素坐标的索引与穿过主透镜和微透镜阵列的光场射线的精确关系,利用投影转换关系估计出光场相机的内参,并考虑相机的径向畸变与切向畸变模型,最后利用重投影误差对其参数进行优化。

1光场相机精确几何模型建立

1.1成像模型

光场相机的典型代表是Ng等设计的传统光场相机(Plenopic1.0)。小孔成像模型描述微透镜阵列,薄透镜模型描述主镜头。该成像装置在传统相机的焦平面处放置一个微透镜阵列,并将图像传感器置于微透镜的一倍焦距处。真实场景中特定深度平面上来自同一点的不同方向光束,通过主镜头折射、微透镜聚焦,最终被图像传感器上的成像单元所记录,如图1所示。

图片

如图1所示,A表示图像传感器平面,B表示微透镜阵列平面,C表示主透镜平面,O−XY为图像坐标系,Oc−XcYcZc为相机坐标系,Ow−XwYwZw为世界坐标系。光场相机模型表示为光线的路径,以穿过微透镜阵列平面及图像传感器平面的射线作为此光线的开始,即n=[ijkl]T,i和j为每个微透镜对应像元的索引,k和l为微透镜的位置索引,完整的转换过程如公式(1)所示[9]。如果每个微透镜对应的像元像素为Ni×Nj,那么i和j的范围为0∼Ni,j;若有Nk×Nl个微透镜,则k,l的范围为0∼Nk,l。

图片

为了便于说明,将四维坐标简化为横向的二维坐标,再延伸至四维光场,即n=[ik1]T。Hs是将相对坐标转换为绝对坐标的矩阵,即把i转换为iabs,如图2所示,i是相对坐标,表示每个微透镜下宏像素的索引,把相对坐标加上其对应的微透镜索引k处的实际像素,即kN,并减去宏像素的中心cpix就得到了绝对坐标iabs,其表示在图像传感器平面上相对坐标对应的微透镜图像的实际索引,转换过程为公式(3),N是每个微透镜下的宏像素大小,cpix是每个微透镜下的宏像素的中心,cpix=N/2。

图片

下一步是把绝对坐标转换为光场射线表示,此处与普通相机的小孔成像模型类似,首先通过Hbs将绝对坐标iabs与微透镜阵列的索引k分别减去图像传感器和微透镜阵列的中心位置偏移量,再除以对应的单位物理尺寸(mm)可得到其在图像传感器平面与微透镜阵列平面实际的物理尺寸(mm),1/Fs和1/Fu分别表示图像传感器像素和微透镜的单位物理尺寸(mm),cm和cu分别为图像传感器和微透镜阵列的中心位置偏移量,Fs=NFu,cm=Ncu,转换公式如公式(4)所示:xi表示该点到图像中心主点之间的物理距离,k′表示该点所在的微透镜中心到图像中心主点之间的物理距离,如图3所示。

图片

图片

然后通过HφΦ推导出其对应光线的角度θ,如图3所示,使用宏像素的中心偏移cpix减去在该宏像素的相对坐标i,得到i与当前微透镜光轴的像素,然后除以Fs得到该距离的实际物理尺寸xi,最后除以图像传感器平面和微透镜阵列平面的距离du,即可得到该条光线的角度θ。转换过程如公式(5)所示:xi是光线在图像传感器平面的坐标,θ是光线的角度,du代表图像传感器平面和微透镜阵列平面的距离。最后通过HT将光线在图像传感器平面的坐标(即光线在i平面的坐标xi)延伸至主透镜s平面,如图3所示,主透镜与图像传感器平面的距离(du+dm)乘上光线的角度θ,再加上xi即可得到延伸至主透镜上的点xm,转换过程如公式(6)所示:dm代表主透镜平面与微透镜阵列平面的距离,xm是光线在主透镜s平面的坐标。

图片

最后通过HM推导出入射光线的方向,如图4所示,主透镜符合薄透镜模型,根据高斯成像公式:1/fM=1/u+1/v,fM为主透镜的焦距,u为物距,v为像距,u=xm/θ′,v=xm/θ,即1/fM=θ′/xm+θ/xm,可得到入射光线的角度θ′,转换过程如公式(7)所示。然后通过HΦφ推导出经过xm的入射光线与u平面的交点,D是u平面与主透镜s平面的距离,入射光线的角度θ′与距离D相乘并加上xm即可得到该光线与u平面的交点s,如公式(8)所示:s为入射光线在u平面的坐标,u为入射光线的角度。注意,此时u不是双平面模型中的坐标,而是入射角度,此处是为了和Dansereau等提出的经典模型中的u做区分。

图片

因为垂直和水平方向的索引部分是独立的,所以将2D索引延伸为4D索引是简单的。通过公式(1)将公式(2)中的矩阵相乘可以得到一个具有12个非零项的矩阵的表达式:

图片

1.2镜头畸变模型

微透镜阵列和主透镜都有可能导致镜头畸变[15],忽略微透镜阵列产生的畸变,考虑主透镜产生的畸变。由透镜的形状引起的径向畸变模型如下:

图片

式中:k1、k2等是径向畸变系数,根据光场相机的镜头 参数,可以选择双参数模型和三参数模型;u、v和ud、vd分别为没有畸变和有畸变的光线角度。由相机组 装过程中透镜和像面不严格平行引起的切向畸变模型可用畸变系数p1和p2类似描述为:

图片

2 光场相机标定

光场相机的标定有三个主要模块:第一部分是合成所有角度的子孔径图像并提取所有角度子孔径图像的特征点;第二部分是对相机参数进行初始化[16];第三部分根据相机的重投影误差构造函数进行非线性优化,它优化了第二部分产生的初始估计。

2.1合成子孔径图像及提取所有子孔径图像的特征点

首先将原始的2D图片解码为4D光场表示,通过得到的微透镜图像合成不同方向的子孔径图像,再对所有子孔径图像进行特征点提取。将每个微透镜宏像素上相同位置的像素点按照顺序进行重排列操作,即可得到该方向的子孔径图像,以此类推,可以得到所有角度的子孔径图像,原理如图5(a)所示。i、j是一个微透镜下的宏像素索引,k、l是微透镜的个数索引。例如:微透镜阵列有381×383个,即有381×383个微透镜,每个微透镜下的宏像素有9pixel×9pixel,那么就可以提取9×9张子孔径图像,每张子孔径图像有381pixel×383pixel[17]。对于子孔径图像来说,i、j是图片索引,k、l是像素值。中心角度的子孔径图像就是按照顺序提取每一个微透镜宏像素中心位置的像素点,然后把这些像素按顺序重新拼接成的图像,所有角度子孔径图像如图5(c)所示,因为每个微透镜的边缘存在渐晕现象,所以边缘角度的子孔径图像较暗。

与传统相机标定类似,光场相机从不同角度拍摄棋盘格图像[18],得到所有角度子孔径图像后对子孔径图像进行灰度化处理,然后通过Harris角点检测[5]方法提取每一幅子孔径图像的特征点。

图片

图片

2.2相机参数初始化

在光场相机的模型中,当u平面在主透镜的焦平面上时,即D=fM,光场相机的坐标系原点为主透镜 光轴与主透镜焦平面的交点。XY轴方向仍是像平面的XY方向,Z方向垂直于焦平面向外。通过公式(9)可以得出:H1,1=H2,2,H3,3=H4,4,H1,3=H2,4,H3,1=H4,2,H1,5=H2,5,H3,5=H4,5。对其参数进行化简,可以得出:

图片

光场相机的初始化首先要得到主透镜的焦距,在光场相机的模型中,从图像传感器到微透镜的每条相同角度的射线路径(即i,j相同)都收敛到主透镜焦平面上的一个点,这个点是虚拟相机的中心位置,即ui,如图6所示。此时,每个子孔径图像的成像等效为小孔成像模型,其焦距是主透镜的焦距fm,子孔径图像相邻像素之间的距离也就是微透镜的物理尺寸,为1/Fu(mm)。中心角度的子孔径图像(光线角度为0°,即过主透镜光心)所等效的虚拟相机的坐标系为光场相机的坐标系。

图片

类似张正友的平面靶标标定方法[14],求解主透镜焦距首先要通过世界坐标系的3D点和像素坐标系的2D点得到单应矩阵H:

图片

式中:s表示尺度因子;K表示相机内参矩阵;r1,r2,t为相机外参;fx,fy为主透镜的等效焦距;u0,v0为图像的主点,是两个坐标轴的偏斜参数,可以忽略不计。通过将单应矩阵H中无关的参数(即主点(u0,v0))消除,可以求出焦距fx,fy:

图片

图片

因为相机外参的旋转矩阵是正交的,即r1和r2正交,由此可推出相机主透镜的等效焦距fx和fy,由

图片

等效焦距等于焦距fM除以像素之间的物理尺寸1/Fu,即fx=fy=fMFu。

相邻虚拟相机中心之间的距离称为基线(baseline),该基线距可以通过标定时虚拟相机的外参得到,即外参平移量之间的距离,如图7所示。当D=fM时,由图7根据相似三角形可知两个角度θ是相等的,即:

图片

假如n=1,那么基线就是ui+1和ui之间的距离。即通过公式(18)可以得出:

图片

图片

图片

2.3重投影误差

对于传统相机的标定,特征点P对应于图像平面中的某一点,如图8(a)所示,从观测到的和预期得到的投影特征位置i和iˆ之间的距离称为“重投影差”,|E|='i−iˆ',对这个误差建立目标函数,采用非线性优化方法对相机参数进行优化。但是在光场相机标定中,由于一个特征点会多次出现在成像平面上,重投影误差是比较复杂的,如图8(b)所示,对于光场相机,每个特征点都有多个预期和观测到的图像点iˆj,ij,并且它们通常不会出现在相同的微透镜下的宏像素内。从每一个观测到的点ij可以得到一条投影光线φj,每条投影光线与特征点之间的距离'Ej'称为“光线重投影误差”。

图片

因为已经得到了Ni×Nj的子孔径图像阵列,从其中提取观察到的特征点,从M个不同的角度捕获标定板,并且每一个标定板有Nc个标定特征点,所以优化的总特征集大小为NcMNiNj。优化目标是找到内参矩阵H、相机姿态Tm(光场相机的外参等于最中心的虚拟相机的外参)、畸变系数d、n=[ijkl]T,i和j为每个微透镜对应像元的索引,即子孔径图像的索引

(0−Ni,0−Nj),k和l为微透镜的位置索引,即子孔径图像上像素值。φ表示点n通过畸变校正后通过光场相机模型(公式(1))得到光线的位置和角度,优化函数如公式(20)所示:

图片

式中:∥·∥pt−ray为“光线重投影误差”。

对该误差建立目标函数,采用Levenberg-Marquardt的优化算法对其进行优化,使用lsqnonlin函数得到优化后的结果。

3 实验

利用光场相机LytroIllum对该方法进行验证。进行标定的实验系统如图9所示,包括光场相机和标定板。从图像传感器上记录的原始2D图像中恢复4D光场L(s,t,u,v),并使用MATLABtoolboxLFToolboxV0.4[9]进行子孔径图像的提取。使用了相机提供的白图像来定位微透镜图像中心和矫正镜头的渐晕。提取到的四维光场有15×15个子孔径图像,每个子孔径图像有434pixel×625pixel。实验中,使用Lytro光场相机拍摄16个不同视角的棋盘格图片,该棋盘格有12×9个网格,标定板相邻特征点之间的距离为30.0mm×30.0mm。

图片

光场相机标定结果详见表1。该模型在非线性优化和畸变校正前后的重投影误差如图10所示。图10(a)中,主透镜边缘的重投影误差相比主透镜中间的重投影误差有较大浮动,而优化校正后的重投影误差大致相同,如图10(b)所示。文中改进的标定方法与Dansereau[9]等人的方法相比,均方根误差由0.363mm降低到0.332mm,精度提升8*,如图10(b)、(c)所示。另外,对于Dansereau[9]等人方法中采用的径向畸变模型,文中验证了采用多项式模型中双参数、单参数径向畸变模型以及除法模型,其标定精度不如三参数的径向畸变模型,也说明了原本径向模型的准确性。

图片

图片

4. 结论 

文中改进了一种双平面模型的光场相机的标定模型和方法。基于微透镜阵列和主透镜模型推导了从场景点到特定像素索引的投影关系,并应用了主透镜的径向和切向畸变校正方法和基于射线重投影的非线性优化方法,实验显示该方法的RMS射线重投影误差为0.332mm。Dansereau等人提出的参数模型缺乏对参数的实际物理意义的解释,文中从小孔成像模型和薄透镜模型出发,详细解释了每个参数的物理意义及初值的确定过程,为光场相机模型参数的理解与初始化奠定了理论基础,并且优化了针对光场相机主透镜的畸变模型。下一步计划包括研究一个更复杂的透镜畸变模型以及更精巧的相机投影模型,提高光场标定的准确性,并克服针孔模型和薄透镜模型的局限性。

文章来源:《红外与激光工程》第52卷第1期

作者:杨守瑞,段婉莹,艾文宇,陈胜勇

声明:转载此文目的在于传递更多信息,仅供读者学习、交流之目的。文章版权归原作者所有,如有侵权,请联系删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/311079.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Scrapy框架 进阶

Scrapy框架基础Scrapy框架进阶 【五】持久化存储 命令行:json、csv等管道:什么数据类型都可以 【1】命令行简单存储 (1)语法 Json格式 scrapy crawl 自定义爬虫程序文件名 -o 文件名.jsonCSV格式 scrapy crawl 自定义爬虫程…

华为云CodeArts IDE For Python 快速使用指南

CodeArts IDE 带有 Python 扩展,为 Python 语言提供了广泛的支持。Python 扩展可以利用 CodeArts IDE 的代码补全、验证、调试和单元测试等特性,与多种 Python 解释器协同工作,轻松切换包括虚拟环境和 conda 环境的 Python 环境。本文简要概述…

基于springboot+vue实现的疫情防控物资调配与管理系统

作者主页:Java码库 主营内容:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app等设计与开发。 收藏点赞不迷路 关注作者有好处 文末获取源码 技术选型 【后端】:Java 【框架】:spring…

算法—分治

分而治之:指的是当主问题可以被分解为一个相同次级问题加相同基本问题时,采用这种思想,基本问题指问题规模最小时的情况,次级问题是指主问题的n级降低n-1级的问题。 具体实现:多数采用递归操作分解,然后递归操作&#…

视频国标学习

总体介绍 GB/T28181协议,全名叫《安全防范视频监控联网系统信息传输、交换、控制技术要求》,是由中国国家标准委员会发布的一种国家级的标准。它主要对视频监控系统的各个方面做了明确的规定,使得不同厂商生产的视频监控设备能够相互连通&am…

多普勒频移

下面从频谱的角度理解多普勒频移。 设目标以速度接近雷达,在时刻距离,则在任意时刻目标与雷达的距离为 设雷达发射信号为。设时刻发射的信号经过遇到目标,则由于目标与信号相向运动,有 得到,从而时刻发射的信号经过返回…

2024蓝桥杯——宝石问题

先展示题目 声明 以下代码仅是我的个人看法,在自己考试过程中的优化版,本人考试就踩了很多坑,我会—一列举出来。代码可能很多,但是总体时间复杂度不高只有0(N) 函数里面的动态数组我没有写开辟判断和free,这里我忽略…

C语言:文件操作(三)

目录 前言 5、文章的随机读写 5.1 fseek 5.2 ftell 5.3 rewind 结语 前言 本篇文章继续讲解文件操作,讲解文件的随机读写,主要有三个函数:fseek;ftell;rewind。 前面讲解的函数都是对文件内容进行顺序读写&#x…

数据湖技术选型——Flink+Paimon 方向

文章目录 前言Apache Iceberg存储索引metadataFormat V2小文件 Delta LakeApache Hudi存储索引COWMOR元数据表 Apache PaimonLSMTagconsumerChangelogPartial Update 前言 对比读写性能和对流批一体的支持情况,建议选择Apache Paimon截止2024年1月12日数据湖四大开…

WordPress网站上添加看板娘

续接上篇——基于LNMP部署wordpress-CSDN博客 目录 一.下载并解压 二.设置头文件 修改header.php 修改配置文件footer.php 三.将你设置的主题包上传到/usr/share/nginx/html/wp-content这个目录里 四.扩展——将看板娘修改到左侧 一.下载并解压 [rootaliyun ~]# wget htt…

抖音小店被投诉侵权后怎么办?别慌!教你如何申诉!

大家好,我是电商花花。 这两年听到最多的违规除了低价违规之外,就是专利侵权,现在听到不少风声,最近查专利侵权的不少,很多人商家失足踩了坑。 目前来说像3C数码,服装,玩具类目、部分母婴产品…

定时器产生延时停止

1,需求: 当按下按钮SB1,输出信号为0N,指示灯点亮;按下按钮SB2,经过10s的延时后,指示灯熄灭 2,关闭使用定时的常闭触电

强大的Python爬虫技巧:数据抓取、网页解析、自动化

主流电商平台商品详情主页数据采集,大批量高并发的数据采集,我们需要用电商API接口接入的方式实现电商数据自动化采集。 Python爬虫是一项强大的技术,可以用于从互联网上抓取数据、解析网页内容,并实现自动化任务。本文将介绍一些…

如何应对MySQL单表数据量过大:垂直分表与水平分表策略解析

话接上回,单表最大数据建议两千万,那如果开发一个项目,预计注册量达到一个亿怎么办。 单表内放这么多数据,MYSQL底层B树的层级结构就可能会变得很高,磁盘io次数变多,性能会大幅度降低。所以考虑数据库分表…

Contained连接Harbor仓库,报错failed to call tryLoginWithRegHost

1、Harbor镜像仓库地址:192.168.0.190 2、Contained地址:192.168.0.179(k8s集群master节点) 3、创建目录/etc/containerd/certs.d/镜像仓库Harbor ip mkdir -p /etc/containerd/certs.d/192.168.0.190 4、进人上面目录&#xff0…

mybatis-puls 条件分析插件

一,能做什么 我们在平时的开发中,会遇到一些慢sql. MP也提供了性能分析插件,如果超过这个时间就停止运行! 二,如何实现 2.1引入条件分析插件 //性能分析BeanProfile({"dev","test"}) //设置dev 和 test环境开启public Performanc…

牛客周赛 Round 39(A,B,C,D,E,F,G)

比赛链接 官方题解(视频) B题是个贪心。CD用同余最短路,预处理的完全背包,多重背包都能做,比较典型。E是个诈骗,暴力就完事了。F是个线段树。G是个分类大讨论,出题人钦定的本年度最佳最粪 题目…

《自动机理论、语言和计算导论》阅读笔记:p172-p224

《自动机理论、语言和计算导论》学习第 8 天,p172-p224总结,总计 53 页。 一、技术总结 1.Context-Free Grammar(CFG) 2.parse tree (1)定义 p183,But perhaps more importantly, the tree, known as a “parse tree”, when used in a …

用二进制译码器实现组合逻辑函数

用二进制译码器实现组合逻辑函数 原理 由于 n n n 位二进制译码器可提供 2 n 2^n 2n 个最小项的输出,而任一个逻辑函数都可变换为最小项之和的标准与或式,因此利用译码器和门电路可实现单输出及多输出组合逻辑电路 基本步骤 选择合适的集成二进制译…

使用Scrapy选择器提取豆瓣电影信息,并用正则表达式从介绍详情中获取指定信息

本文同步更新于博主个人博客:blog.buzzchat.top 一、Scrapy框架 1. 介绍 在当今数字化的时代,数据是一种宝贵的资源,而网络爬虫(Web Scraping)则是获取网络数据的重要工具之一。而在 Python 生态系统中,S…