前言
从这一节开始,我们来学习几何视觉。中层视觉包括相机模型、单目几何视觉、对极几何视觉和多目立体视觉等。在学习几何视觉最开始,我们先来学习一下相机模型,了解相机的基本原理,了解相机如何记录影像。
一、数字相机
1.1 基本工作原理
相机用于生成二维的图像,图像最小的单元被称为像素 (Pixel)
• 图像中的每个像素对应三维世界中的某个特定方向
• 相机度量某一时刻,每个像素的光照强度和颜色,并保存在图像中对应像素位置处。
• 换言之,像素值衡量了某一时刻,来自某一方向上的光照强度
1.2 基本组成元素
二、图像传感器
2.1 图像传感器简介
图像传感器是一种将光学影像转换成电子信号的设备。
• 感光元件由光敏单元阵列构成
• 常见的图像传感器有感光耦合器件(CCD)和互补式金属氧化物半导体有源像素传感器(CMOS )两种
• 彩色图像的生成采用RGB颜色模型:将红绿蓝三原色的色光以不同比例相加,以产生各种色彩光
彩色图像传感器按照对色彩的分辨方式可分为:
• 3CCD 传感器:通过双色棱镜分光,并采用3块独立的CCD传感器
• 拜尔(Bayer)传感器:一个像素点只对三原色光中的一种感光
• Foveon X3 传感器:每一像素点都有三重传感器
2.2 3CCD传感器
2.3 拜尔传感器
三、快门
3.1 快门简介
• 通过调整快门速度 (Shutter Speed),控制光线照射感光元件的时间,即曝光时间 (Exposure Time)
• 更长的曝光时间更多的入射光图像亮度更亮
• 更长的曝光时间容易引起运动模糊 (长曝光摄影)
3.2 卷帘宽门
- 采用逐行扫描的方式曝光
- 同一行像素被同时记录,不同行像素曝光时间点不同
- 当相机或物体发生快速移动时会引起畸变(Distortion)
![](https://img-blog.csdnimg.cn/bd204009155647b2b6fccc03af9291bf.png)
3.3 全局快门
• 所有像素在同一时间曝光
• 不会造成卷帘快门式的畸变,因而更适用于3D重构任务 (如SLAM)
• 造价更昂贵
【参考链接】
![icon-default.png?t=N7T8](https://csdnimg.cn/release/blog_editor_html/release2.3.6/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N7T8)
四、图像的形成
4.1 成像原理
问:直接在物体前放置幕布,幕布上能否投射出物体的图像?
答:不会,幕布上每一点都会接收到来自不同方向光线的投射,因而投影的结果是十分模糊的。
那么如何解决呢?
- 增加遮光板屏蔽掉多余的光线 (小孔成像)
- 遮光板上通光的小孔就是光圈 (Aperture)
- 最朴素的针孔相机模型
这就是我们日常生活中的小孔成像原理。
4.2 针孔相机
• 针孔相机假设通过对小孔是一个点,从物体的每个点发出的光线只有一条能通过小孔
• 针孔相机模型用于近似图像的形成过程
• 利用相似三角形原理分析
![](https://img-blog.csdnimg.cn/c6af3539f07c4197925e5efcc82ee97e.png)
• 针孔相机模型:图像较锐化,由于光线较少,需要更多的曝光时间
• 扩大孔径:可以减少所需曝光时间,但图像变模糊
• 解决方法:用镜头(透镜)替换针孔
4.3 薄透镜相机
薄透镜相机模型是对针孔相机的近似。
• 理想情况下物点、像点、光心三点共线
• 光线与光心距离越远,误差越大
• 采用光圈,屏蔽距离光心较远的光心,控制误差
4.4 光圈与景深
【光圈】
光圈限制了光线与光心的最大距离,光圈就是小孔的孔径。
【景深】
景深指相机聚焦平面前后相对清晰的成像范围,描述在空间中,可以清楚成像的距离范围
![](https://img-blog.csdnimg.cn/336b21d22e784b49a5fc22532c43d86c.png)
【光圈和景深】
![](https://img-blog.csdnimg.cn/68b574f226b64abea92c5c1bc78fddd5.png)
【参考网站】Depth of Field in Photography Explained: The Ultimate DOF Guide! (capturetheatlas.com)
4.5 针孔/薄透镜相机的假设
• 从同一物点发出的光线被聚焦于同一像点
• 所有的像点位于同一平面上
• 物点、光心与像点三点共线
因为以上假设条件在实际中并非总是满足的,这导致了不完美的成像结果。
五、像差
真实成像过程中3D场景到2D图像的投影关系与理想薄透镜相机模型中的投影关系的偏差,称
为像差。像差表现为图像的形变与失真,有多中具体的形式。主要形式如下:
• 畸变 (Distortion)
• 球面像差 (Spherical aberrations)
• 色相差 (Chromatic aberrations)
• 像散 (Astigmatism )
• 光晕 (Vignetting)
5.1 畸变
- 直线投影 (rectilinear projection): 3D场景中的直线在2D投影中仍未直线
- 畸变:与直线投影的偏差
5.2 球面像差
- 由于透镜球面折射率变化不均造成平行于光轴的光线无法聚焦
- 造成成像模糊
5.3 色相差
透镜折射率随光的波长而变化,同一物点发出的不同颜色光线无法聚焦于同一像点
![](https://img-blog.csdnimg.cn/f43ba55978084eceb1963b23683d47d5.png)
5.4 像散
水平和竖直方向的焦点不同
![](https://img-blog.csdnimg.cn/4111a93a81644d1f88b039916dfc9f82.png)
5.5 光晕/暗角
- 图像的外围部分的亮度或饱和度比中心区域低
- 一个或多个透镜的实际尺寸造成的,后方的元件遮蔽了前方的
- 然而,有时却因为需要创意风格而被刻意加入
六、常见的镜头种类
6.1 长焦镜头
- 视野较窄
- 透视变形最小
- 3D空间中平行线在2D图像中保持平行
![](https://img-blog.csdnimg.cn/174440b61045474dbd3665c0cba708b1.png)
6.2 广角镜头
- 视野较宽广 (70-120度)
- 有透视变形
- 3D空间中的直线在2D图像大致是直线
6.3 鱼眼镜头
- 视野极宽 (>130度)
- 3D空间中的直线在2D图像中几本不再是直线