前言

本节我们将学习相机标定和对极几何两部分的内容。

在相机标定部分，我们将学习直接线性变换（Direct Linear Transform, DL）,张正友标定法（Zhang’s Method）和 Perspective-n-Point (PnP) 这三种方法。

在对极几何部分，我们将了解极平面、基线、极点和极线等概念，以及相机相对位姿估计和对极约束。

一、相机标定

1.1  相机内外参

内参：描述相机本身的属性，同一相机，内参固定

外参：描述相机的姿态、位置，随时间变化

让我们来回顾一下相机的成像过程

1.2  相机标定概述

通过实验的方法计算和估计相机内外参数的过程称为相机标定(Camera Calibration)

相机标定的应用有：

• 矫正透镜畸变（内参标定）

• 建立相机成像几何模型，实现三维重构

相机标定的意义：

• 相机标定是非常关键的环节，标定结果的精度直接影响相机工作产生结果的准确性

• 做好相机标定是做好后续工作的前提

下面讲解三种相机标定的常见方法：

• 直接线性变换 (Direct Linear Transform, DLT)——同时估计内外参

• 张正友标定法 (Zhang’s Method)——估计内参

• Perspective-n-Point (PnP)——估计外参

1.3  直接线性变换（DLT）

1.3.1  基本设定

• 已知：部分参考点在图像坐标系和世界坐标系下的坐标

• 求解：相机的内参矩阵𝑲、外参𝑹与𝒕

1.3.2  世界坐标系到图像坐标系的映射

1.3.3  关于矩阵M自由度的解释

1.3.4  DLT算法的基本思路和流程

1.3.5  小结

• DLT方法通过计算未标定数据 (Uncalibrated Camera)的映射参数矩阵𝑀，来计算相机内外参

• 需要已知至少6个观测点的世界坐标和图像坐标

• 当已知观测点近似落在同一平面时，DLT求解不稳定

1.4  张正友标定法

【参考文献】

Zhang, A flexible new technique for camera calibration, IEEE TPAMI, 2000

1.4.1  标定工具：标定板

相机标定往往需要观测点在世界坐标系中的坐标，但是世界坐标不易测量

因此，引入二维标定板：

• 由规则的黑白棋盘格构成，尺寸已知

• 网格点可以被角点检测算法自动、准确检测出

• 在标定板上建立世界坐标系，标定板位于Z=0平面，网格点作为观测点

二维标定板的优势如下：

1. 观测点世界坐标易得
2. Z=0降低了求解复杂度

1.4.2  从世界坐标系到图像坐标系的映射

• 用于描述两个平面之间的映射关系

• 共有3 × 3 = 9个元素，但由于齐次性，自由度为8

1.4.3  求解内参矩阵

1.4.4  张氏标定法基本思路和流程 

1. 在标定板上建立世界坐标系，并以不同的位姿对其拍摄3张以上图像(可以晃动标定板或改变相机姿态)
2. 利用角点检测算法对每张图中标定板上的网格点进行检测，每张图选取4个以上网格点作为标定点，并读取标定点的图像坐标和世界坐标
3. 利用3张图像的观测点列出3个方程组，通过SVD分解计算3个单映矩阵 𝑯
4. 利用三个单映矩阵 𝑯 列出6个关于矩阵 𝑩 的方程，并利用SVD分解求出 𝑩 
5. 由于 𝑩 = 𝑲−⊺𝑲−𝟏 ,对求出的 𝑩 进行cholesky 矩阵分解：𝑩 = 𝑨𝑨⊺→𝑲 = 𝑨 −⊺

1.5  PnP

1.5.1  基本设定

• 已知：至少3个参考点在图像坐标系和世界坐标系下的坐标，相机的内参矩阵𝑲

• 求解：外参𝑹与𝒕，即估计相机在世界坐标系下的位置

1.5.2  基本思路

二、对极几何

2.1  对极几何(Epipolar Geometry)简介

• 以上三种相机标定方法均需图像中观测点的世界坐标

• 相比于世界坐标，观测点的图像坐标更容易获取

• 给定同一场景的两张图像，能否仅根据对应点的图像坐标估计相机的相对姿态？

• 利用对极几何约束

2.2  对极几何的基本设定

• 𝑰𝟏, 𝑰𝟐是同一场景拍摄的两张图像，𝑶𝟏, 𝑶𝟐是拍摄时的相机中心

• 相机的相对运动/姿态为 𝑹, 𝒕

• 换言之，以相机𝑶𝟏的相机坐标系为世界坐标系，相机𝑶𝟐的外参是𝑹, 𝒕

• 空间中的点𝑷在两图中投影为𝒑𝟏, 𝒑𝟐

• 平面 𝑶𝟏𝑶𝟐𝑷 称为极平面 (Epipolar Plane),  𝑶𝟏𝑶𝟐 称为基线(Baseline)，基线与 𝑰𝟏,𝑰𝟐 的交点 𝒆𝟏, 𝒆𝟐 称为极点 (Epipole)，极平面与两张图像的交线 (𝒑𝟏𝒆𝟏, 𝒑𝟐𝒆𝟐) 称为极线 (Epipolar Line)

2.3  极线的物理意义

1. 在仅已知投影点𝒑𝟏坐标的情况下，无法获得3D点𝑷的具体未知，只能推断出点𝑷在投影射线𝑶𝟏𝒑𝟏上
2. 直线𝑶𝟏𝒑𝟏在图像𝑰𝟐上的投影就是极线𝒑𝟐𝒆𝟐
3. 所以空间中投影在图像𝑰𝟏上𝒑𝟏位置上的点在图像𝑰𝟐上对应点位于直线𝒑𝟐𝒆𝟐上
4. 换言之，图像𝑰𝟏上的一个点𝒑𝟏与图像𝑰𝟐上的一条直线𝒑𝟐𝒆𝟐对应

2.4  极线的解析式

【对极约束】

2.5  相机相对位姿估计与对极约束

• 给定两张图8个以上对应点，可以通过8点法求解线性齐次系统求出基础矩阵，然后如果相机已经进行标定（即𝑲 已知）可以求出本质矩阵，并进一步求出两个相机的相对位姿𝑹𝒕
• 由于本质矩阵的齐次性，无法只通过对应点估计出相对位姿𝑅𝑡的绝对尺度
• 如果已知两个相机的相对位姿𝑹𝒕，可以求出基础矩阵𝑭，进而获得极线𝒑𝟐𝒆𝟐的位置。𝒑𝟏点在图像𝑰𝟐上的对应点搜索空间可以从整幅图像缩小到极线上

总结

本节我们学习了相机标定和对极几何的基本概念。重点需要掌握直接线性变换和张正友标定法的基本流程，知道这两种方法需要几个观测点和几张图像能完成标定。还需要知道对极几何中极平面、基线、极点和极线的基本概念并在图中对应。最后需要掌握极线解析式的推导过程，知道两个约束关系以及其代表的物理含义，知道相机的相对位姿估计。