《视觉SLAM十四讲》-- 相机与图像

04 相机与图像

4.1 相机模型

4.1.1 针孔相机模型

针孔模型描述了一束光线通过针孔后，在针孔背面投影成像的关系（类似小孔成像原理）。

在这里插入图片描述

根据相似三角关系

$\frac{Z}{f}=-\frac{X}{X^{\prime}}=-\frac{Y}{Y^{\prime}} \tag{3-1}$

其中，负号表示成的像是倒立的。

但实际相机得到的图像并不是倒像，我们等价地将成像平面对称地放到相机前方，这样就可以把负号去掉，
在这里插入图片描述

$\frac{Z}{f}=\frac{X}{X^{\prime}}=\frac{Y}{Y^{\prime}} \tag{3-2}$

整理得

$\left\{\begin{array}{l} {X^{\prime}}=f\frac{X}{Z} \\ \\ {Y^{\prime}}=f\frac{Y}{Z} \end{array}\right. \tag{3-3}$

像素坐标与成像平面之间，相差了一个缩放和一个原点的平移。假设像素坐标在 $u$ 轴上缩放了 $\alpha$ 倍，在 $v$ 轴上缩放了 $\beta$ 倍，同时，原点平移了 $c_x, c_y]^T$ 。那么， $P^{'}$ 在成像平面坐标系和像素坐标系之间的关系为：

在这里插入图片描述

$\left\{\begin{array}{l} u=\alpha X^{\prime}+c_{x} \\ v=\beta Y^{\prime}+c_{y} \end{array}\right. \tag{3-4}$

代入式（3-3），得

$\left\{\begin{array}{l} u=\alpha f \frac{X}{Z}+c_{x} \\ \\ v=\beta f \frac{Y}{Z}+c_{y} \end{array}\right. \tag{3-5}$
记 $\alpha f=f_x,$ ， $\beta f=f_y$ 得

$\left\{\begin{array}{l} u=f_{x} \frac{X}{Z}+c_{x} \\ \\ v=f_{y} \frac{Y}{Z}+c_{y} \end{array}\right. \tag{3-6}$

写成矩阵形式

$\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\frac{1}{Z}\left[\begin{array}{ccc} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \end{array}\right] \stackrel{\text { def }}{=} \frac{1}{Z} \boldsymbol{K} \boldsymbol{P} \tag{3-7}$

将 $Z$ 移到左边

$Z\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \end{array}\right] \stackrel{\text { def }}{=} \boldsymbol{K} \boldsymbol{P} \tag{3-8}$

中间的矩阵称为相机内参数，一般在相机出厂后便已确定。

由于相机在运动，点 $P$ 的相机坐标应由他的世界坐标（ $P_w$ ）根据相机当前位姿变换得到

$\boldsymbol{P}_{u v}=Z\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\boldsymbol{K} \boldsymbol{P}=\boldsymbol{K}\left(\boldsymbol{R} \boldsymbol{P}_{\mathrm{w}}+\boldsymbol{t}\right)=\boldsymbol{K} \boldsymbol{T} \boldsymbol{P}_{\mathrm{w}} \tag{3-9}$
其中， $\boldsymbol{R}$ 、 $\boldsymbol{t}$ 为外参。

上式描述了从世界坐标系到相机坐标系再到像素坐标系的过程。

将世界坐标转换到相机坐标后，再除掉最后一维的数值，这相当于把最后一维作归一化处理，得到它在归一化平面上的投影：

$\left(\boldsymbol{R} \boldsymbol{P}_{\mathrm{w}}+\boldsymbol{t}\right)=\underbrace{[X, Y, Z]^{\mathrm{T}}}_{\text {相机坐标 }} \rightarrow \underbrace{[X / Z, Y / Z, 1]^{\mathrm{T}}}_{\text {归一化坐标 }}$

可知，点的深度信息在投影过程中丢失了（变成二维），所以单目视觉无法得到像素点深度值。

4.1.2 畸变模型

（1）由透镜形状引起的畸变称为径向畸变，一般有桶形畸变和枕形畸变两类。

在这里插入图片描述

对于径向畸变，离中心距离越远，畸变越严重；穿过图像中心和光轴有交点的直线形状不变。

（2）在相机组装过程中，透镜和成像平面无法完全平行，会产生切向畸变。

（3）下面用数学模型进行描述：假设归一化平面上存在一点 $P$ ，坐标为 $x, y]^T$ ，极坐标为 $\theta]^T$ ，那么，正常归一化平面坐标和畸变后的坐标之间的关系为

$\left\{\begin{array}{l} x_{distorted}=x(1+k_1r^2+k_2r^4+k_3r^6)\\ \\ y_{distorted}=y(1+k_1r^2+k_2r^4+k_3r^6) \end{array}\right. \tag{3-10}$

类似的，切向畸变数学模型为

$\left\{\begin{array}{l} \begin{aligned} &x_{\text {distorted }}=x+2 p_{1} x y+p_{2}\left(r^{2}+2 x^{2}\right) \\ &y_{\text {distorted }}=y+p_{1}\left(r^{2}+2 y^{2}\right)+2 p_{2} x y \end{aligned} \end{array}\right. \tag{3-11}$

（4）去畸变的过程：

将三维空间上的点投影到归一化平面，得到坐标 $x, y]^T$ ；
计算径向畸变和切向畸变

$\left\{\begin{array}{l} x_{distorted}=x(1+k_1r^2+k_2r^4+k_3r^6)+2 p_{1} x y+p_{2}\left(r^{2}+2 x^{2}\right)\\ \\ y_{distorted}=y(1+k_1r^2+k_2r^4+k_3r^6)+p_{1}\left(r^{2}+2 y^{2}\right)+2 p_{2} x y \end{array}\right. \tag{3-12}$