10 3D Reconstruction of Cameras and Structure

本章主要描述了如何利用2张图片来恢复相机的参数以及物体在三维空间中的形状。

本章其实要解决两个问题。如何以及在多大程度上可以从两个视图中恢复场景和摄像机的空间布局。

1. 三维空间的点 $X_i$，是未知量。已知量是：$x_i$位于第一幅图像而$x_i^{\prime }$位于第二幅图像。而且已知$x_i$与$x_i^{\prime }$是相互对应的：$x_i\leftrightarrow x_i^{\prime }$，它们都是3D点$X_i$分别在第一、第二幅图像上的投影点，用公式表示为：$x_i=P{X}_i$, $x_i^{\prime }=P^{\prime }{X}_i$。如果点太少，这项任务是不可能完成的。然而，如果存在足够多的点对应关系以允许唯一地计算基本矩阵$F$，则可以将场景重建。
2. 三维重建就是要找到$P,P^{{}^{\prime }}$，重建是有歧义的，歧义具体是指什么，如何消除这种歧义。如果提供有关摄像机或场景的附加信息，可以减少重建中的模糊性。 我们描述了一种两阶段的方法，其中歧义首先减少为仿射，然后减少为度量； 每个阶段都需要相应类别的信息。

10.1 Outline of reconstruction method

从2张图片来进行重建，步骤如下：

1. 根据$x_i\leftrightarrow x_i^{\prime }$计算基本矩阵$F$，其具体过程在11章叙述
2. 根据$F$求出摄像机外参$R,T$，具体过程参见结论9.14
3. 根据$R,T$，$x_i\leftrightarrow x_i^{\prime }$求解$X_i$，这个过程叫三角化，具体步骤在12章

该方法可以有多种变体。 例如，如果相机被校准，那么我们将计算基本矩阵而不是基本矩阵。 此外，可以使用有关相机运动、场景约束或部分相机校准的信息来获得重建的细化。

要点：三角化唯一不能确定的点就是基线上的点，因为从两个光心出发的射线互相重合了。在这种情况下，反投影光线共线（均等于基线）并沿其整个长度相交。

10.2 Reconstruction ambiguity

如果我们仅仅知道若干图像，不可能恢复出三维空间点的绝对位置。
原因如下：
我们定义相似变换$H_S$

$$\left[\begin{array}{cc}R& t\\ 0^T& \lambda \end{array}\right]$$

我们有
$$P{X}_i=(P{H}_s^{-1})(H_s{X}_i)$$

如果把$P$分解为$P=K[R_P|t_P]$，那么
$$P{H}_S^{-1}=K[R_P{R}^{-1}|t^{\prime }]$$

该结果表明乘$H_S^{-1}$不会改变$P$的校准矩阵。因此，即使对于校准过的相机，重建也存在模糊性。对于校准相机来说，这是重建的唯一模糊之处。 因此，对于校准相机，可以通过相似变换进行重建。

因为$\lambda$是任意的，所以有很多的$H_s$可以满足前式。几何解释如P265图10.2。

如果摄像机的内参也不知道，那么$H$矩阵就是投影变换，投影变换只能保持直线还是直线，但是直线之间的角度就无法保持了。

以下介绍几种不同的重建类型。

10.3 The projective reconstruction theorem

Projective reconstruction的特点是相机没有标定。

结论 10.1：如果两幅图像中若干对应点已知，具体表示为$x_i\leftrightarrow x_i^{{}^{\prime }}$，那么我们可以求出基本矩阵$F$，只需要$F$就可以重建出三维空间中的点。而且任意更换相机投影矩阵，对重建没有影响，因为不同重建之间是等价的（比如第一次重建用的是$P_1,P_1^{\prime }$，第二次重建用的是$P_2,P_2^{\prime }$，但是点不能换，不管第一次重建还是第二次重建，都是用$x_i\leftrightarrow x_i^{{}^{\prime }}$，具体见书P266。

10.4 Stratified reconstruction

Stratified reconstruction指的是先有一个projective reconstruction，然后再把它优化到affine reconstruction最终metric reconstruction，如果可以的话。当然，需要注意的是想要得到affine或者metric reconstruction都需要额外知道一些关于重建场景本身的信息，或者相机要被标定过。

10.4.1 The step to affine reconstruction

我们现有一个project reconstruction的结果，记为 ( P , P ′ , { X i } ) (P,P^{'},\{X_i\}) (P,P′,{Xi​})。 现在我们需要找出一个平面$\pi$，使其成为无穷远平面$(0,0,0,1)$在图像上的投影。则必然存在一个$H$，满足 $H^{-1}\pi =(0,0,0,1)$，$H$可以写成如下形式：

$$\left[\begin{array}{c}I|0\\ {\pi }^T\end{array}\right]$$

找到了$H$以后，把$H$作用在所有重建得到的点上就完成了affine reconstruction。affine的意思就是说把我们得到的某平面投影到无穷远处。

那么如何找出$(0,0,0,1)$到底映射到已知图像上的什么地方？以下给出几个例子。

Translational motion

简单来说就是摄像机从不同位置拍两幅图，但是摄像机本身只能有平移，不能有旋转。那么这两幅图中有一些点是没有移动的，比如月亮，比如一条延伸到无穷远处的公路。这样的话，月亮这一点的三维坐标写成$X_i$, 在两幅图像中的坐标写成$x_i,x_i^{{}^{\prime }}$。这样三个点就确定了一个平面。该平面就是$(0,0,0,1)$投影到拍摄图像上的结果。这两图拍摄图像对应的基本矩阵$F$是一个斜对称（skew-symmetric）矩阵。

Scene constraints

场景约束主要目的就是为了找三个在无穷远平面上的点。比方说两个平行线为一组，可以确定无穷远平面上的一个点，这样找三组就可以了。具体步骤参见12章，13章。
另外一个需要注意的是，在一副图像中找出无穷远点以后，可以利用基本矩阵找出第二幅图像中的对应点，不用重新算一遍。

第二种方法是用相交直线之间的比例关系，具体过程参见书P47。

The infinite homography

当我们找出了无穷远平面$(0,0,0,1)$在图像中的投影，我们实质上确定了一个映射$H_{\infty }$，$H_{\infty }$把图像$P$中的点映射到$P^{\prime }$。具体可以表示为$x^{\prime }=H_{\infty }{x}_i$。

怎样求出这个$H_{\infty }$? 假设我们现在有一个affine reconstruction，两个摄像机的外参表示为$P=[M|m]$, $P^{\prime }=[M^{\prime }|m^{\prime }]$, $H_{\infty }=M^{\prime }{M}^{-1}$

$H_{\infty }$还可以通过基本矩阵$F$和三对无穷远点来计算，参见13章

One of the cameras is affine

在这种情况下如何求出affine reconstruction。我们有以下结论：

结论 10.4 ( P , P ′ , { X i } ) (P,P',\{X_i\}) (P,P′,{Xi​}) 是一个projective reconstruction。 $P=[I|0]$。所以$P$是一个affine摄像机，那么affine reconstruction可以这样获得：交换$P,P^{\prime }$的最后两列，交换 { X i } \{X_i\} {Xi​}的最后两个坐标。

10.4.2 The step to metric reconstruction

metric reconstruction的要点是找到absolute conic。
比较实际的做法是在图像中找到absolute conic，该conic反投影回无穷远处的平面，就变成了cone，那么这个cone就定义了无穷远处的absolute conic。

结论 10.5 假设图像中的absolute conic已知，记为$\omega$，affine reconstruction的相机外参已知，记为$P=[M|m]$，那么affine reconstruction就可以利用一个矩阵$H$变成metric reconstruction。$H$如下所示：

$$\left[\begin{array}{cc}{A}^{-1}& 0\\ 0& 1\end{array}\right]$$

其中$A$ 满足 $A{A}^{-1}=(M^T\omega M{)}^{-1}$

我们可以把上式右边用Cholesky factorization处理，就可以得到$A$。

那么接下来的问题就是如何找到图像中的absolute conic？我们用$\omega$来表示该conic。我们可以对该conic施加一些约束，然后再求解它。有这么几个约束：

1. 被重建场景中的正交性
   消失点$v_1,v_2$分别来自两个正交的直线，那么他们满足 $v_1^T\omega v_2=0$确定一个conic需要五个参数，那么找三对$v_1,v_2$就可以解出这个方程。或者 $v_1,v_2$分别来自一条直线和一个平面（直线与平面正交）。 则他们满足 $l=\omega v$。

2. 相机内参
   因为$\omega =K^{-T}{K}^{-1}$

3. 根据上一条约束，我们知道$\omega$只和相机内参有关系，跟外参没关系。那么我们可以用同一个相机在两个不同位置拍摄。这个过程可以表示为 ${\omega }^{{}^{\prime }}=H_{\infty }^{-T}\omega H_{\infty }^{-1}$。 找出足够多的 $H_{\infty }$ 也可以解出这个方程。

10.4.3 Direct metric reconstruction using $\omega$

我们有一个projective reconstruction，我们还知道$\omega$，把$\omega$在无穷远平面上的位置记为${\Omega }_{\infty }$，然后$\omega$所在的平面记为${\pi }_{\infty }$。那么从$\omega$到${\Omega }_{\infty }$的矩阵就可以求解出来，参见书P342练习题(x),知道这个矩阵，把它作用在projective的重建结果上，就得到了metric重建的结果。

10.5 Direct reconstruction – using ground truth

假设我们知道一些三维点的gt，记为$X_{Ei}$，重建出来的点记为$X_i$,那么他们满足$X_{Ei}=H{X}_i$，因为前文说过重建时有歧义的。我们把$X_i$替换为图像中的点$x_i$那么就有$x_i=P{H}^{-1}{X}_{Ei}$。找出足够多的点，解这个方程就可以了。当我们知道了$H$，就可以$H$乘到相机矩阵$P,P^{{}^{\prime }}$上，这样projective重建就变成了真实的三维坐标。