三维重建（7）--运动恢复结构SfM系统解析

一、SfM系统（两视图）

1、特征提取

2、特征匹配

3、RANSAC求解基础矩阵F

4、完整的欧式结构恢复算法流程

二、基于增量法的SfM系统（以OpenMVG为例）

1、预处理

2、图像特征点提取与匹配

3、两视图重构点云

4、增加新视图，多视图重构

一、SfM系统（两视图）

对于欧式结构恢复的两视图问题，需要获得三维场景的m张图像的像坐标作为已知条件，求解三维场景结构（即三维点坐标），m个摄像机的外参数R和T。所以现在的问题在于如何标注m张图像的像坐标的对应关系，将摄像机拍摄的照片转换成已知条件。

图像的像坐标对应关系可以转换为特征提取和特征匹配两个部分。

1、特征提取

特征提取：通过输入m张不同摄像机拍摄同一场景的图片，输出具有尺度不变性的特征点，即尺度不变特征转换（SIFT转换），

SIFT算法特点：具有尺度不变性、能够适应旋转图像，改变图像亮度，移动拍摄位置的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。

SIFT算法实现特征提取的流程：提取尺度不变的区域（高斯微分函数），进行尺寸归一化和旋转归一化，对特征点区域计算特征方向，进行两两比较找出相互匹配的若干对特征点，建立两个像平面之间特征点的对应关系。

2、特征匹配

对于二视图的特征匹配而言，首先使用特征提取器对两幅图像进行特征提取，提取出的特征点可能不同，对于下图，假设我们找右图特征点在左图的对应点。

首先，选择一个右图中的特征点i，并计算左图所有特征点的一个相似度度量（比如余弦相似度度量），并选择这其中top2距离小的两个左图特征点 $j_1,j_2$ ，并记录 $j_1,j_2$ 与特征点i之间的距离 $d_1,d_2$ 。

计算距离比 $d_1/d_2$ （指定小的数除以大的数），如果其小于某个给定阈值（如0.6），则认为右图特征点i与左图特征点 $j_1$ 是一对对应点，这步算法的设计，如果说 $d_1/d_2$ 较大，趋于1，则说明左图两个特征点之间较近，越说明左图两个特征点与右图特征点i建立的两组对应关系很难辨认，极为接近，所以我们不作为匹配对象，这更容易引入噪声。

我们应该注意的是，特征匹配是为了后续求解基础矩阵F进行准备的。

3、RANSAC求解基础矩阵F

RANSAC求解基础矩阵的方法是对归一化八点法估计基础矩阵F的扩充，为了进一步去减少离群点和噪声，我们在求解基础矩阵时，可以使用RANSAC方法来充分排除离群点对求解基础矩F的干扰，提高估计的准确性和鲁棒性。

4、完整的欧式结构恢复算法流程

对于欧式结构恢复问题，一般假设摄像机1与世界坐标系不存在旋转平移关系，即外参数为 $[I \hspace{0.2cm} 0]$ ，摄像机2与世界坐标系存在R,T关系，即外参数为 $[R \hspace{0.2cm}T]$ ，换言之摄像机2与摄像机1之间存在 $[R \hspace{0.2cm}T]$ 关系。