FMR—Feature-metric Registration论文解读

一、导言

二、先导知识

1、逆组合算法

三、相关工作

1、优化算法为主的配准工作

2、基于特征的点云配准

3、端到端学习的配准

四、FMR框架

1、Encoder模块

2、Decoder分支模块

3、特征指标配准分支模块

4、损失函数

五、数据集

1、ModelNet40

2、7Scene数据集

六、实验

一、导言

该论文来自2020年的CVPR，提到原有的点云配准工作主要使用点云对应关系，而该论文中使用最小化特征度量误差来优化配准过程。

（1）半监督或者无监督的训练方式，只需要少量或者不需要标注数据就可以训练出好的特征提取网络。

（2）基于特征度量的方式，而不是传统基于几何特征的度量方式（如ICP），使用最小化特征度量来提高离群点、噪音和密度差影响的鲁棒性。

二、先导知识

1、逆组合算法

逆组合算法一般用于组合优化问题，常常有一组解，适用于解决NP难问题。基本方法是生成初始的一组解后，通过不断对解进行微调（如交换两个元素，删除并添加某个元素）的方式，评估新的组合，以确定是否更新原问题的最优解。

对于点云配准工作中，逆组合算法一般适用于提高配准精度或者处理复杂形状或有噪声的点云。基本方法是在对点云粗配准后，对得到的变换参数（姿态）进行扰动，比如给定一个扰动范围，对六个参数在扰动范围内随机扰动得到新的变换，评估是否为最优解。

在本论文中，逆组合算法更进一步优化，不再是简单的一个扰动因子，而是引入雅克比矩阵，计算关于源点云的扰动增量，使这个扰动更加针对性。

三、相关工作

1、优化算法为主的配准工作

大多数都是二阶段优化的算法，即对应搜索和转换估计，主要关注存在噪声和离群点下的估计变换，这些方法使用基于坐标的欧氏距离度量来评估投影误差，而几何度量对于噪声和离群点很敏感。

传统针对离群点的方法有：通过使用截断最小二乘损失函数，因为截断最小二乘对离群点不敏感；半定规划松弛替代非凸优化问题；随机采样；高斯滤波原有数据。

2、基于特征的点云配准

通过制定特征子或者直接使用神经网络来学习最终配准的特征，并根据特征度量误差来估计变换姿态。

近期的基于特征的配准工作有：3DMatch（从rgb-d中提取3d特征）、PPFNet（通过全局特征子构建PPF特征，包括点对距离，点法向量角度，点对坐标系角度）、The Perfect Match（特征子构建旋转不变性）

3、端到端学习的配准

端到端的点云配准：不需要搜索对应点的关系，将点云配准转换为回归问题。

对于当前的端到端的点云配准，将变换参数视为一个黑盒过程，仍然在欧式空间中测量距离度量，而本文通过在特征空间中测量距离，从而更好的解决了噪声、密度差异、部分差异的问题。

四、FMR框架

FMR框架包括编码器模块以及多任务分支两个部分，通过最小化特征度量投影误差（其实就是经过编码器后得到的点云特征来进行最小化）来计算变换姿态。

1、Encoder模块

Encoder模块由两个MLP层和一个最大池化层组成，参考了PointNet的结构。通过Encoder模块得到1024维点云特征，Encoder的目的是理解到旋转变换。

2、Decoder分支模块

用于在无监督情况下训练Encoder，由四层全连接层组成，并由LeakyReLU激活，输出仍然为1024维度。

3、特征指标配准分支模块

利用逆组合算法（IC算法）来估计变换参数，最小化特征度量投影误差。

特征度量投影误差： $r=||F(P)-(R \cdot F(Q)+T)||^2_2$ 。（相较于ICP算法，只是作了提取特征后的误差）

对于源点云的点计算雅克比矩阵（并没有用传统随机梯度方法，而是用有限梯度方法计算，其实就类似于用极限来估算导数，只要扰动因子极小就等价于导数值）

雅克比矩阵： $J=\frac{\partial F_p}{\partial \theta_{\xi}}=\frac{F(R_iP+t_i-F(P))}{\xi}$ ，其中 $\xi$ 表示无穷小的扰动因子，包含三个角度参数和三个抖动参数，一般给定为 $2*e^{-2}$ 。

变换参数的增量： $\Delta \theta =-(J^TJ)^{-1}Jr$ （逆组合算法）

更新目标点云： $Q_{k+1}=Exp(\theta_{k+1})Q_k$ （不太清楚为什么这里转指数）

4、损失函数

损失函数分为无监督的倒角损失（Chamfer损失）和有监督的几何损失。

倒角损失：每一个采样点到所有源点云的损失加上所有源点云的点到采样点的损失。

其中， $\phi_{\theta_i}$ 指第i个感知机的输出， $A$ 表示采样范围，采样数量5k，采样范围为整个源点云，x代表点云特征，对于不同的点云通过解码器生成不同的特征。

几何损失：就是一般的估计出来的姿态与真实矩阵间的差。

对于无监督框架而言，只需要计算倒角损失部分，而对于半监督框架而言，需要计算倒角损失和几何损失的和。

五、数据集

1、ModelNet40

40个类别的点云数据作为源点云，目标点云经过随机的刚性变换得到，旋转角度为0-45度，平移0-0.8。

2、7Scene数据集

包含7个室内场景，为RGB-D数据，在将图片投影成点云进行多帧的融合，初始旋转角度在0-60度，平移在0-1.0之间。

六、实验

1、对比实验中与下面三种模型进行对比

（1）LM-ICP（经典优化算法）

（2）3DSmoothNet+RANSAC（特征学习方法）

（3）PointNetLK（深度学习配准方法）

在大角度下显著优于PointLK模型，而3DSmoothNet结构更适合与点云匹配，对于配准工作虽然学习到了旋转不变性，但仍然不能摆脱大旋转带来的影响，通过半监督框架可以有效避免数据依赖。

2、高密度差异和高噪声条件下的性能

该框架优于PointLK框架，但在70%以上的密度差异和噪声条件后，仍然在均方差上有一定的提升。

3、比较半监督框架和无监督框架

这里他提到所有实验基于半监督做的，而单独比较无监督框架优于半监督框架，其实对于一般的对于密度差异、噪声、旋转影响小的数据集，感觉半监督框架应该优于无监督框架。

4、推广到跨源数据和稀疏室外点云

参考文献：https://arxiv.org/abs/2005.01014

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/400320.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！