点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
作者丨lovely_yoshino
来源丨古月居
简介
我们在之前的博客中讨论了一些激光回环检测的方法,但是基本都是围绕着点云特征去做的,并未涉足过深度学习的相关方法,之前作者在查找《经典文献阅读之—BoW3D》资料时看到了一个比较感兴趣的工作《OverlapNet: Loop Closing for LiDAR-based SLAM》,同时这个文章还拥有对应的开源源码Github,非常适合复现以及学习。
工作重心
同时定位和映射(SLAM)是大多数自主系统所需的基本能力。在本文中,我们讨论了基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题。
我们的方法利用深度神经网络,利用从激光雷达数据生成的不同线索来寻找环路闭合。
它估计广义到距离图像的图像重叠,并提供扫描对之间的相对偏航角估计。
基于这些预测,我们处理环路闭合检测,并将我们的方法集成到现有的SLAM系统中,以改善其映射结果。
简单来说,作者通过深度学习完成点云转换为影像,然后做回环检测, 输出Overlap和yaw的操作步骤,文中指出,本文的主要创新点有:
能够利用多个线索,不需提前知道两个雷达扫描的相对位姿,只利用范围、法向量、强度和语义等线索,使用深度神经网络直接估计两个激光雷达扫描的重叠率,以及相对偏航角。
结合里程计信息和重叠率预测实现闭环的检测、修正,可以检测到的闭环整合到现有SLAM系统中,可以提高整体位姿估计的结果,产生全局一致的地图。
无需先验位姿信息,解决在自动驾驶中3D LiDAR SLAM 的闭环检测问题,使用产生正确扫描匹配结果的OverlapNet网络预测初始化ICP
详细算法
2.1 Overlap的概念
作者认为直接对比两个点云之间的距离不够精确,因为会受漂移的影响。
因此提出用重叠率来代替距离检测回环。具体思路是由影像的overlap中来,要成功匹配两个图像并计算它们的相对姿态,图像必须重叠。
这可以通过将重叠百分比定义为第一图像中的像素的百分比来量化,该像素可以在没有遮挡的情况下成功地投影回第二图像中。
请注意,该度量不是对称的:如果图像对存在较大的尺度差异。
例如,一幅图像显示一堵墙,另一幅显示该墙周围的许多建筑物,则第一到第二幅图像的重叠百分比可能较大,而第二到第一幅图像的交叠百分比较低。
在本文中,我们使用了距离图像重叠的思想,明确地利用了距离信息
对于环路闭合,重叠百分比的阈值可用于决定两个激光雷达扫描是否在同一位置和/或环路闭合。
对于环路闭合,这种测量可能比一对扫描记录位置之间的常用距离更好,因为位置可能会受到漂移的影响,因此不可靠。
重叠预测与相对姿势无关,因此可用于查找环路闭合,而无需知道扫描之间的正确相对姿势。
2.2 激光雷达扫描对之间重叠的定义
简单来说就是将两个点云转化为二维图并且坐标系对齐,如果两个坐标差小于阈值记为1,否则为零,求和再除以两个图中像素较小的那个,作者想用这个等式建立训练集。
对于旋转,作者选择旋转多个角度,用最大重叠值代表最终重叠值。
2.3 网络结构
下图描述了所提出的重叠网络的概述。我们利用了多个线索,这些线索可以从单个激光雷达扫描中生成,包括深度、法线、强度和语义类概率信息。
深度信息存储在由一个通道组成的范围图R中。我们使用顶点映射的邻域信息来生成法线映射N,它有三个通道编码法线坐标。
我们直接从传感器获得强度信息,也称为缓解,并使用强度信息为单通道强度图I。使用RangeNet++计算逐点语义类概率,我们将其表示为语义图S。
RangeNet++提供20个不同类的概率。为了提高效率,我们使用主成分分析将20维RangeNet++输出缩减为压缩的三维向量。
信息被组合成一个大小为64×900×D64×900×D的输入张量,其中64900是输入的高度和宽度,$D$取决于使用的数据类型.
这里没有特别仔细去研究,具体就是由两个共享权重的Legs和由Legs生成的相同特征体积对的Head组成。
进一步说这个模型的作用就是将深度图,向量图,强度图,还用RangeNet++做了个语义图一起作为输入。
一个输出是角度特征向量,一个输出是两次扫描之间的重叠率。
同时使用基于surfel的映射系统SuMa作为的SLAM的 pipeline,并将OverlapNet集成到SuMa中,以取代其原始的启发式环路闭合检测方法。
所以说最后就是SuMa+OverlapNet的集合完成的。
参考链接
https://zhuanlan.zhihu.com/p/151290184
https://blog.csdn.net/szw950415/article/details/107049636/
本文仅做学术分享,如有侵权,请联系删文。
干货下载与学习
后台回复:巴塞罗那自治大学课件,即可下载国外大学沉淀数年3D Vison精品课件
后台回复:计算机视觉书籍,即可下载3D视觉领域经典书籍pdf
后台回复:3D视觉课程,即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网:3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法:算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼)
13.重磅!四旋翼飞行器:算法与实战
14.ROS2从入门到精通:理论与实战
15.国内首个3D缺陷检测教程:理论、源码与实战
16.基于Open3D的点云处理入门与实战教程
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿,加微信:dddvision
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近6000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~