经典文献阅读之—OverlapNet

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

47f72adbb641c481a03b132e70010f55.jpeg

作者丨lovely_yoshino

来源丨古月居

简介

我们在之前的博客中讨论了一些激光回环检测的方法,但是基本都是围绕着点云特征去做的,并未涉足过深度学习的相关方法,之前作者在查找《经典文献阅读之—BoW3D》资料时看到了一个比较感兴趣的工作《OverlapNet: Loop Closing for LiDAR-based SLAM》,同时这个文章还拥有对应的开源源码Github,非常适合复现以及学习。

工作重心

同时定位和映射(SLAM)是大多数自主系统所需的基本能力。在本文中,我们讨论了基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题。

我们的方法利用深度神经网络,利用从激光雷达数据生成的不同线索来寻找环路闭合。

它估计广义到距离图像的图像重叠,并提供扫描对之间的相对偏航角估计。

基于这些预测,我们处理环路闭合检测,并将我们的方法集成到现有的SLAM系统中,以改善其映射结果。

简单来说,作者通过深度学习完成点云转换为影像,然后做回环检测, 输出Overlap和yaw的操作步骤,文中指出,本文的主要创新点有:

能够利用多个线索,不需提前知道两个雷达扫描的相对位姿,只利用范围、法向量、强度和语义等线索,使用深度神经网络直接估计两个激光雷达扫描的重叠率,以及相对偏航角。

结合里程计信息和重叠率预测实现闭环的检测、修正,可以检测到的闭环整合到现有SLAM系统中,可以提高整体位姿估计的结果,产生全局一致的地图。

无需先验位姿信息,解决在自动驾驶中3D LiDAR SLAM 的闭环检测问题,使用产生正确扫描匹配结果的OverlapNet网络预测初始化ICP

 详细算法

2.1 Overlap的概念

作者认为直接对比两个点云之间的距离不够精确,因为会受漂移的影响。

因此提出用重叠率来代替距离检测回环。具体思路是由影像的overlap中来,要成功匹配两个图像并计算它们的相对姿态,图像必须重叠。

这可以通过将重叠百分比定义为第一图像中的像素的百分比来量化,该像素可以在没有遮挡的情况下成功地投影回第二图像中。

请注意,该度量不是对称的:如果图像对存在较大的尺度差异。

例如,一幅图像显示一堵墙,另一幅显示该墙周围的许多建筑物,则第一到第二幅图像的重叠百分比可能较大,而第二到第一幅图像的交叠百分比较低。

在本文中,我们使用了距离图像重叠的思想,明确地利用了距离信息

3d5d5157da68626477595189794f5660.png

对于环路闭合,重叠百分比的阈值可用于决定两个激光雷达扫描是否在同一位置和/或环路闭合。

对于环路闭合,这种测量可能比一对扫描记录位置之间的常用距离更好,因为位置可能会受到漂移的影响,因此不可靠。

重叠预测与相对姿势无关,因此可用于查找环路闭合,而无需知道扫描之间的正确相对姿势。

2.2 激光雷达扫描对之间重叠的定义

6c9a8d2f16ca1021bc435d5b4803e5cb.png

34976144affa44546a07ba34ef04322a.png

简单来说就是将两个点云转化为二维图并且坐标系对齐,如果两个坐标差小于阈值记为1,否则为零,求和再除以两个图中像素较小的那个,作者想用这个等式建立训练集。

对于旋转,作者选择旋转多个角度,用最大重叠值代表最终重叠值。

2.3 网络结构

下图描述了所提出的重叠网络的概述。我们利用了多个线索,这些线索可以从单个激光雷达扫描中生成,包括深度、法线、强度和语义类概率信息。

深度信息存储在由一个通道组成的范围图R中。我们使用顶点映射的邻域信息来生成法线映射N,它有三个通道编码法线坐标。

我们直接从传感器获得强度信息,也称为缓解,并使用强度信息为单通道强度图I。使用RangeNet++计算逐点语义类概率,我们将其表示为语义图S。

RangeNet++提供20个不同类的概率。为了提高效率,我们使用主成分分析将20维RangeNet++输出缩减为压缩的三维向量。

信息被组合成一个大小为64×900×D64×900×D的输入张量,其中64900是输入的高度和宽度,$D$取决于使用的数据类型.

4a6fe6ecff322f92a2082171206f5657.png

这里没有特别仔细去研究,具体就是由两个共享权重的Legs和由Legs生成的相同特征体积对的Head组成。

进一步说这个模型的作用就是将深度图,向量图,强度图,还用RangeNet++做了个语义图一起作为输入。

一个输出是角度特征向量,一个输出是两次扫描之间的重叠率。

f996979818151a5bbfb7d0846aaca63b.png

b9ad639017845a59808c9192b0bf5fb9.png

同时使用基于surfel的映射系统SuMa作为的SLAM的 pipeline,并将OverlapNet集成到SuMa中,以取代其原始的启发式环路闭合检测方法。

所以说最后就是SuMa+OverlapNet的集合完成的。

db998facd5dbd7ab893a4507c8aebc72.png

参考链接

https://zhuanlan.zhihu.com/p/151290184

https://blog.csdn.net/szw950415/article/details/107049636/

本文仅做学术分享,如有侵权,请联系删文。

干货下载与学习

后台回复:巴塞罗自治大学课件,即可下载国外大学沉淀数年3D Vison精品课件

后台回复:计算机视觉书籍,即可下载3D视觉领域经典书籍pdf

后台回复:3D视觉课程,即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网:3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法:算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼)

13.重磅!四旋翼飞行器:算法与实战

14.ROS2从入门到精通:理论与实战

15.国内首个3D缺陷检测教程:理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

f1a8bc467cc5337dfbddb3ac1b6a9910.jpeg

▲长按加微信群或投稿,加微信:dddvision

4cdf085e8760227d4013ac67e73a7b41.jpeg

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近6000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

11914bf8c826433241be9ff5924d365c.jpeg

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/32237.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文献阅读——How to give an Academic Talk

How to give an Academic Talk v4.0 By Paul N. Edwards,School of Information University of Michigan The awful academic talk 令人讨厌的学术演讲
这一场景你也许经历了上百次:
演讲者走进房子低下头,坐在桌边,不几乎不能透过眼前的…

一分钟get✔一个文献阅读的最核心技巧(用的是小绿鲸文献阅读器)

文章目录 最最核心的技巧——建立个人语料库其他技巧思维导图模板以及导图和大纲的相互转换一键导入知网文献自定义数据库的网址翻译 博主申请的福利 最最核心的技巧——建立个人语料库 参考我的语料库标签 每读一篇 就积累一些语料, 这样写的时候 写引言&#xff…

英文文章写作|文献管理|​​​​​​​阅读文献|引用文献|国内文章

目录 英文文章写作 1.阅读10篇文献,总结100个常用句型和常用短语 2.找3-5篇技术路线和统计方法与你的课题接近的文章,精读 3.针对论文的每一部分,尤其是某种具体方法、要讨论的某一具体方面,各找5-8 篇文献阅读,充…

英文不好的人如何阅读外文文献?

文章目录 0 前言1 工具2 查找文献3 阅读4 总结 0 前言 疫情在家,又要赶毕业设计。会遇到诸多烦恼。学校没有购买相应的数据库,买了也不能远程访问,怎么才能下载外文文献?英语不好,怎么才能读懂外文文献?不…

经典文献阅读之--OverlapNet

0. 简介 我们在之前的博客中讨论了一些激光回环检测的方法,但是基本都是围绕着点云特征去做的,并未涉足过深度学习的相关方法,之前作者在查找《经典文献阅读之–BoW3D》资料时看到了一个比较感兴趣的工作《OverlapNet: Loop Closing for LiD…

chatgpt赋能python:Python手把手教学:如何长截屏?

Python 手把手教学:如何长截屏? 导言 长截屏(full-page screenshot)是一种抓取整个网页、而不仅仅是可见区域的截屏。有时,你需要截取完整网页来记录信息、生成报告、分享内容或仅仅是作为计算机文件的样本。而 Pyth…

学计算机的女生后来都怎么样了?

上一篇:铁饭碗也不铁了 我估计有不少读者感兴趣,学计算机的女生都是怎么样的? 女程序员真的就如下面这张图形容的那样,没时间洗头、皮肤暗淡、黑眼圈吗?不尽然。 在我工作的9年里,我也接触过不少女开发。大…

chatgpt真好用——std::bind和std::function

chatgpt是一本正经的回答&#xff0c;有时候也是一本正经的胡说八道&#xff0c;不过挺有意思的。 下面回归正题&#xff0c;就是为何使用std::bind生成一个可调用的对象&#xff0c;叫做callable object。已经如何使用std::bind绑定类的成员函数。 #include <iostream>…

告别 ChatGPT:AI 工具与 ChatGPT 一样好(但很少有人使用它们)

在过去的几个月里&#xff0c;ChatGPT 获得了大量用户&#xff0c;因为它非常擅长编写电子邮件、博客、代码等等。但是&#xff0c;还有其他工具使用 ChatGPT 背后的模型来超越 ChatGPT 的功能。 在本文中&#xff0c;我将分享我认为比 ChatGPT 更好的工具列表&#xff0c;因为…

GPT来了,跑步迎接AI爆发的时代

你好&#xff0c;我是徐文浩&#xff0c;一个创办过一家AI聊天机器人公司的工程师。 有人说&#xff0c;编译原理、操作系统和图形学是程序员的三大浪漫。不过在整个计算机科学领域&#xff0c;还有一个超越这三者之外的存在&#xff0c;那就是人工智能。人工智能的诞生其实非…

ChatGPT将掀起新一轮革命?

年初&#xff0c;人工智能工具ChatGPT爆火&#xff0c;有关它的话题多次登上热搜&#xff0c;爆火程度已经压过已经火热两年之久的元宇宙。因此人工智能又再次成为科技圈的热门话题之一。风口转变之际&#xff0c;微软、谷歌、百度等科技巨头们迅速调转船头&#xff0c;冲向新的…

开始练说唱

快到饭点了, 今天上午看了看计算机的递归和简单的动态规划, 感觉良好, 不是很难, 做了几道题, 上楼梯, 走格子, 子集合并, 难度递增. 晚上再整理今天学习的内容, 现在没有代码就只能说说心得了. 递归就两种形式, 顶向下, 底向上, 但我觉得其实就一种形式, 底向上. 我觉得应该按…

说唱分析

参考介绍链接:说唱

怎样用计算机打出seeyouagain,怎么唱好seeyouagain说唱

怎么唱好seeyouagain说唱 关注:170 答案:2 mip版 解决时间 2021-01-31 18:23 提问者花开不败 2021-01-31 10:46 怎么唱好seeyouagain说唱 最佳答案 二级知识专家啾一口软脸 2021-01-31 12:13 我家有30顿小豆没卖&#xff0c;小豆不断的跌价&#xff0c;我该怎么办&#xff0c…

计算机说唱卖苹果是谁,苹果音乐第一张播放量过 10 亿的专辑,来自说唱歌手 Drake...

一天前&#xff0c;来自加拿大的说唱歌手 Drake 在 Instagram 上发布了一张照片&#xff0c;Drake 伸手勾住了苹果 CEO 蒂姆库克的肩膀。他们身前的一张海报说明了他们庆祝的原因&#xff0c;Drake 在今年 5 月发行的新专辑《Views》成为了第一张在苹果音乐上播放数量超过 10 亿…

百度“爱说唱”小程序,不会词曲创作也能畅快玩说唱!

“爱说唱”——不会词曲创作也能畅快玩说唱&#xff01; 什么是“爱说唱”智能小程序&#xff1f; 百度开发者大会上正式发布了百度智能小程序。《中国有嘻哈》改名为《中国新说唱》&#xff0c;但是不妨碍“你有freestyle吗&#xff1f;”的火爆。为此&#xff0c;百度特意为…

【中文说唱巅峰】幼稚园杀手(aka小号王)的炸弹 “异界来客“ 无损flac试

&#xff01;&#xff01;&#xff01;本资源仅供中文说唱爱好者学习&#xff0c;支持幼杀正版专辑&#xff01;&#xff01;&#xff01; 幸存者联盟 幼稚园杀手 南征北战赵辰龙 &#x1f98f;得一比 不过对于龙哥被喷的听感问题 怎么说呢 毕竟这个产量 比起aka伸手不见五指…

cdc有哪些rapper_cdc说唱会馆成员介绍

Cdc说唱会馆的成员目前主要有谢帝、王闪火、TY、higher brothers、李随、ANSRJ、孟子、猫儿师、LIL WHITE小白等。Cdc说唱会馆最先由老熊创建。谢帝、李尔新、ansrJ、白总、sleep cat作为第一批成员&#xff0c;一起创建了说唱会馆。说唱会馆的第一支cypher发布于2010年&#x…

说唱计算机网红,首档喊麦节目太奇葩,蹭了说唱热度,还请了被封杀网红当导师...

原标题&#xff1a;首档喊麦节目太奇葩&#xff0c;蹭了说唱热度&#xff0c;还请了被封杀网红当导师 首档喊麦节目太奇葩&#xff0c;蹭了说唱热度&#xff0c;还请了被封杀网红当导师 大家都知道&#xff0c;如今的综艺节目越来越多各种题材应有尽有&#xff0c;尤其是音乐类…