【基于激光雷达的路沿检测用于自动驾驶的真值标注】

文章目录

    • 概要
    • 主要贡献
    • 内容概述
    • 实验
    • 小结

概要

论文地址:https://arxiv.org/pdf/2312.00534.pdf

路沿检测在自动驾驶中扮演着重要的角色,因为它能够帮助车辆感知道可行驶区域和不可行驶区域。为了开发和验证自动驾驶功能,标注的数据是必不可少的。然而,目前公共数据集中带有标注的点云路沿的数量非常有限。

本文提出了一种从激光雷达传感器捕获的一系列点云中检测3D路沿的方法,主要包括两个步骤。首先,我们使用分割深度神经网络在每个扫描中检测路沿。然后,我们通过车辆的里程数据对重建的点云进行序列级处理,以估计3D路沿。

通过对这些路沿的3D点云进行处理,我们按照ASAM OpenLABEL标准获取结构化的折线信息。这些检测结果可以用作标记流水线中的预标注,从而有效生成与路沿相关的地面实况数据。

我们通过实验证明了这种方法的有效性。实验中,我们让不同的人工标注员对一组基于LiDAR的序列数据进行标注,其中一部分数据带有我们自动生成的预标注,另一部分数据没有。结果显示,由于我们的检测方法,手动标注时间减少了50.99%,同时保持了数据质量水平。

主要贡献

在自动驾驶技术中,路沿检测对于全面了解车辆周围环境至关重要。路沿是道路边界的一部分,它将可行驶区域和不可行驶区域分隔开来,在自动驾驶任务(比如自动停车或路径规划)中扮演着重要的角色。

路沿的检测对于验证许多先进驾驶功能也非常重要,因为它们确定了潜在的感兴趣区域(比如停车位和人行道)。然而,带有路沿标注的数据虽然必不可少,但却非常有限。

为了减轻手动标注的任务,我们提出了一种方法,即提供3D路沿的预标注,可以融入到像[3]这样的标注工具中,实现半自动标注。

我们的方法包括两个阶段:首先,我们使用深度神经网络(DNN)对每个扫描进行粗略的路沿检测。然后,通过一个后处理步骤,对扫描级别的检测进行优化,并为整个输入序列提供路沿的预标注,这可以作为标注工具的输入,并表示为符合ASAM OpenLabel标准的折线。

因此,本文的主要贡献包括:

提供一种方法,以规范化的输出格式提供LiDAR点云序列的3D路沿检测,可用于标注工具。
开发适用于从LiDAR点云获得的2D俯视图(BEV)图像的扫描级路沿检测器。
提出一个后处理方法,将扫描级别的路沿检测转换为序列级别的三维折线。
验证所提方法,将人工标注员获取路沿地面实况数据所需的标注时间减少了50.99%。

内容概述

我们的方法包括三个主要阶段,如图1所示。首先处理点云以获得序列不同扫描的BEV(俯视图)点云表示。其次使用深度神经网络(DNN)推断每个扫描的路沿。第三步应用序列级处理步骤来获得3D路沿估计。这个最后的处理包括:

1)获取与每个扫描的2D路沿检测相对应的3D点;

2)从序列的扫描、2D路沿检测和车辆航迹的信息中重建检测到的3D路沿点;

3)对3D路沿进行聚类、骨架化和简化,以生成符合标准化标注文件的最终折线。
在这里插入图片描述

3.1 点云到BEV

为了检测路沿,可以使用两种类型的输入表示:LiDAR点云的3D表示或BEV(俯视图)投影。3D选项更准确且包含更多信息,但更为复杂且计算代价更高。因此,我们选择BEV选项作为更紧凑的表示方法。
点云是空间中的一组3D点,被分为M个切片,对应于不同的高度间隔,并投影到具有特定单元大小的2D网格图上。每个投影通过对每个网格单元中最高点的高度进行编码,产生一个单独的高度图。因此,BEV被编码为一组M通道的特征。

3.2 扫描帧路沿分割

我们提出了一个语义分割DNN来估计2D路沿。该网络采用M通道BEV地图,并推断逐像素的2D掩码,其中每个像素被分配一个类别标签,本例中为“路沿”和“非路沿”。我们使用逐像素的交叉熵损失来训练网络,这是语义分割任务中最常用的损失函数。损失函数对输入张量的所有像素求和,如下所示:DNN模型使我们能够获得对路沿的初始近似,以生成相应的地面实况。然后,我们执行一系列后处理步骤,以考虑整个序列,获得更健壮和一致的结果。

3.3 3D路沿优化

2D到3D转换。在此阶段,第一步是将DNN输出的每个扫描的2D推断转换为3D路沿点。为此,如图1所示,我们使用LiDAR输入扫描,从中提取必要的信息,以为先前推断为路沿的点分配高度。由于从点云到BEV的转换步骤会导致由网格分辨率和M切片数量产生的信息丢失,这个转换对于获得检测到的路沿点高度的良好近似至关重要(见图2)。
在这里插入图片描述
重建。在此步骤中,考虑到每个扫描的所有路沿3D点,以及输入点云,应用车辆航迹信息,进行所有这些点的累积重建,以获得整个序列的路沿点云。

标注生成。在这一点上,我们首先将不同的路沿检测分组,以便在后续阶段可以分开操作,例如,在标注工具中有效地加载它们或删除那些对应于虚假检测的部分。为了进行这种分离,我们使用DBSCAN算法执行聚类阶段。这个算法适用于数据中具有相似密度的簇,因此在其应用之前,我们执行了体素子采样过程,平衡了簇的密度,这也有助于后续的插值步骤。为了获得最终的折线路沿表示,我们使用骨架化算法。通过应用这个专为从LiDAR获得的点云进行骨架化而设计的算法,我们获得了线性迹线,我们期望表示路沿。最后的后处理步骤是简化。在此步骤中,通过Ramer-Douglas-Peucker算法减少了检测到的路沿骨架的点数。该算法使用给定的距离容差确定要消除或保留的线上的点。重建和随后的后处理步骤的表示(直到获得简化的点云)可见于图3。

标注文件。在这一步中,路沿以符合ASAM OpenLabel标准的文件中的折线形式存储。
在这里插入图片描述

实验

实验部分介绍了使用BEV表示来呈现DNN进行扫描级检测的结果,另一部分专门用于使用我们估算的3D路沿生成地面真值。

单帧扫描路沿估计:表格I展示了分割网络在两个不同容差下的结果,考虑到1像素对应0.1m,即空间分辨率为0.1m/像素。在3个像素的容差下获得的F分数显示,大多数情况下都能检测到路沿,证明了DNN用于初步路沿估计的适用性。当容差更为严格时,指标略有下降,这促使我们在流程中进行第二阶段的精炼。
在这里插入图片描述
3D路沿标注:我们进行了一系列测试以评估由我们的方法获得的路沿估计对于地面真值生成的实用性。这些测试涉及对有和没有使用我们方法获得的预标注的路沿进行标注。测试是在从一辆原型车上安装的LiDAR传感器收集的四个序列上进行的,这些序列包含不同的路沿特征,如直线段、曲线、被植被遮挡、停放的车辆等(见图4)。
在这里插入图片描述
图5中显示了使用标记的路沿的标注工具的示例。由于LiDAR点云的稀疏和低分辨率特性,手动标注的过程通常是一项复杂而繁琐的任务,尤其是路沿的标注,需要标注者具备一定的技能。为了简化标注过程,标注者被要求使用着色了z轴梯度的俯视图,以突出路沿高度上的不连续性。

在这里插入图片描述
我们使用精心制作的手动地面真值来评估标注者所做的标注。在标注过程中,标注者被要求测量每个地图的标注时间,包括从头开始标注和使用预标注的地图。

所采用的评估指标有召回率、精确度和F分数,该方法将3D多段线集转换为3D点集,并使用特定的度量步长对多段线进行采样。随后,它通过使用3D欧几里得距离比较这些3D多段线。

需要注意的是,距离测量的最大误差受到离散化步长的一半的限制。我们考虑了在实施细节中提到的0.1m/像素的分辨率。在表II中,显示了在每个地图的标注中获得的指标的平均值,以及总体平均值和通过使用预标注获得的改进。

基于BEV分辨率,使用10cm的容差来计数标注为正确。虽然在没有预标注和有预标注的情况下获得的值之间没有主要差异,主要是因为最终是人类标注者做所有标注,但我们确实注意到在使用我们的方法生成的预标注时,标注的质量略有提高。
在这里插入图片描述
此外,在表III中,我们展示了通过我们的方法提供的预标注将标注时间减少了50.99%。
在这里插入图片描述

小结

AD任务中对地面实况数据的需求需要大量的数据,这些数据需要手动标记。半自动标注算法可以帮助减少人工标注时间,从而在标注过程中节省成本。

在本文中提出了一种从激光雷达点云序列中以ASAM OpenLABEL标准化输出格式生成3D路沿预标注的方法。我们的方法在扫描级别检测路沿,并在第二序列级别的后处理阶段对其进行细化。

最终检测结果存储为多段线。通过使用从测试车辆中配备的激光雷达传感器获得的真实数据进行手动标注活动,我们验证了我们的方法的适用性。我们提出的路沿石检测管道将手动标注时间减少了50%,同时在标注中保持类似的准确性。

未来的工作包括用更大的数据集训练DNN,并探索替代架构来增强预标注。我们还计划扩展该方法,将RGB相机的数据纳入其中,以增强最困难场景中检测的可靠性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/222865.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【SpringBoot篇】基于Redis实现生成全局唯一ID的方法

文章目录 🍔生成全局唯一ID🌹为什么要生成全局唯一id🌺生成全局id的方法✨代码实现 🍔生成全局唯一ID 是一种在分布式系统下用来生成全局唯一id的工具 在项目中生成全局唯一ID有很多好处,其中包括: 数据…

革命性突破:Great River推出XL高速ARINC 818传感器测试卡

Great River Technology荣幸地宣布,与RVS(远程视觉系统)2.0平台合作推出的XL高速ARINC 818传感器测试卡正式亮相。这款开创性的测试卡在柯林斯航空电子公司(RTX业务部)和波音公司开发和测试RVS 2.0系统中发挥了重要作用…

Python办公自动化Day1

目录 文章声明⭐⭐⭐让我们开始今天的学习吧!xlwt创建Excelxlrd读取Excelxlutils修改Excelxlwt设置样式常见的字体样式单元格宽高内容对齐方式设置单元格边框设置背景颜色样式整合起来的写法 文章声明⭐⭐⭐ 该文章为我(有编程语言基础,非编…

引领汽车营销新趋势,3DCAT实时云渲染助力汽车三维可视化

当前,汽车产业发展正从电动化的上半场,向智能化的下半场迈进。除了车机技术体验的智能化之外,观车体验的智能化也不容忽视。 这是因为,随着数字化、智能化、个性化的趋势,消费者对汽车的需求和期待也越来越高&#xf…

听GPT 讲Rust源代码--src/tools(23)

File: rust/src/tools/clippy/rustc_tools_util/src/lib.rs 在Rust源代码中,rust/src/tools/clippy/rustc_tools_util/src/lib.rs文件的作用是为Clippy提供了一些实用工具和辅助函数。 该文件中定义了VersionInfo结构体,它有三个字段,分别为m…

web架构师编辑器内容-创建业务组件和编辑器基本行为

编辑器主要分为三部分,左侧是组件模板库,中间是画布区域,右侧是面板设置区域。 左侧是预设各种组件模板进行添加 中间是使用交互手段来更新元素的值 右侧是使用表单的方式来更新元素的值。 大致效果: 左侧组件模板库 最初的模板…

微前端样式隔离、sessionStorage、localStorage隔离

1、样式隔离 前端样式不隔离,会产生样式冲突的问题,这个点在qiankun也存在 子应用1修改一个样式 button {background: red!important; }其它应用也会受到影响 qiankun的css隔离方案(shadow dom) shadow …

FCIS 2023网络安全创新大会-核心PPT资料下载

一、峰会简介 本次会议的主题是“AI大模型、人工智能与智能制造安全、攻击面管理与供应链安全”。 1、AI大模型 会议首先探讨了AI大模型在网络安全领域的应用。AI大模型是一种基于深度学习的模型,具有强大的特征提取和分类能力,可以用于检测和防御各种…

MFC 自定义压缩,解压缩工具

界面效果如下: 对外提供的接口如下: public: void setCallback(zp::Callback callback, void* param); bool open(const zp::String& path, bool readonly false); bool create(const zp::String& path, const zp::String& inputPath)…

代码图形注释自动生成(通过文字图像)

0. 简介 大家在学(CTRL)习(C)别人代码的时候,看到别人的代码程序,在日志中有很多很酷的代码注释,或者是有一些图形化注释方便理解。之前本人以为都是一个个手敲出来的。然后在网上一番搜索&…

STM32G4x FLASH 读写配置结构体(LL库下使用)

主要工作就是把HAL的超时用LL库延时替代,保留了中断擦写模式、轮询等待擦写,我已经验证了部分。 笔者用的芯片为STM32G473CBT6 128KB Flash,开环环境为CUBEMXMDK5.32,因为G4已经没有标准库了,笔者还是习惯使用标准库的…

Ubuntu 常用命令之 fdisk 命令用法介绍

📑Linux/Ubuntu 常用命令归类整理 fdisk 是一个用于处理磁盘分区的命令行工具,它在 Linux 系统中广泛使用。fdisk 命令可以创建、删除、更改、复制和显示硬盘分区,以及更改硬盘的分区 ID。 fdisk 命令的常用参数如下 -l:列出所…

threejs中修改鼠标cursor不生效的问题修复

需求: 当鼠标hover一个元素时,cursor为自定义的图标 问题描述: threejs中修改canvas的鼠标cursor为自定义的图标不生效。 问题原因: 引入了dragcontrols,查看dragControls的代码,可以看到代码中有对cur…

鸿蒙ArkTS语言介绍与TS基础语法

1、ArkTS介绍 ArkTS是HarmonyOS主力应用开发语言,它在TS基础上,匹配ArkUI框架,扩展了声明式UI、状态管理等响应的能力,让开发者以更简洁、更自然的方式开发跨端应用。 JS 是一种属于网络的高级脚本语言,已经被广泛用…

数学建模学习笔记-皮尔逊相关系数

内容:皮尔逊相关系数 一.概念:是一个和线性线关的相关性系数 1.协方差概念: 协方差受到量纲的影响因此需要剔除 2.相关性的误区 根据这个结论,我们在计算该系数之前需要确定是否为线性函数 二.相关性的计算 1.Matlab&#xff…

关于Triple DES(3DES)对称加密算法

一、引言 在网络安全领域,对称加密算法作为一种常见的加密手段,被广泛应用于保障数据传输的保密性和完整性。其中,DES(Data Encryption Standard)算法作为一种经典的对称加密算法,由IBM于1970年代开发&…

solidity 重入漏洞

目录 1. 重入漏洞的原理 2. 重入漏洞的场景 2.1 msg.sender.call 转账 2.2 修饰器中调用地址可控的函数 1. 重入漏洞的原理 重入漏洞产生的条件: 合约之间可以进行相互间的外部调用 恶意合约 B 调用了合约 A 中的 public funcA 函数,在函数 funcA…

jar混淆,防止反编译,Allatori工具混淆jar包

文章目录 Allatori工具简介下载解压配置config.xml注意事项 Allatori工具简介 官网地址:https://allatori.com/ Allatori不仅混淆了代码,还最大限度地减小了应用程序的大小,提高了速度,同时除了你和你的团队之外,任何人…

持续集成交付CICD:基于ArgoCD 的GitOps 自动化完成前端项目应用发布与回滚

目录 一、实验 1. 环境 2. K8S master节点部署Argo CD 3.基于ArgoCD 实现GitOps (同步部署文件) 4.基于ArgoCD 实现GitOps (同步HELM文件) 二、问题 1. ArgoCD 连接K8S集群状态为 Unknown 2.ArgoCD 创建application失败 …

小鹅通基于 TSE 云原生 API 网关的落地实践

导语 2023腾讯全球数字生态大会已于9月7-8日完美落幕,40专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。 微服务与消息队列专场,我们邀请到了小鹅通的基础架构组负责人黄徐震为我们带来了《小鹅通基于 TSE 云原生网关的落地实践》的精彩演讲。…