自动驾驶中的神经辐射场:综述

24年4月清华大学论文“Neural Radiance Field in Autonomous Driving: A Survey”。

神经辐射场(NeRF)由于其固有的优势,特别是其隐式表示和新视图合成能力,引起了学术界和工业界的广泛关注。 随着深度学习的快速发展,出现了多种方法来探索 NeRF 在自动驾驶(AD)领域的潜在应用。 然而,当前文献中存在明显的空白。 为了弥补这一差距,本文对 NeRF 在 AD 背景下的应用进行了全面的调查。 该综述旨在对 NeRF 在自动驾驶 (AD) 中的应用进行分类,具体包括感知、3D 重建、同步定位和建图 (SLAM) 以及模拟。 深入分析并总结每个应用类别的研究结果,最后对该领域的未来方向提供见解和讨论。

如图是NeRF在自动驾驶的类别:
请添加图片描述

在 NeRF 模拟中,有两种类型。 第一种类型将驾驶场景分为静态和动态部分,并使用神经辐射场。 然后,它编辑车辆或行人的运动以生成新场景并模拟图像数据。 根据场景表示,这种类型进一步分为隐式和显式方法。 第二种类型的重点是从新角度模拟激光雷达数据,将激光雷达传感过程模型与神经辐射场相结合来描绘场景的几何形状。 根据激光雷达传感过程的建模差异,该类型分为射线模型和光束模型。

NeRF 在自动驾驶感知任务中展示了巨大的潜力,该任务分为两个分支:数据增强和模型训练,如图所示。 数据增强需要利用 NeRF 的创新视图合成功能对训练数据集进行逼真的数据增强,而模型训练则涉及将神经渲染集成到训练过程中以捕获几何细节并提高性能。

请添加图片描述

如表所示,将 3D 重建分为三个子问题:动态场景重建、表面重建和逆渲染。

请添加图片描述

由于 NeRF 具有基于姿态和视图方向渲染图像的强大能力,因此将 NeRF 与姿态估计以及 SLAM 相结合的尝试自然受到了众多研究人员的考虑和研究。 相关研究大致可以分为两类:NeRF 的姿态估计和 NeRF 的场景表示。

最近出现了几种利用 NeRF 估计实时姿态的具体方法,可分为 3D 隐式表示和 3D 特征提取。与 NeRF 优化姿态估计相反,NeRF 在 SLAM 中的另一个应用是表示整个场景以优化建图性能。 根据场景表示级别,相关研究分为MLP级、体素级、点级和3D高斯级表示。

自动驾驶仿真为传感器数据生成创建逼真的虚拟环境,为现实世界测试提供了一种更安全、更具成本效益的替代方案,有利于创建多样化的驾驶场景并降低安全风险。 CARLA [93] 和 AirSim [94] 等传统模拟方法依赖于手动场景创建,并且由于手工制作的资产和简化的物理原理而存在显着的模拟与真实差距,因此面临着局限性。 GeoSim [95] 试图通过结合图形和神经网络来生成视频场景来弥补这一差距,但未能模拟新视图的传感器数据。 神经辐射场方法显着增强了真实感,并减少了场景创建和编辑中的手动工作,为缩小现实世界和虚拟世界之间的域差距提供了一种有前景的解决方案。
模拟方法主要分为两大类:图像数据模拟和激光雷达数据模拟。

当前基于神经辐射场的自动驾驶图像数据模拟方法使用来自真实驾驶环境的图像序列以及相应的摄像头姿势来重建场景,从而允许在原始场景中修改车辆行为生成并渲染新的逼真图像。 根据表示技术,这些方法进一步分为隐式表示方法(以 NeRF 为代表)和显式表示方法(以 3D Gaussian Splatting 为代表)[42]。

LiDAR 数据模拟的目的是利用 LiDAR 测量数据来增强神经场景表示,从而促进从新角度合成真实的 LiDAR 扫描。 这些方法基于不同的激光雷达传感过程建模技术,主要分为两类:射线模型和光束模型。

射线方法将LiDAR传感过程简化为单条射线,取代了原始NeRF模型中的相机射线,并通过球面投影将LiDAR点云数据转换为360度全景图像作为真值,将点云数据转换为伪图像数据。与上述方法不同,NFL[105]使用具有散射角的发散光束来模拟LiDAR传感过程。 该技术可以准确地再现关键传感器行为,例如光束发散、二次返回和光线下降,如图所示。
请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/324915.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

攻防世界-web-unseping

题目 知识点 PHP代码审计PHP序列化和反序列化PHP中魔术方法命令执行绕过方式 解读源码 <?php highlight_file(__FILE__);class ease{private $method;private $args;function __construct($method, $args) {$this->method $method;$this->args $args;}function …

视频资源汇聚平台常见的几种接入方式

视频资源汇聚平台 视频汇聚平台可以实现海量资源的接入、汇聚、存储、处理、分析、运维等&#xff0c;平台具备轻量化接入能力&#xff0c;可支持多协议方式接入&#xff0c;包括主流标准协议GB28181、RTSP、ONVIF、RTMP、FLV、WEBSOCKET等&#xff0c;以及厂家私有协议与SDK接…

网络安全的未来:挑战、策略与创新

引言&#xff1a; 在数字化时代&#xff0c;网络安全已成为个人和企业不可忽视的议题。随着网络攻击的日益频繁和复杂化&#xff0c;如何有效保护数据和隐私成为了一个全球性的挑战。 一、网络安全的现状与挑战 网络安全面临的挑战多种多样&#xff0c;包括但不限于恶意软件、…

第十三届蓝桥杯决赛(国赛)真题 Java A 组【原卷】

文章目录 发现宝藏【考生须知】试题 A: 火柴棒数字试题 B: 小蓝与钥匙试题 C: 内存空间试题 D: 斐波那契数组试题 E: 交通信号试题 F: 数组个数试题 G: 六六大顺试题 H : \mathrm{H}: H: 选素数试题 I: 图书借阅试题 J \mathrm{J} J : 括号序列树 发现宝藏 前些天发现了一个…

【Linux:lesson1】的基本指令

&#x1f381;个人主页&#xff1a;我们的五年 &#x1f50d;系列专栏&#xff1a;Linux课程学习 &#x1f337;追光的人&#xff0c;终会万丈光芒 &#x1f389;欢迎大家点赞&#x1f44d;评论&#x1f4dd;收藏⭐文章 目录 &#x1f697;打开Xshell&#xff0c;登陆root…

ASP.NET WebApi 如何使用 OAuth2.0 认证

前言 OAuth 2.0 是一种开放标准的授权框架&#xff0c;用于授权第三方应用程序访问受保护资源的流程。 OAuth 2.0 认证是指在这个框架下进行的身份验证和授权过程。 在 OAuth 2.0 认证中&#xff0c;涉及以下主要参与方&#xff1a; 资源所有者&#xff08;Resource Owner&…

springboot 引入第三方bean

如何进行第三方bean的定义 参数进行自动装配

PCB检查

文章目录 1、打开DRC2、database check3、检查DRC4、检查多余的线5、其他需要注意的点a.检查差分线、等长线是否已调好b.注意检查晶振、电感等元件上/下方是否其他线经过&#xff08;一般不允许线经过&#xff09;c.打开place_bound_top/bottom 检查元件是否超过这个允许范围d.…

【高校科研前沿】北师大陈晋教授团队在遥感顶刊发表最新成果:ClearSCD模型:在高空间分辨率遥感影像中综合利用语义和变化关系进行语义变化检测

01文章简介 论文名称&#xff1a;The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery&#xff08;ClearSCD模型&#xff1a;在高空间分辨率遥感影像中综合…

【GESP】2023年12月图形化二级 -- 小杨报数

小杨报数 【题目描述】 小杨需要从 1 1 1到 N N N报数。在报数过程中&#xff0c;小杨希望跳过 M M M的倍数。例如&#xff0c;如果 N 5 N5 N5&#xff0c; M 2 M2 M2&#xff0c;那么小杨就需要依次报出 1 1 1&#xff0c; 3 3 3&#xff0c; 5 5 5。 默认小猫角色和白色背…

桥接模式类图与代码

欲开发一个绘图软件&#xff0c;要求使用不同的绘图程序绘制不同的图形。以绘制直线和圆形为例&#xff0c;对应的绘图程序如表 7.7 所示。 根据绘图软件的扩展性要求&#xff0c;该绘图软件将不断扩充新的图形和新的绘图程序。为了避免出现类爆炸的情况&#xff0c;现采用桥接…

车辆运动模型中LQR代码实现

一、前言 最近看到关于架构和算法两者关系的一个描述&#xff0c;我觉得非常认同&#xff0c;分享给大家。 1、好架构起到两个作用&#xff1a;合理的分解功能、合理的适配算法&#xff1b; 2、好的架构是好的功能的必要条件&#xff0c;不是充分条件&#xff0c;一味追求架构…

Scala编程入门:从零开始的完整教程

目录 引言环境准备创建第一个Scala项目基本语法高阶概念进阶资源结语 引言 Scala是一种强大的、静态类型的、多范式编程语言&#xff0c;它结合了面向对象和函数式编程的特点。本教程将指导您如何从零开始学习Scala&#xff0c;并搭建一个简单的开发环境。让我们开始探索Scala…

webassembly入门详解(C++)

一、环境配置 环境说明,操作系统为window操作系统。 1.1 下载和安装python 下载 需要python版本至少3.6版本 python下载地址:https://www.python.org/getit/ 安装 检测安装结果 win+R组合键->cmd->输入python->回车 1.2 下载和安装emsdk 下载 下载地址:https://gi…

春秋云镜 CVE-2022-4230

靶标介绍&#xff1a; WP Statistics WordPress 插件13.2.9之前的版本不会转义参数&#xff0c;这可能允许经过身份验证的用户执行 SQL 注入攻击。默认情况下&#xff0c;具有管理选项功能 (admin) 的用户可以使用受影响的功能&#xff0c;但是该插件有一个设置允许低权限用户…

Spring Security基础教程:从入门到实战

作者介绍&#xff1a;✌️大厂全栈码农|毕设实战开发&#xff0c;专注于大学生项目实战开发、讲解和毕业答疑辅导。 推荐订阅精彩专栏 &#x1f447;&#x1f3fb; 避免错过下次更新 Springboot项目精选实战案例 更多项目&#xff1a;CSDN主页YAML墨韵 学如逆水行舟&#xff0c…

LOTO示波器动作编程功能(命令批处理)

动作编程功能是为了方便客户根据自己的应用场景&#xff0c;做到一个按键就连续做多个示波器操作&#xff0c;从而降低了对操作人员的技术要求&#xff0c;做到傻瓜式操作。之前LOTO有个类似的功能&#xff0c;是把示波器的基础设置根据不同的测试场景存成不同的设置文件&#…

新建的springBoot WEB项目无法自动返回html模版(gradle+kotlin版本)

最近研究了springBoot创建web项目&#xff0c; 第一步服务端返回字符串没有问题&#xff0c;第二步返回html时&#xff0c;还是返回的字符串。 文章目录 一、参考方案二、新建springBoot web项目三、启动项目的三种方式 一、参考方案 将控制器类的 RestController 改为 Contro…

基于CCS5.5的双音多频(DTMF)信号检测仿真实验(①检测型音频文件②输入生成音频并检测)

DTMF的优点 我们知道,DTMF根本上仍然是频谱分析,基础还是DFT,但DFT通常需要对一整段数据做变换,而DTMF不同,每输入一个采样点就计算一次,更有利于硬件实现。 基于CCS的双音多频(DTMF)信号检测原理 公式详细推导 详细的公式推导在下面这篇博客中已经进行了详细的描述,…

AI图书推荐:给自媒体创作者的ChatGPT使用指南

你是否厌倦了花费数小时盯着空白屏幕&#xff0c;努力为你的内容想出新鲜点子&#xff1f;想要将你的写作提升到下一个水平&#xff1f;有了ChatGPT&#xff0c;你可以告别写作障碍、无休止的修订和浪费的时间。 在这本全面的指南中&#xff0c;你将学到关于ChatGPT你需要知道…