多模态自动驾驶混合渲染HRMAD:将NeRF和3DGS进行感知验证和端到端AD测试

基于3DGSNeRF三维重建技术在过去的一年中取得了快速的进步,动态模型也变得越来越普遍,然而这些模型仅限于处理原始轨迹域内的对象。

HRMAD作为一种混合方案,将传统的基于网格的动态三维神经重建和物理渲染优势结合,支持在任意位置部署网格动态代理,自由调整环境条件,在多个相机视角下进行自由切换,与传统仿真方法相比有效减少了领域差距,同时保留了可控性。

一、方法描述

HRMAD提出的NeRF2GS双模型训练范式显著提升了合成质量,尤其是道路和车道标志,同时满足交互式帧率。通过此块级并行训练架构,可以处理超过10万平方米场景重建,并同步传输出分割掩膜/法线图/深度图。通过物理光栅化/光线追踪渲染后端,HRMAD支持多个相机模型、LiDAR和Radar的实时多模态输出。如图1所示的模型架构。

图1

具体而言,HRMAD基于RGB相机、GNSS和LiDAR的同步数据进行模型训练。该方案结合了NeRF优秀的泛化能力3DGS实时的渲染速度,通过T-S结构,将NeRF生成的深度、法线和外观监督信息传递给3DGS模型,并通过正则化将LiDAR深度数据引入NeRF,从而实现更准确的几何结构建模

传统基于透视投影的渲染方法通常依赖于特定的投影模型,为了在3DGS场景中适配任意传感器,HRMAD提出了一种新的渲染算法架构,如下图2所示。

图2

该架构基于共享代码库实现了光栅化和光线追踪渲染,用于计算高斯沿射线的贡献。这样不仅能够在三维重建场景中支持任意相机畸变模型,还能够减轻LiDAR仿真中伪影的产生。图3展示了在aiSim中采用HRMAD渲染场景并配置LiDAR后,点云的可视化效果

图3

图4表明HRMAD在极端视角下RGB、深度、法线和分割(基于Mask2Former)模态下的几何细节和表面特性,重建面积约为165000平方米(ZalaZone测试场,此重建场景将于aiSim5.7版本进行发布)。

图4

二、下游任务验证

1、重建质量验证

由于HRMAD采用的是基于双边网格的色彩校正方法,传统的PSNR指标不再适用,而SSIM和LPIPS指标对结果相似性更为敏感,但从结果上看,这两个指标仍然受到ISP解耦导致的RAW与重建图像之间色彩失配的影响。这一影响体现在了评估结果中,如表1,表中对比了原始3DGS和TCLC-GS在6个Waymo场景上的指标表现。

表1

2、语义分割验证

在语义分割上分别从三个角度评估模型性能,首先通过统计所有像素中语义分类一致的比例,反映全局重建一致性
通过Mask2Former获取真实图像上计算的分割Mask,并与HRMAD-NeRF(Teacher)和HRMAD-NeRF(Student)渲染得到的分割Mask进行比较,验证重建的准确性。同时为了降低道路、天空等易分割区域对整体结果的偏差影响,针对"Car"进行单独IoU计算

为确保验证过程的公平性,真实图像被重投影至与渲染过程一致的无畸变针孔相机参数空间,当重建结果正确标注了远距离或被遮挡物体,而Mask2Former因输入信息有限导致误判时,此类误差会被计入评估指标。同时在夜间拍摄场景和相机直对太阳的场景中(如场景11037651和14663356),掩膜一致性显著下降。结果如表2所示。

表2

其次非常规视角下进行模型渲染,并基于Mask2former生成的Mask与模型预测Mask进行比较。此渲染视角沿自车轨迹生成,并在[-1,3]米范围内平移前视相机仿真模型。表3展示了针对道路表面信息和车辆的重建性能。其中Car类型的重建性能相对较低,这是由于Mask2Frame无法检测远处或被遮挡的物体,从而扩大了差异。图5显了示相关结果,绿色为匹配区域,蓝色和橙色分别表示模型预测Mask和Mask2Former的Mask输出。

表3

图5

最后在极端渲染视角下(高5m,横向偏移2m,向下偏转25°),针对车道线和路沿语义分割结果进行了定性评估,如图6所示。

图6

3、3D目标检测验证

为了验证HRMAD在3D目标检测上的一致性,采用在Waymo Open数据集训练中公开的DEVIANT 3D目标检测模型,进行定量和定性实验。

定量实验中,在Waymo-13469905891836363794片段中从[0,3]横向偏移视角下进行验证,并通过平移变换后的3DBBox定量计算。定性实验选取三个驾驶片段进行静态环境渲染,并基于网格渲染添加动态车辆,主要用于评估仿真生成的车辆是否引入了领域差距

表4基于Waymo指标进行验证,Original为原始图像。特别在近距离下,HRMAD的表现性能要优于原始图像,这是由于原始图像中假阳FP数量更高。在非常规视角渲染下,观察到的差异主要是横向偏移视角下目标截断的数量增加,但整体检测结果在很大程度上保持一致。

表4

图7为DEVIANT模型在HRMAD渲染Waymo场景中的表现。

图7

三、结语

虽然HRMAD渲染方法旨在最大程度减少区块边界的不连续性,但仍不可避免地会产生可见的伪影,特别是在天空和远距离目标区域中。比如天空的RGB重建效果良好,但在自动驾驶仿真测试场景中,在非常规视角下仍然会导致伪影和结构痕迹

在下游任务中,HRMAD针对自动驾驶场景的评估结果已非常接近真实数据,但由于样本有限,仍需要更大规模的数据集进行进一步验证。未来的研究也会致力于进一步缩小重建场景和真实数据之间的领域差距,具体来说,可以通过探索层次化高斯泼溅来减少区块伪影,并利用生成的法线信息改进LiDAR强度模拟,来更好地反应点云数据的方向敏感强度。

目前,HRMAD生成场景已集成在aiSim中,可在不同传感器模型配置方案下,实现端到端仿真测试交互式验证和测试。


我是分享自动驾驶技术的康谋

欢迎关注互动

期待与您的进一步交流

aiSim自动驾驶仿真平台 - 端到端智驾仿真工具 | 高保真环境模拟和场景重建 | 软件在环测试 | 康谋科技https://keymotek.com/adas-simulator-aisim/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/41177.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

质检LIMS系统在食品生产加工企业的应用 如何保证食品生产企业的安全

在食品生产加工领域,质量安全是贯穿全产业链的生命线。随着《食品安全法》对全过程追溯要求的深化,传统实验室管理模式已难以满足高效、精准的质量管控需求。质检实验室信息管理系统(LIMS)作为数字化升级的核心工具,正…

树莓派超全系列文档--(8)RaspberryOS实用程序

RaspberryOS实用程序 实用程序kmsprintvclogvcgencmdvcosversionget_throttledmeasure_tempmeasure_clock [clock]measure_volts [block]otp_dumpget_config [configuration item|int|str]get_mem typecodec_enabled [type]mem_oommem_reloc_statsread_ring_osc 文章来源&#…

解锁DeepSeek潜能:Docker+Ollama打造本地大模型部署新范式

🐇明明跟你说过:个人主页 🏅个人专栏:《深度探秘:AI界的007》 🏅 🔖行路有良友,便是天堂🔖 目录 一、引言 1、什么是Docker 2、什么是Ollama 二、准备工作 1、操…

文件上传绕过的小点总结(6)

14.文件上传(文件包含漏洞)二次渲染 很多服务器为了防止代码嵌入图片,通常会将上传的图片进行重新生成处理,包括文件格式转换等等,嵌入的恶意代码很容易被改掉。于是产生了二次渲染,二次渲染的原理就是找到…

x-cmd install | Wuzz - Web 开发与安全测试利器,交互式 HTTP 工具

目录 安装配置快捷键上下文相关搜索待办事项 在 Web 开发和安全测试中,我们经常需要检查和修改 HTTP 请求。浏览器自带的开发者工具虽然好用,但复制出来的 cURL 命令冗长且难以编辑。今天要介绍的是 Wuzz,一款交互式命令行 HTTP 工具&#xf…

python --face_recognition(人脸识别,检测,特征提取,绘制鼻子,眼睛,嘴巴,眉毛)/活体检测

dlib 安装方法 之前博文 https://blog.csdn.net/weixin_44634704/article/details/141332644 环境: python3.8 opencv-python4.11.0.86 face_recognition1.3.0 dlib19.24.6人脸检测 import cv2 import face_recognition# 读取人脸图片 img cv2.imread(r"C:\Users\123\…

搭建k8s集群的可观测体系(log和metric)(已踩完坑)

Loki是日志聚合系统,属于云原生技术,由Grafana Labs开发。它专注于轻量级和高效的日志管理,特别是适合Kubernetes环境。而Prometheus-operator则是用来管理Prometheus监控系统的,简化部署和配置,处理监控数据,尤其是指标(metrics)的收集和告警。 本片文档踩坑结束,使用…

Mybatis配置文件解析(详细)

引言 在了解Mybatis如何帮助客户进行数据的存取后,便对Mybatis的配置文件起了兴趣,在查阅官方文档后,总结了平时能用到的配置,希望能对大家有帮助 1.核心配置文件 主要是指Mybatis-config.xml中 其包含了会深深影响Mybatis行为…

技术迭代、流量困境与营销突破:基于开源AI大模型与S2B2C模式的创新路径研究

摘要:在技术指数级迭代与流量红利消退的双重背景下,营销领域面临边际效应递减与竞争升级的双重挑战。本文基于"开源AI大模型""AI智能名片""S2B2C商城""小程序源码"等创新工具,探讨营销范式转型的路径…

针对stm32F103C8t6芯片调节USB串口的经验

1、首先这是自己手搓的板子,对于之前一直没有了解过USB这方面,则这个针对USB部分没有设计上拉电阻,造成不管怎么调节PC端都没有反应。 图一 这个没有添加1.5K电阻 这个D+位置应该再接一个1.5KR的电阻如图2所示 图2 这样调节的话PC端就可以识别到USB串口,但是这是串口还是会…

数据库和安装配置MySQL笔记(2)

1. 什么是数据库? 数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。它通过系统化的方法,帮助用户高效地存储、检索和管理数据。 2. 常见数据库类型 关系型数据库(如 MySQL、PostgreSQL、Oracle&#…

mysql增、删、改和单表查询多表查询

一、四大名著表t_hero的相关操作: 1.进入并创建db_ck数据库: create database if not exists db_ck; show databases; use db_ck;2.创建四大名著表t_hero并且插入一些数据: 创建t_hero表: create table t_hero ( id int, hero…

springboot整合couchbase(集群)

springboot整合couchbase 1、Couchbase1.1、介绍1.2、Bucket1.3、Couchbase SDK 2、(key,value)写入couchbase集群2.1、总体图2.2、依赖2.3、CouchbaseConfig 配置文件2.4、代码使用 1、Couchbase 1.1、介绍 1.2、Bucket 在 Couchbase 中,bucket 是一个重要的概念…

【博客节选】再谈Unity 的 root motion

节选自 【Unity实战笔记】第二十三 root motion变更方向攻击 (OnStateMove rootmotion rigidbody 使用的一些问题) 小伙伴们应该对root motion非常困惑,包括那个bake into pose。 当xz bake into pose后,角色攻击动画与父节点产…

从零开始的大模型强化学习框架verl解析

之前在职的时候给一些算法的同学讲解过verl的框架设计、实现细节以及超参配置,写这篇文章姑且作为离职修养这段时期的复健。 本文中提到的做法和思路可能随着时间推移有变化,或者是思想迪化,仅代表个人理解。如果有错漏的地方还请指出。 现…

回归——数学公式推导全过程

文章目录 一、案例引入 二、如何求出正确参数 1. 最速下降法 1)多项式回归 2)多重回归 2. 随机梯度下降法 一、案例引入 以Web广告和点击量的关系为例来学习回归,假设投入的广告费和点击量呈现下图对应关系。 思考:如果花了…

【AVRCP】深度解析蓝牙高速(AMP)在封面艺术传输中的应用:低延迟体验的工程实践

目录 一、AMP 技术架构与封面艺术传输需求 1.1 蓝牙高速技术背景 1.2 AMP技术原理 1.3 蓝牙协议栈演进(AMP 协议栈架构) 1.4 封面艺术传输的技术挑战 1.5 AMP 关键特性(BR/EDR vs AMP 对比) 1.6 封面艺术传输模型&#xff…

Spring Boot 连接 MySQL 配置参数详解

Spring Boot 连接 MySQL 配置参数详解 前言参数及含义常用参数及讲解和示例useUnicode 参数说明: 完整配置示例注意事项 前言 在 Spring Boot 中使用 Druid 连接池配置 MySQL 数据库连接时,URL 中 ? 后面的参数用于指定连接的各种属性。以下是常见参数…

智能科技与美学融合,赵伟辰荣膺 2025 iF 设计大奖

近日,全球设计界享有盛誉的 iF 设计奖(iF Design Award)正式公布 2025 年度获奖名单。设计师赵伟辰凭借其创新力作Multi-Scenario Modular Control System(多场景模块化控制系统),从全球 10,000 余件参赛作品中脱颖而出,斩获这一全球瞩目的奖项。他凭借卓越的用户体验优化能力与…

NotePad++与Navicat工具的下载 完全免费无套路

https://qr61.cn/o7ciDN/qINyVn3 打开链接 获取下载即可 免费 免费 免费 重要的事情说三遍! 这是本人自己搜集资源与发布和共享的最新版,无任何费用 需要工具自行下载即可。 由于人少力薄 资源更新较慢 请大家耐心等待 多多关注 谢谢~ 下面给大家截图…