大模型自然语言生成自动驾驶可编辑仿真场景(其一 共十篇)

第一篇:LLM greater scene summarize

第二篇:LLM simulation Test effect

第三篇:LLM simulation driving scenario flow work

第四篇:LLM Algorithm flow description

第五篇:Configure the environment and background rendering engine

第六篇:perception raw data train

第七篇:Process and analyze calibration data

第八篇:Use Blender 3D Assets

第九篇:Training and simulation model

第十篇:code and sum up

背景前言

自动驾驶中的场景仿真因其生成定制数据的巨大潜力而受到广泛关注。然而,现有的可编辑场景模拟方法在用户交互效率、多机位逼真渲染和外部数字资产集成方面存在局限性。 为了应对这些挑战,本文介绍了ChatSim,这是第一个通过自然语言命令和外部数字资产实现可编辑的逼真的3D驾驶场景模拟的系统。为了实现具有高度命令灵活性的编辑,ChatSim 利用了大型语言模型 (LLM) 代理协作框架。为了生成逼真的结果,ChatSim采用了一种新颖的多相机神经辐射场方法。此外,为了释放大量高质量数字资产的潜力,ChatSim 采用了一种新颖的多机位照明估计方法来实现场景一致的资产渲染。在Waymo Open Dataset上的实验表明,ChatSim可以处理复杂的语言命令,并生成相应的逼真的场景视频。

感知是自动驾驶汽车进入外部环境的窗口。为了确保车辆在训练和测试阶段的感知能力的鲁棒性,需要大量收集高质量的感知数据.然而,为获取真实世界数据而运营的车队往往会产生高昂的费用,特别是对于专业或定制的要求。例如,在涉及自动驾驶汽车的事故或干预之后,必须在一系列类似场景中测试车辆的感知系统。由于实际场景的不可控性,从真实世界的实例复制此类场景数据几乎是不可能的,定制场景模拟成为一种重要且可行的替代方案。它能够对特定条件进行精确建模,而无需支付高成本和真实世界数据收集的后勤复杂性.

为了有效地模拟自定义驾驶场景,我们确定了三个关键属性作为基本属性。首先,仿真应该能够遵循复杂或抽象的要求,从而 促进生产。其次,仿真应生成逼真的照片、视图一致的结果,从而实现最接近真实场景中车辆观察的结果。第三,它应该允许外部数字资产的整合[48,6]具有逼真的纹理和材质,同时适合照明条件。这种能力将通过整合各种外部数字资产来释放数据扩展的潜力,从而满足定制需求。

已经提出了大量用于场景模拟的重要工作,但它们未能满足所有这三个要求。传统图形引擎,如 CARLA和 UE,提供具有外部数字资产的可编辑虚拟环境,但数据真实性受到资产建模和渲染质量的限制。基于图像生成的方法,例如 BEVContro, DriveDreameMagicDrive,可以基于各种控制信号生成逼真的场景图像,包括BEV地图、边界框和相机姿势。然而,由于缺乏 3D 空间建模,他们难以保持视图一致性,并在导入外部数字资产时面临挑战。提出了基于渲染的方法,以获得逼真和视图一致的场景模拟。著名的例子,如UniSim和 MARS配备一套场景编辑工具。然而,这些系统需要用户通过代码实现广泛参与每个琐碎的编辑步骤,这在执行编辑时是无效的。此外,虽然它们在观察到的场景中有效地处理车辆,但它们无法支持外部数字资产,这限制了数据扩展和定制的机会。

为了满足已确定的要求,我们推出了 ChatSim,这是第一个通过自然语言命令和外部数字资产实现可编辑的逼真的 3D 驾驶场景模拟的系统。要使用 ChatSim,用户只需与系统进行对话,通过自然语言发出命令,而无需参与任何中间模拟步骤;有关说明,

为了有效地处理复杂或抽象的用户命令,ChatSim 采用了基于大型语言模型 (LLM) 的多智能体协作框架。其关键思想是利用多个 LLM 代理(每个代理都具有专门的角色)将整体模拟需求解耦到特定的编辑任务中,从而反映通常在人工运营公司的工作流程中建立的任务划分和执行。此工作流为场景模拟提供了两个关键优势。首先,LLM 代理处理人类语言命令的能力允许对复杂的驾驶场景进行直观和动态的编辑,从而实现精确的调整和反馈。其次,协作框架通过在专业代理之间分配特定的编辑任务来提高模拟效率和准确性,确保模拟的详细和逼真,并提高任务完成率。

为了生成逼真的结果,我们提出了 ChatSim 中的 McNeRF,这是一种新颖的神经辐射场方法,它结合了多相机输入,提供了更广泛的场景渲染。这种集成充分利用了车辆上的摄像头设置,但带来了两个重大挑战:由于触发时间不同步导致的摄像头姿势错位,以及由于摄像头曝光时间不同而导致的亮度不一致。为了解决摄像机姿势错位问题,McNeRF 使用多摄像机对齐来减少外部参数噪声,从而确保渲染质量。为了解决亮度不一致的问题,McNeRF集成了临界曝光时间,以恢复HDR中的场景亮度,从而显著缓解了具有不同曝光时间的两张相机图像交叉处的色彩差异问题。

为了导入具有逼真纹理和材质的外部数字资产,我们提出了 McLight,这是一种新颖的多摄像机照明估计,它融合了天空穹顶和周围照明。我们的天幕估计通过峰值强度残差连接恢复准确的太阳行为,从而能够渲染突出的阴影。对于周围的照明,McLight 查询 McNeRF 以实现复杂的特定位置照明效果,例如在树荫下遮挡阳光的照明效果。这显著提高了集成 3D 资产的渲染真实感。

我们对Waymo自动驾驶数据集进行了广泛的实验,并表明ChatSim可以根据各种人类语言命令生成逼真的定制感知数据,包括危险的极端情况。我们的方法与混合、高度抽象和多轮命令兼容。我们的方法在广角渲染下实现了 4.5% 的 SoTA 性能。此外,我们证明了我们的照明估计在定性和定量上都优于 SoTA 方法,将强度误差和角度误差分别降低了 57.0% 和 9.9%。

2相关工作

自动驾驶场景仿真。目前的场景仿真方法一般可以分为三类:图形引擎、图像生成和场景渲染。图形引擎,例如 CARLA、AirSim、OpenScenario 编辑器, 51Sim-One和 RoadRunner,创建一个虚拟世界来模拟各种驾驶场景。然而,虚拟世界和现实之间存在着巨大的领域差距。图像生成方法可以基于不同的控制信号生成逼真的场景图像,例如高清地图、草图布局、边界框、文本编辑和驾驶行.然而,这些方法很难保持场景的一致性。 为了获得连贯的驾驶场景,需要基于场景渲染的方法对3D场景进行重构。使用点云并使用 U-Net 渲染图像。随着神经辐射场(NeRF)的快速发展,还利用 NeRF 在户外环境中对汽车和静态街道背景进行建模。此外,UniSim 等著名和MARS配备一套场景编辑工具。 然而,这些方法需要大量用户参与中间编辑步骤,并且它们不支持外部数字资产进行数据扩展。 在这项工作中,我们提出了ChatSim,它通过语言命令实现自动模拟编辑,并集成外部数字资产以增强真实感和灵活性。在 ChatSim 中,我们集成了 McNeRF,这是一种新型神经辐射场,旨在利用多摄像机输入实现高保真渲染。

照明估算。照明估算侧重于评估真实环境的照明条件,以无缝集成数字对象。早期方法对于户外环境,使用明确的提示,例如在地面上检测到的阴影。最近的工作通常采用基于学习的方法通过预测不同的光照表示,如球形波瓣光探头环境 地图, HDR天空模型照明量.但是,他们中很少有人考虑多摄像头输入,这在驾驶场景中很常见。在本文中,我们提出了一种新颖的多摄像机照明估计方法McLight,结合McNeRF,以估计更广泛的照明范围,并获得资产的空间变化照明效果。

MethodPhoto-realisticDim.Multi-cameraEditableExternalassetsLanguageOpen-source
CARLA \usym

2613

3D\usym

2613

AirSim \usym

2613

3D\usym

2613

OpenScenario \usym

2613

3D\usym

2613

51Sim-One \usym

2613

3D\usym

2613

\usym

2613

RoadRunner \usym

2613

3D\usym

2613

BEVGen 2D\usym

2613

\usym

2613

BEVControl 2D\usym

2613

\usym

2613

\usym

2613

DriveDreamer 2D\usym

2613

\usym

2613

DrivingDiffusion 2D\usym

2613

\usym

2613

GAIA-1 2D\usym

2613

\usym

2613

\usym

2613

MagicDrive 2D\usym

2613

\usym

2613

\usym

2613

READ 3D\usym

2613

\usym

2613

\usym

2613

\usym

2613

Neural SG 3D\usym

2613

\usym

2613

\usym

2613

Neural PLF 3D\usym

2613

\usym

2613

\usym

2613

\usym

2613

S-NeRF 3D\usym

2613

\usym

2613

\usym

2613

UniSim 3D\usym

2613

\usym

2613

\usym

2613

\usym

2613

MARS 3D\usym

2613

\usym

2613

\usym

2613

ChatSim (Ours)3D

3用于编辑的协作 LLM-Agents

ChatSim系统分析特定的用户命令,返回满足定制需求的视频;请参阅图 。由于用户命令可以是抽象的和复杂的,因此它要求系统具有灵活的任务处理能力。直接应用单个 LLM 代理在多步骤推理和交叉引用方面存在困难。为了解决这个问题,我们设计了一系列协作式 LLM 代理,其中每个代理负责编辑任务的一个独特方面。



大型语言模型和协作框架。大型语言模型 (LLM) 是在大量数据上训练的 AI 系统,用于理解、生成和响应人类语言。GPT是生成类似人类内容的开创性工作。以下更新版本 GPT-3.5和 GPT-4,提供聊天、浏览、编码等更智能的功能。其他值得注意的大型语言模型包括 InstructGPT、骆马和 PaLM基于LLM,许多作品通过整合多个智能体之间的沟通来提高解决问题的能力。和定义一组组织良好的代理,以形成具有对话和代码编程的操作过程。 在本文中,我们利用协作式 LLM 代理在仿真中的强大功能来 自动驾驶,通过语言命令对3D场景进行各种编辑。

hatSim 系统概述。该系统利用多个具有专门角色的协作 LLM 代理将总体需求解耦到特定的编辑任务中。每个代理都配备了一个 LLM 和相应的角色功能来解释和执行其特定任务。

3.1特定代理的功能

ChatSim 中的代理包括两个关键组件:大型语言模型 (LLM) 和相应的角色功能。LLM 负责理解接收到的命令,而角色函数处理接收到的数据。每个代理都配备了独特的 LLM 提示和角色功能,这些提示和角色功能是根据他们在系统中的特定职责量身定制的。为了完成任务,代理首先在提示的帮助下使用 LLM 将收到的命令转换为结构化配置。 然后,角色函数利用结构化配置作为参数来处理接收到的数据并产生所需的结果;请参阅图 2 右侧的代理示例。此工作流赋予座席语言解释能力和精确执行能力。

项目经理代理。项目经理代理将直接命令分解为清晰的自然语言指令,并分派给其他编辑代理。 为了让项目经理代理具备命令分解的能力,我们为其 LLM 设计了一系列提示。提示的核心思想是描述动作集,给出总体目标,并用示例定义输出形式; 角色函数将分解后的指令发送给其他代理进行编辑。项目经理代理的存在增强了系统在解释各种输入方面的稳健性,并简化了操作,以实现清晰和精细的粒度。

用于视图调整的技术代理。视图调整代理生成合适的外部相机参数。代理中的 LLM 将用于视点调整的自然语言指令转换为目标视点位置和角度的运动参数。在角色函数中, 这些运动参数被转换为外在所需的变换矩阵,然后将其乘以原始参数以产生新的视点。

用于后台渲染的技术代理。后台渲染代理根据多机位图像渲染场景背景。LLM 接收 rendering 命令,然后操作角色函数进行 rendering。值得注意的是,在角色函数中,我们专门集成了一种新颖的神经辐射场法 (McNeRF),该方法采用多摄像机输入并考虑曝光时间,解决了多摄像机渲染中的模糊和亮度不一致问题。

车辆拆卸技术代理。车辆删除代理从背景中删除指定的车辆。它首先从给定的场景信息或场景感知模型(如)中识别当前车辆属性,如 3D 边界框和颜色,例如LLM 收集车辆的属性并执行与用户请求的匹配。在确认目标载体后,它采用每帧修复模型作为角色函数,例如潜在扩散方,以有效地将它们从场景中删除。

用于 3D 资产管理的技术代理。3D资产管理代理根据用户规格选择和修改3D数字资产。它构建并维护一个 3D 数字资产库;请参阅附录中的银行详细信息。为了方便添加各种对象,代理首先使用 LLM 通过匹配需求的关键属性(例如颜色和类型)来选择最合适的资产。如果匹配不完美,代理可以通过其角色函数(如更改颜色)修改资产。

车辆运动的技术代理。车辆运动代理根据请求创建车辆的初始位置和后续运动。现有的车辆运动生成方法不能纯粹从文本和场景地图直接生成运动。为了解决这个问题,我们提出了一种新颖的文本到动态方法。其关键思想是将作为角色函数的放置和规划模块与 LLM 链接起来,以提取运动属性并将其转换为坐标。 运动属性包括位置属性(例如距离、方向)和运动属性(例如速度、动作)。 对于放置模块,我们赋予车道地图中的每个车道节点以匹配其属性以匹配位置属性。规划模块规划车辆的近似目的地车道节点,然后通过拟合贝塞尔曲线来规划中间轨迹。 我们还添加了轨迹跟踪适应车辆动力学;更多详细信息请参阅附录。

前景渲染的技术代理。前景渲染代理集成了摄像机外部信息、3D 资源和运动信息,以渲染场景中的前景对象。值得注意的是,为了将外部资产与当前场景无缝集成,我们设计了一种多摄像机照明估计方法(McLight)到角色函数中,并与McNeRF耦合。然后,Blender API 利用估计的照明来生成前景图像。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/361342.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

探索ChatGPT在程序员日常工作的多种应用

引言 在现代科技迅猛发展的今天,人工智能的应用已经深入到我们生活和工作的各个方面。作为程序员,我们时常面临大量繁杂的任务,从代码编写、错误调试到项目管理和团队协作,每一项都需要花费大量的时间和精力。近年来,…

[AI开发配环境]VSCode远程连接ssh服务器

文章目录 总览:ssh连接远程服务器连接免密登录:Docker:ssh连接远程宿主机后,进一步连接并使用其中的docker容器reload window 配置解释器:CtrlP,在上面输入“>python”, 然后选selecet interpreter运行命…

Sharding-JDBC分库分表

参考: https://mp.weixin.qq.com/s/A6WS1CSjF7wvBE_gKLyp8w https://shardingsphere.apache.org/document/legacy/4.x/document/cn/quick-start/sharding-jdbc-quick-start/ 注意: 支持的sql项: 全面支持DML、DDL、DCL、TCL和部分DAL。支…

Altera不同系列的型号命名规则

Altera芯片型号:10AX07H4F34I3SG 20nm工艺 资源: 大数据 云计算 人工智能 图像处理 MSEL

C#+uni-app医院HIS预约挂号系统源码 看病挂号快人一步

​​​​​​​ 提到去大型医院机构就诊时,许多人都感到恐惧。有些人一旦走进医院的门诊大厅,就感到迷茫,既无法理解导医台医生的建议,也找不到应该去哪个科室进行检查。实际上,就医也是一门学问,如何优化…

物联网系统运维——数据库部署,Linux环境下MySQL安装,使用phpMyAdmin管理MySQL,实验CentOS 7安装MySQL

一.MySQL 1.概要 MySQL是一种关联数据库管理系统,关联数据:而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性库将数据保存在不同的表中。性能高、成本低、可靠性好,已经成为最流行的开源数据库。 二.MySQL安装与配置 1. …

IPFoxy Tips:匿名海外代理IP的使用方法及注意事项

在互联网上,隐私和安全问题一直备受关注。为了保护个人隐私和数据安全,使用匿名代理IP是一种常用的方法。匿名代理IP可以隐藏用户的真实IP地址,使用户在访问网站时更加隐秘和安全。 本文将介绍匿名代理IP的基本原理和核心功能。 基本原则 匿…

算法与数据结构——时间复杂度详解与示例(C#,C++)

文章目录 1. 算法与数据结构概述2. 时间复杂度基本概念3. 时间复杂度分析方法4. 不同数据结构的时间复杂度示例5. 如何通过算法优化来提高时间复杂度6. C#中的时间复杂度示例7. 总结 算法与数据结构是计算机科学的核心,它们共同决定了程序的性能和效率。在实际开发中…

Redis-集群-环境搭建

文章目录 1、清空主从复制和哨兵模式留下的一些文件1.1、删除以rdb后缀名的文件1.2、删除主从复制的配置文件1.3、删除哨兵模式的配置文件 2、appendonly修改回no3、开启daemonize yes4、protect-mode no5、注释掉bind6、制作六个实例的配置文件6.1、制作配置文件redis6379.con…

数据结构——带头双向循环链表(c语言实现)

目录 1.单链表和双向链表对比 2.双向链表实现 2.1 创建新节点 2.2 链表初始化 2.3 尾插 2.4 头插 2.5 尾删 2.6 头删 2.7 查找 2.8 指定位置后插入数据 2.9 删除指定节点 2.10 销毁链表 2.11 打印链表 前言: 我们在前几期详细地讲解了不带头单…

数据分析python基础实战分析

数据分析python基础实战分析 安装python,建议安装Anaconda 【Anaconda下载链接】https://repo.anaconda.com/archive/ 记得勾选上这个框框 安装完后,然后把这两个框框给取消掉再点完成 在电脑搜索框输入"Jupyter",牛马启动&am…

网易严选礼品卡有什么用?

网易严选的礼品卡可以在网易商城里买东西 但是现在好多人买东西基本上都用的是淘宝京东之类的 很少会有人用网易吧 但是最近我朋友送了我几张网易的卡,我自己也用积分兑换一张,一直不知道怎么用 最后还是在收卡云上转让出去了,价格高不说…

2024年JCR分区,将发生重大变化

科睿唯安官方微信发布消息,指出今年的期刊排名及相应JCR分区将发生重大变化。 原文比较长,不熟悉相关规则的朋友也不太容易读懂。因此,我们今天做一个详细的解读。 首先明确几个基本概念: (1)2024年发布2…

File类和IO流

File类和IO流 文章目录 File类和IO流[TOC](文章目录)前言一、java.io.File类&IO流原理及流的分类1.1 File类及其API1.2 IO流原理及分类 二、节点流的介绍(字符/字节)2.1 Reader\Writer--字符IO抽象基类2.2 FileReader\FileWriter--字符IO节点流2.3 I…

Android 多媒体开发——Media3与MediaSession最全使用指南

一、Media3库简介 1.1 Media3是什么? 官方释义: Jetpack Media3 is the new home for media libraries that enables Android apps to display rich audio and visual experiences. Media3 offers a simple architecture with powerful customization,…

Git 和 TortoiseGit 安装和配置(图文详解)

使用git,需要在Windows上需要安装两个软件:1)Git 2)TortoiseGit 若需要,可以下载TortoiseGit汉化语言包。 注意:tortoiseGit是在安装了Git的基础上运行的,所以需要先安装Git,后安装…

Mysql索引的实现原理,B+Tree,WAL

InnoDB 引擎,每一个数据表有两个文件 .frm和.ibd,分别为表结构,数据和索引,数据挂在主索引的叶子节点上,此主索引称为聚簇索引。 MyISAM 引擎,每一个数据表有三个文件.frm和.MYI和.MYD,分别为表…

深入理解计算机系统 CSAPP 家庭作业7.13

用一下496页提到的工具咯 A: whereis libm.a file lidm.a gedit libm.a libm.a是个ASCII text文件打开一看原来 libm-2.27.a 和libmvec.a才是我们要看的 所以我们cd到目标地址后 ar -t libm-2.27.a ar -t libmvec.a B: gcc -Og bar5.c foo5.c 用之前的两个文件链接后生成…

【CS.DS】数据结构 —— 图:深入了解三种表示方法之邻接表(Adjacency List)

文章目录 1 概念2 无向图的邻接表2.1 示例2.2 Mermaid 图示例2.3 C实现2.3.1 简单实现2.3.2 优化封装 2.4 总结 3 有向图的邻接表3.1 示例3.2 C实现3.3 总结 4 邻接图的遍历5 拓展补充References 数据结构 1 概念 优点:空间效率高,适合稀疏图。动态性强…

springboot 整合redis

文章目录 一、Jedis二、Lettuce三、RedisTemplate(重点)单机3.1 springboot 整合swagger3.2 序列化中文问题集群3.3 applications配置3.4 问题 一、Jedis package com.example.redis;import redis.clients.jedis.Jedis;import javax.print.DocFlavor; import java.util.*;/***…