小米汽车的占用网络是什么

大家好啊,我是董董灿。

昨天小米汽车开了发布会,一下子喜提十几个热搜。

图片

就在人们纷纷猜测,小米汽车的定价会不会延续小米极致性价比风格时。

雷总的一句"电池成本都不下于十几万",瞬间把人们对于小米汽车定价的幻想拉高到了 30-40 万的数量级。

如此看来,小米 SU7 汽车,妥妥的中高端车型。

这篇文章,我们不去揣测小米汽车的价格,而是想简单聊一下,在发布会中雷总提到的 "transformer + BEV + 占用网络"的智驾算法。

1、什么是 BEV

相信不少小伙伴对 transformer 已经很熟悉了,现在很多大模型。比如chatGPT 都是基于 transformer 架构来设计的。

它的主要原理就是注意力机制。注意力机制可以很好的完成输入之间的特征关联和特征融合等操作,比如一句话中多个单词的关联,一张图片多个局部的关联等等。

图片

除了 transformer 之外,雷总还提到了 BEV, 那什么是 BEV 呢?

BEV 的全称是 Bird’s Eye View,也就是鸟瞰图的意思。

目前很多智能汽车都会在中控屏上生成鸟瞰图,方便司机观察汽车周边的情况,也方便汽车对周围环境作出判断。

图片

Photo by AI

对于汽车而言,这种鸟瞰图的生成过程大概是这样的。

汽车上会布置多个高清摄像头,用来采集汽车周边多个方位和角度的图像,然后采集到的图像会送给神经网络进行处理,比如进行多个图像的特征提取和融合。

假设汽车上布置了 6 个摄像头,那么这 6 路摄像头采集的图像会同时送给神经网络来提取特征,然后在特征空间中进行计算和特征融合。

有些时候还会辅助加入一些雷达采集的数据,最终将融合之后的数据生成一张鸟瞰图。

鸟瞰图可以比较直观的反映汽车周边的环境,像是给汽车开了一个上帝视角一样。

图片

但是这种鸟瞰图是一种类似于二维的图片,而汽车本身却是一个三维的物体。

三维物体在二维平面上运动,始终会少一维的数据信息,比如汽车周边物体的高度信息。

这样就会导致很多的问题,比如说幽灵刹车。

有时候在鸟瞰图上可能什么也看不到,但是汽车会莫名其妙感知到前方有一个物体的存在而突然刹车。

出现这种现象有可能就是因为鸟瞰图丢失了数据信息而导致的,当然这不绝对。

2、占用网络

为了解决二维图像的问题,特斯拉在 2022 年的时候,发布一种全新的网络算法,叫做 Occupancy Networks,也就是占用网络。

图片

并且特斯拉利用该算法改进了自己的 AI 模型 HydraNets,下图是在网上找到的特斯拉 HydraNets 的模型大体框架。

图片

简单说明一下。

最上面的一张张图片可以看作汽车上的摄像头采集到的图片,图片经过以 Resnet 为 BackBone 的特征提取器(Extractor)之后,再经过基于 transformer 结构的多传感器特征融合层(Multicam Fusion),随后再经过视频处理模块,便可以完成一些复杂的任务,比如物体的检测、物体的3D重建等。

细节就不展开了,回到占用网络上来,说白了,占用网络可以将汽车对于周边环境的感知能力,由鸟瞰图的 2D 感知升级为 3D 感知

小米汽车的占用网络,大抵也是如此。

这样的话将汽车放置在一个三维的环境中,它便能够感知到更多周边环境信息。

3、其他

去年7月的时候,我曾经写过一篇关于自动驾驶的文章:自动驾驶的"第三眼美女"什么时候才能出现?

当时对自动驾驶汽车未来的发展,给出来几个小结论,当然这也是很多人都知道的:

芯片和算法,是实现自动驾驶的大脑。

高精地图和传感器,是自动驾驶的五官。 

操作系统是自动驾驶的肌肉。 

整车机械底盘线控是自动驾驶的神经骨骼。

董董灿,公众号:董董灿是个攻城狮自动驾驶的"第三眼美女"什么时候才能出现?

结合小米汽车的发布会,几乎很好的印证了这几点:

在芯片方面,小米汽车采用了英伟达的 Orin X 芯片,算力达到了 500+Tops。

算法方面采用了本文提到的“Transfomer + BEV + 占用网络”。

高精地图方面,小米开发了小米道路大模型,可以实时生成道路拓扑,效果媲美高精地图。

图片

传感器方面小米汽车用到了激光雷达、11 颗高清摄像头和 3 颗毫米波雷达,所以汽车智驾的解决方案也是基于雷达+视觉来实现的。

操作系统方面采用了小米自己的澎湃 OS,他们还还自研了底盘控制算法等等。

总的来说,此次发布会算是小米造车交出的第一份答卷,至于汽车是否真的如发布会所说那样,还要经过时间的检验。

注: 本文非小米汽车广告,以上文字仅代表个人观点,欢迎留言讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/232857.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习模型可解释性的结果分析

模型的可解释性是机器学习领域的一个重要分支,随着 AI 应用范围的不断扩大,人们越来越不满足于模型的黑盒特性,与此同时,金融、自动驾驶等领域的法律法规也对模型的可解释性提出了更高的要求,在可解释 AI 一文中我们已…

UE相关杂项笔记

1.PAK包解析 UE4如何反向查找Pak里面包含哪些文件 - 哔哩哔哩 CMD控制台命令输入 D:"Epic Games"\UE_5.1\Engine\Binaries\Win64\UnrealPak.exe 包路径 -list *文件夹带空格时 添加“ ”包裹住文件夹名 解包工具路径 UE引擎安装路径\UE_5.1\Engine\Binarie…

mysql之视图mysql连接案例索引

文章目录 一、视图1.1 含义1.2 操作1.2.1 创建视图1.2.2 视图的修改1.2.3 删除视图1.2.4 查看视图 二、连接案例01)查询" 01 "课程比" 02 "课程成绩高的学生的信息及课程分数02)查询同时存在" 01 "课程和" 02 "课程的情况03&#xff0…

在IDEA中使用git分支进行开发然后合并到Master分支,2022.1.x版本

在实际开发过程中,为了避免因为在开发中出现的问题以及方便发布版本,如果是多版本发布的情况相下,我们通常需要采用分支进行开发,这个时候,我们就需要了解git分支的相关知识点了,本篇博客也是博主在实际公司…

Python基础知识总结3-面向对象进阶知识

面向对象三大特征介绍 继承子类扩展父类语法格式关于构造函数:类成员的继承和重写查看类的继承层次结构 object根类dir() 查看对象属性重写 __str__() 方法 多重继承MRO方法解析顺序super()获得父类定义多态特殊方法和运算符重载特殊属性 对象的浅拷贝和深拷贝组合_…

专为Mac用户设计的思维导图软件MindNode 2023 for Mac助您激发创意!

在现代快节奏的生活中,我们经常需要整理思绪、规划项目、记录灵感。而思维导图作为一种高效的思维工具,能够帮助我们更好地整理和展现思维。现在,我们介绍一款强大而直观的思维导图软件——MindNode 2023 for Mac,助您拓展思维边界…

SpingBoot的项目实战--模拟电商【5.沙箱支付】

🥳🥳Welcome Huihuis Code World ! !🥳🥳 接下来看看由辉辉所写的关于SpringBoot电商项目的相关操作吧 目录 🥳🥳Welcome Huihuis Code World ! !🥳🥳 一. 沙箱支付是什么 二.Sp…

ONLY在线商城系统设计与实现

🍅点赞收藏关注 → 私信领取本源代码、数据库🍅 本人在Java毕业设计领域有多年的经验,陆续会更新更多优质的Java实战项目希望你能有所收获,少走一些弯路。🍅关注我不迷路🍅一 、设计说明 1.1 研究背景 当…

普中STM32-PZ6806L开发板(HAL库函数实现-访问多个温度传感器DS18B20)

简介 我们知道多个DS18B20的DQ线是可以被挂在一起的, 也就是一根线上可以访问不同的DS18B20而不会造成数据错乱, 怎么做到的,其实数据手册都有说到, 就是靠64-bit ROM code 进行识别, 也可以理解成Serial Number进行识别, 因为主要差异还是在Serial Numb…

实战Flink Java api消费kafka实时数据落盘HDFS

文章目录 1 需求分析2 实验过程2.1 启动服务程序2.2 启动kafka生产 3 Java API 开发3.1 依赖3.2 代码部分 4 实验验证STEP1STEP2STEP3 5 时间窗口 1 需求分析 在Java api中,使用flink本地模式,消费kafka主题,并直接将数据存入hdfs中。 flin…

【C++】类和对象详解(类的使用,this指针)

文章目录 前言面向过程和面向对象的初步认识类的引入类的定义类的访问限定符和封装性访问限定符封装性 类的作用域类的实例化类对象模型如何计算类对象的大小类对象的存储方式猜测结构体内存对齐规则 this指针this指针的引出this指针的特性 总结 前言 提示:这里可以…

linux反汇编工具: ida pro、rizinorg/cutter; ubuntu 22 flameshot延迟截图 以应对下拉菜单

rizinorg/cutter rizinorg/cutter 是 命令行反汇编工具 rizinorg/rizin 的图形化界面, 这比 ida pro跑在kvm虚拟机中方便多了, ubuntu22.04下直接下载Cutter-v2.3.2-Linux-x86_64.AppImage后即可运行,如下图: 注意 有个同名的报废品: radare2/Cutter 即 radare2的图形化界…

基于日照时数计算逐日太阳辐射

基于日照时数计算逐日太阳辐射

彻底认识Unity ui设计中Space - Overlay、Screen Space - Camera和World Space三种模式

文章目录 简述Screen Space - Overlay优点缺点 Screen Space - Camera优点缺点 World Space优点缺点 简述 用Unity中开发了很久,但是对unity UI管理中Canvas组件的Render Mode有三种主要类型:Screen Space - Overlay、Screen Space - Camera和World Spa…

【elfboard linux开发板】7.i2C工具应用与aht20温湿度寄存器读取

1. I2C工具查看aht20的温湿度寄存器值 1.1 原理图 传感器通过IIC方式进行通信,连接的为IIC1总线,且设备地址为0x38,实际上通过后续iic工具查询,这个设备是挂载在iic-0上 1.2 I2C工具 通过i2c工具可以实现查询i2c总线、以及上面…

普中STM32-PZ6806L 使用FlyMcu串口烧录程序

简介 我的串口下载电路坏掉了, 所以研究了下如何通过USB转TTL进行程序的下载, 为后续Bootloader部分做准备;连接 我的板几乎是十年前买的, 所以电路与现有网上的资料有些差异, 所以仅供参考 USB 转 TTL线 与开发板 连接, 如图图中 ①, 需要去掉第一个…

计算机组成原理 指令流水线

文章目录 指令流水线指令流水线的概念流水线性能分析流水线的吞吐率流水线的加速比流水线的效率 影响流水线的因素结构相关 (资源冲突)数据相关 (数据冲突)控制相关 (控制冲突) 流水线分类超量流水线 指令流水线 #mermaid-svg-VKNFSIxU0RiY8pAm {font-family:"trebuchet m…

XAgent调研

文章目录 1 简介2 快速测试 Quick Start3 结构分析 1 简介 XAgent(链接)是一个开源的,基于大语言模型的agent构建框架;其目标是构建出能够辅助人类处理各类任务的自动助手 定位:一个全能的,自动的辅助agen…

LeetCode-移动零(283)

题目描述: 给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序。 请注意 ,必须在不复制数组的情况下原地对数组进行操作。 思路: 这里的思路跟以前做过的去重复数字的思路有点像&…

Java学习——设计模式——结构型模式2

文章目录 结构型模式装饰者模式桥接模式外观模式组合模式享元模式 结构型模式 结构型模式主要涉及如何组合各种对象以便获得更好、更灵活的结构。虽然面向对象的继承机制提供了最基本的子类扩展父类的功能,但结构型模式不仅仅简单地使用继承,而更多地通过…