11. 双目视觉之立体视觉基础

目录

  • 1. 深度恢复
    • 1.1 单目相机缺少深度信息
    • 1.2 如何恢复场景深度?
    • 1.3 深度恢复的思路
  • 2. 对极几何约束
    • 2.1 直观感受
    • 2.2 数学上的描述

1. 深度恢复

1.1 单目相机缺少深度信息

之前学习过相机模型,最经典的就是小孔成像模型。我们知道相机通过小孔成像模型对世界点的观测是缺少深度信息的。我们得到的只是世界点在相机平面上的一个投影。如下图,世界点P只要是在那条红色线上,他在相机上的成像位置就是P‘,所以我们无法知道相机看到的P’对应的世界点的三维位置。
在这里插入图片描述
高博的《视觉SLAM十四讲》中一幅画很形象地说明了这个问题。
在这里插入图片描述
我们人类看到这个照片,也许会想到,这个明显是“近处的人和远处的人”啊。但是从单目视觉的角度来看,它并不能有“近和远”的概念,因为无论那些远处的人是“真人”还是“模型”,他都会给出这么一副图像,从数据的层面来看,他就是给的二维坐标。

1.2 如何恢复场景深度?

那么,我们很容易想到,我们知道了二维坐标,再知道那些场景的深度不就有立体感了吗?
是的,实际操作起来也很简单,再加一个相机,有两个视角看同一个场景,就能通过三角测距来确定场景点的深度。(就像我们的眼睛一样,我们的双眼就是一个完美的立体视觉系统。有人说我一只眼也能分辨出来远近,那是因为我们长久以来积累下来的“经验”让我们有了一些深度的先验信息。)
在这里插入图片描述
我们来假定一种最理想的情况,两个相机焦距相等,成像平面和光轴完美平行,并且其X轴方向也完美对齐,也就是两个相机不存在Y方向的偏移,那么就会如下图:
在这里插入图片描述
成像示意图可以这么画出来:
在这里插入图片描述
我们从上图可以获得一些信息:左右两个相机,他们三个坐标轴都是平行的,且焦距都是f,两者光心的连线定义为基线。两个相机同时观测到世界点P(当然这里没有考虑y,因为两相机在y方向上没有偏移。有偏移的话一样会形成这样的三角关系。)
在这里插入图片描述
根据相似三角形的性质,会有上述公式成立。很容易得出世界点P的深度值Z:
在这里插入图片描述
上面的d=(xl - xr)称为视差,从公式上也能看出,场景点符合近大远小的规则。即,f和b不变,深度z与视差d呈反比。

1.3 深度恢复的思路

通过上面的描述,我们就可以总结出深度恢复的答题思路。

①双目相机标定,标定出相机的焦距f和基线b;
②通过某种方式找到两个相机对同一个场景点观测的匹配关系,这一步一般叫做数据关联,得到视差d;
③根据公式计算深度。

2. 对极几何约束

2.1 直观感受

上面的推导我们也说了是一种理想情况,两个相机三个轴完全平行,上面的两个相机x轴还是重合的。但是我们实际使用双目相机的时候基本不可能做到上述情况。实际一般是下图所示情况:
在这里插入图片描述
做视觉SLAM的朋友肯定对这个对极几何约束非常熟悉。我在这里只把图上符号含义说明一下: O O O为相机光心位置, I I I为相机的成像平面, P P P是世界点, p p p为两相机各自对世界点的观测, l l l为极线, e e e为极点, O 1 O 2 P O_1O_2P O1O2P组成的平面为极平面,极线为极平面与成像平面的交线。

显然,光心和成像平面是固定的,也就是说极点是固定的,基线也是固定的,而世界点们构成的极平面是绕着基线作为轴转动的,这也造成对极线也是以基线为轴在成像平面内移动。
当然,极点不一定都在画面中,比如第一节中提到的理想情况,极点位置就在无穷远处。这种情况叫做极线矫正,后面会详细说。

对极约束说明了这样一个真相:已知左相机的观测点 p 1 p_1 p1,在右相机的成像平面上寻找匹配点,这个匹配点的位置就在极线上。 有了这个约束,我们不必全图范围内去寻找匹配点,而是沿着极线去寻找即可。双目相机观测到的场景中匹配点的关系如下图,途中白线就是极线。
在这里插入图片描述

2.2 数学上的描述

观察对极几何约束的图示,我们重新假设世界点 P P P,在左相机的观测为 P l Pl Pl,在右相机的观测为 P r Pr Pr,则会有如下关系,其中 R R R为两相机的相对旋转, T T T为相对平移。
在这里插入图片描述
我们在等式两侧同时叉乘一个 T T T

在这里插入图片描述
向量和自己叉乘为零,所以有: T T Tx P r = T P_r=T Pr=Tx R P l RP_l RPl
向量叉乘得到以两向量构成平面的法线,所以上式再与 P r P_r Pr点乘得零。
即, P r T ( T P_r^T(T PrT(Tx R P l ) = 0 RP_l)=0 RPl)=0
此时,我们定义 E = T E=T E=Tx R R R,则有, P r T E P l = 0 P_r^TEP_l=0 PrTEPl=0
这就是对极几何约束的数学描述,其中 P l , P r P_l,P_r Pl,Pr为相机成像平面观测的点, E E E为本质矩阵。一般我们会将 P l , P r P_l,P_r Pl,Pr归一化到 z = 1 z=1 z=1的平面上。
当然如果我们使用相机图像像素平面的点来描述对极几何约束,只需在引入一个相机内参,即:在这里插入图片描述
F = K r − T E K l − 1 F=K_r^{-T}EK_l^{-1} F=KrTEKl1,这个 F F F被称为基础矩阵。这个时候的 p l , p r p_l,p_r pl,pr就是像素坐标系上的点了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/247338.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

汽车网络安全dos, someip

汽车Cyber Security入门之DoS 攻防 - 知乎 3、SOME/IP-TP 近年来火热地谈论下一代EE架构和SOA的时候,总离不开SOME/IP这个进程间通讯协议。在许多应用场景中,需要通过UDP传输大型的SOME/IP有效载荷。鉴于在以太网上传输数据包的大小限制,SO…

Linux文件管理(下)

上上篇介绍了Linux文件管理的上部分内容,这次继续将 Linux文件管理的剩余部分说完。内容如下。 一、查看文件内容 1、cat 命令 1.1 输出文件内容 基本语法: cat 文件名称主要功能:正序输出文件的内容。 eg:输出 readme.txt文…

剧本杀小程序的诞生:重塑线下娱乐的数字化未来

随着科技的不断发展,人们对于娱乐方式的需求也在不断升级。近年来,剧本杀作为一种新型的线下社交娱乐方式,以其独特的魅力和深度的人际互动性,受到了广大年轻人的喜爱。然而,传统的剧本杀模式存在一些问题,…

中间件安全

中间件安全 vulhub漏洞复现:https://vulhub.org/操作教程:https://www.freebuf.com/sectool/226207.html 一、Apache Apache(音译为阿帕奇)是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和…

录屏软件哪个好?为您提供最佳选择(最新)

随着科技的进步,录屏软件已成为我们日常生活和工作中不可或缺的工具。无论是为了制作教程、会议记录还是游戏录像,一款优秀的录屏软件都是必不可少的。可是录屏软件哪个好呢?在本文中,我们将介绍两款常用的录屏软件,并…

uniapp 实现路由拦截,权限或者登录控制

背景: 项目需要判断token,即是否登录,登录之后权限 参考uni-app官方: 为了兼容其他端的跳转权限控制,uni-app并没有用vue router路由,而是内部实现一个类似此功能的钩子:拦截器,由…

鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之CheckboxGroup组件

鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之CheckboxGroup组件 一、操作环境 操作系统: Windows 10 专业版、IDE:DevEco Studio 3.1、SDK:HarmonyOS 3.1 二、CheckboxGroup组件 提供多选框组件,通常用于某选项的打开或关…

Apollo Cyber RT:引领实时操作系统在自动驾驶领域的创新

🎬 鸽芷咕:个人主页 🔥 个人专栏:《linux深造日志》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! ⛳️ 推荐 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下…

【服务器】宝塔面板的使用手册

目录 🌷概述 🌼1. 绑定域名 🌼2. 添加端口 🌼3. 安装docker配置docker​​​​​​​ 🌼4. 软件商店 🌼5. 首页 🌷概述 宝塔面板的安装教程:【服务器】安装宝塔面板 &#x1f…

绘制太极图 - 使用 PyQt

大家好!今天我们将一起来探讨一下如何使用PyQt,这是一个强大的Python库,来绘制一个传统的太极图。这个图案代表着古老的阴阳哲学,而我们的代码将以大白话的方式向你揭示它的奥秘。 PyQt:是什么鬼? 首先&a…

Modelarts零代码体验,一键实现工地钢筋盘点,建筑提效新思维

前言 最近家附近的好几块地,同时在进行房产开发建设,早晚都能看到建筑师傅们在忙碌。 某天,夜跑中,发现前方的建筑工地,师傅们忙活的热火朝天,塔吊也在吊运钢筋中。 准备绕路的时候,旁边负责…

解锁创意无限:Adobe Photoshop 2023(PS2023)引领设计革命

Adobe Photoshop 2023 (PS2023),作为图像处理软件的翘楚,以其卓越的性能和无限的可能性,继续引领着数字创意设计的潮流。对于设计师、摄影师、艺术家以及那些对视觉效果有高要求的人们来说,PS2023无疑是他们的必备工具。 在PS202…

web前端项目-实现录音功能【附源码】

录音功能 运行效果&#xff1a;本项目可实现录音软件的录音、存储、播放等功能 HTML源码&#xff1a; &#xff08;1&#xff09;index.html&#xff1a; <!DOCTYPE html> <html><head><meta http-equiv"Content-Type" content"text/h…

算法基础课-数据结构

单链表 题目链接&#xff1a;826. 单链表 - AcWing题库 思路&#xff1a;AcWing 826. 单链表---图解 - AcWing 需要注意的点在于理解ne[idx] head&#xff0c;idx表示当前的点&#xff0c;意思是将当前的点链到头结点的后面&#xff0c;再将头结点链在当前idx的前面。 #inc…

Qt|大小端数据转换

后面打算写Qt关于网络编程的博客&#xff0c;网络编程就绕不开字节流数据传输&#xff0c;字节流数据的传输一般是根据协议来定义对应的报文该如何组包&#xff0c;那这就必然牵扯到了大端字节序和小端字节序的问题了。不清楚的大小端的可以看一下相关资料&#xff1a;大小端模…

看图说话:Git图谱解读

很多新加入公司的同学在使用Git各类客户端管理代码的过程中对于Git图谱解读不太理解&#xff0c;我们常用的Git客户端是SourceTree&#xff0c;配合P4Merge进行冲突解决基本可以满足日常工作大部分需要。不同的Git客户端工具对图谱展示会有些许差异&#xff0c;以下是SourceTre…

[C#]winform部署yolov7+CRNN实现车牌颜色识别车牌号检测识别

【官方框架地址】 https://github.com/WongKinYiu/yolov7.git 【框架介绍】 Yolov7是一种目标检测算法&#xff0c;全称You Only Look Once version 7。它是继Yolov3和Yolov4之后的又一重要成果&#xff0c;是目标检测领域的一个重要里程碑。 Yolov7在算法结构上继承了其前…

【AcWing第140场周赛】AcWing 5461. 判断序列(A题)

文章目录 一、题目1、原题链接2、题目描述 二、解题报告1、思路分析2、时间复杂度3、代码详解 一、题目 1、原题链接 5461. 判断序列 2、题目描述 二、解题报告 1、思路分析 按照题目要求模拟即可。具体过程&#xff1a;设置一个变量来记录是否满足题目要求&#xff0c;检查…

虹科分享丨汽车技术的未来:Netropy如何测试和确保汽车以太网的性能

来源&#xff1a;艾特保IT 虹科分享丨汽车技术的未来&#xff1a;Netropy如何测试和确保汽车以太网的性能 原文链接&#xff1a;https://mp.weixin.qq.com/s/G8wihrzqpJJOx5i0o63fkA 欢迎关注虹科&#xff0c;为您提供最新资讯&#xff01; #汽车以太网 #车载网络 #Netropy …

SpringBoot常见错误

SpringBoot常见错误 1、SpringBoot启动时报错 错误: 找不到或无法加载主类 com.xxx.xxx.Application springboot启动时报错错误&#xff1a;找不到或无法加载主类 com.xxx.xxx.Application。 解决方法就是打开idea的控制台&#xff0c;输入以下三行命令&#xff1a; mvn cl…