ardupilot开发 --- 视觉伺服 篇

风驰电掣云端飘,相机无法对上焦

  • 1.视觉伺服分类
  • 2.视觉伺服中的坐标系
  • 3.成像模型推导
  • 4.IBVS理论推导
  • 5.IBVS面临的挑战
  • 6.visp 实践
  • 参考文献

1.视觉伺服分类

控制量是在图像空间中推导得到还是在欧式空间中推导得到,视觉伺服又可以分类为基于位置(PBVS)和基于图像的(IBVS)视觉伺服。
在这里插入图片描述

2.视觉伺服中的坐标系

  • 概述
    世界坐标系W:用于测量(估计)飞机、机器人的位姿(位置和姿态)。
    飞机机体坐标系B:最终运动控制量应转换到这个坐标系。
    目标机体坐标系O:用于描述目标物体与相机间的位姿,用于描述相机坐标系和目标物体机体坐标系之间的位姿关系。
    相机坐标系C:是推导IBVS最重要的坐标系。
    图像坐标系I:是描述特征点运动状态的坐标系。
    像素坐标系P:最终的图像数据最终以该坐标系的形式存储信息。
  • 表示
    W 即 world,表示世界坐标系,E即 end,表示末端坐标系,类似还有I表示 image,O表示 object,C 表示 Camera等。而各种坐标系齐次变换矩阵T的左上标表示转换后的坐标系,右下标表示转换前的坐标系。如 c T e ^{c}T_e cTe c V e ^{c}V_e cVe表示从末端坐标系E到相机坐标系C的坐标变换矩阵或称为齐次变换矩阵(齐次变换矩阵即旋转变换和位移变换融合到了一个矩阵当中)。
    在这里插入图片描述

3.成像模型推导

  • 相关概念:透视投影模型。

  • 关于透视投影这篇文章讲的很好: 深蓝AI:经典干货|相机模型与张氏标定。参考了这篇文章。

  • 小孔成像模型
    光心位于成像平面的前方,成倒立的像,这样不方便IBVS的推导。
    在这里插入图片描述

  • 透视投影模型
    光心位于成像平面的后方,成正立的实像,更符合实际成像过程,方便IBVS的推导。
    在这里插入图片描述

  • 世界系、相机系、图像系、像素系的轴向、原点位置示意图
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    相机系记作Oc-XcYcZc.
    图像系记作o-xy.
    像素系记作o-uv.
    相机系的原点在光心,Xc轴水平向,Yc轴竖直向,Zc轴水平向
    图像坐标系的原点在Zc轴与成像平面的交点处,x、y轴分别与Xc、Yc轴同向
    像素坐标系的原点在成像平面的左上角,u、v轴分别与图像系的x、y轴同向
    图像系原点在像素系中的坐标为【u0,v0】,也被称为主点坐标。
    相机系原点到成像平面的距离为 f,即焦距

  • 像素系坐标与图像系坐标间的关系
    { u = x d x + u 0 = p x + u 0 v = x d x + u 0 = p x + u 0 (式 1 ) \begin{cases} u=\frac x {dx}+u_0=p_x+u_0 \\ v=\frac x {dx}+u_0=p_x+u_0 \end{cases}(式1) {u=dxx+u0=px+u0v=dxx+u0=px+u0(式1
    其中:
    [u0,v0]是图像系原点在像素系中的坐标;
    px,py是图像系中 xy 轴的单位长度对应的像素个数;
    uv是像素系中的坐标;
    xy是图像系中的坐标。

  • 图像系坐标与相机系坐标间的关系
    { x = f Z X y = f Z Y (式 2 ) \begin{cases} x=\frac f {Z}X \\ y=\frac f {Z}Y \end{cases}(式2) {x=ZfXy=ZfY(式2
    其中:
    f f f 是相机焦距;
    x y xy xy 是图像系中的坐标;
    X Y Z XYZ XYZ 是目标点在相机系中的坐标。

  • 相机内参
    (式1)、(式2) 提到的参数 u 0 , v 0 , p x , p y u_0,v_0,px,p_y u0,v0,px,py 被称为相机的内参,通过相机标定得到。

4.IBVS理论推导

在这里插入图片描述
问题描述:
假设在世界3维空间中有一点P,
在相机系中的坐标记作 [ X , Y , Z ] [X,Y,Z] [X,Y,Z]
在图像系中的坐标记作 [ x , y ] [x,y] [x,y]
在像素系中的坐标记作 [ u , v ] [u,v] [u,v]
记相机的6自由度运动速度矢量(相机坐标系的速度矢量)为:
V c = [ v x , v y , v z , w x , w y , w z ] T (式 3 ) V_c=[v_x,v_y,v_z,w_x,w_y,w_z]^T(式3) Vc=[vx,vy,vz,wx,wy,wz]T(式3

根据物体的旋转运动和直线运动的经典理论公式,可得到点P在相机系中的运动方程为:
[ X ˙ Y ˙ Z ˙ ] = − [ v x v y v z ] − [ w x w y w z ] × [ X Y Z ] (式 4 ) \begin{bmatrix} \dot{X} \\ \dot{Y} \\ \dot{Z} \end{bmatrix} = - \begin{bmatrix} v_x \\ v_y \\ v_z \end{bmatrix} - \begin{bmatrix} w_x \\ w_y \\ w_z \end{bmatrix} \times \begin{bmatrix} {X} \\ {Y} \\ {Z} \end{bmatrix}(式4) X˙Y˙Z˙ = vxvyvz wxwywz × XYZ (式4
注意:因为 V c = [ v x , v y , v z , w x , w y , w z ] T V_c=[v_x,v_y,v_z,w_x,w_y,w_z]^T Vc=[vx,vy,vz,wx,wy,wz]T是相机的速度矢量,正好与点P的速度矢量相反,因此(式4)右边取的是负号!!
将(式2)对时间求导可得:
{ x ˙ = X ˙ / Z − X Z ˙ / Z 2 y ˙ = Y ˙ / Z − Y Z ˙ / Z 2 (式 5 ) \begin{cases} \dot{x}=\dot{X}/Z-X\dot{Z}/Z^2\\ \dot{y}=\dot{Y}/Z-Y\dot{Z}/Z^2\\ \end{cases}(式5) {x˙=X˙/ZXZ˙/Z2y˙=Y˙/ZYZ˙/Z2(式5
将(式2)和(式4)代入(式5)可得:
{ x ˙ = − v x / Z + x v z / Z + x y w x − ( 1 + x 2 ) w y + y w z y ˙ = − v y / Z + y v z / Z − x y w y + ( 1 + y 2 ) w x − x w z (式 6 ) \begin{cases} \dot{x}=-v_x/Z+xv_z/Z+xyw_x-(1+x^2)w_y+yw_z\\ \dot{y}=-v_y/Z+yv_z/Z-xyw_y+(1+y^2)w_x-xw_z\\ \end{cases}(式6) {x˙=vx/Z+xvz/Z+xywx(1+x2)wy+ywzy˙=vy/Z+yvz/Zxywy+(1+y2)wxxwz(式6
写成矩阵形式:
s ˙ = [ x ˙ y ˙ ] = L s V c (式 7 ) \dot{s}= \begin{bmatrix} \dot{x} \\ \dot{y} \end{bmatrix} =L_sV_c(式7) s˙=[x˙y˙]=LsVc(式7
其中 s s s 被称为视觉特征, L s L_s Ls被称为图像雅可比矩阵相互作用矩阵
L s = [ − 1 / Z 0 x / Z x y − ( 1 + x 2 ) y 0 − 1 / Z y / Z 1 + y 2 − x y − x ] (式 8 ) L_s= \begin{bmatrix} -1/Z&0&x/Z&xy&-(1+x^2)&y \\ 0&-1/Z&y/Z&1+y^2&-xy&-x \end{bmatrix} (式8) Ls=[1/Z001/Zx/Zy/Zxy1+y2(1+x2)xyyx](式8
记视觉特征 s s s的期望值为 s d s_d sd,则视觉特征误差为:
s e = s − s d (式 9 ) s_e=s-s_d(式9) se=ssd(式9
因为 s d s_d sd是常量因此有:
s ˙ d = 0 (式 10 ) \.s_d=0(式10) s˙d=0(式10
将(式9)对时间求导,得到误差系统的状态空间方程:
s ˙ e = s ˙ − s ˙ d = L s V c (式 11 ) \.s_e=\.s-\.s_d=L_sV_c(式11) s˙e=s˙s˙d=LsVc(式11
设计一个控制律 V c Vc Vc使得(式11)表示的误差系统的全部状态随着时间呈指数衰减到0,即控制律使得最终的误差系统变成如下形式:
s ˙ e = − λ s e (式 12 ) \.s_e=-\lambda s_e(式12) s˙e=λse(式12
那么可以反推出控制律:
V c = − λ L s + s e (式 13 ) V_c=-\lambda L_s^+ s_e(式13) Vc=λLs+se(式13
其中 L s + L_s^+ Ls+ L s L_s Ls的广义逆矩阵, λ \lambda λ是一个常量。

待续…

5.IBVS面临的挑战

  • 计算 L s + L_s^+ Ls+时会产生奇异值。
  • L s L_s Ls不容易得到, L s L_s Ls的几种计算方式请参考:https://zhuanlan.zhihu.com/p/422634446
  • 待续…

6.visp 实践

  • cJc :相机坐标系的运动控制自由度,可以看作是运动控制自由度雅可比矩阵。
  • L:图像雅可比矩阵,相互作用矩阵
  • J1:task雅可比矩阵
  • signInteractionMatrix:相互作用矩阵的符号,1 for eye-in-hand, -1 for eye-to-hand
  • inversionType:指定求广义逆矩阵还是求转置矩阵
  • Transpose matrix:转置矩阵
  • Inverse matrix:逆矩阵
  • task Jacobian 是什么?J1???
    V c = − λ L ^ s + e V_c = -\lambda {\widehat {\bf L}}^{+}_{s} {\bf e} Vc=λL s+e,得到的控制律 V c V_c Vc是相机系的运动矢量!
    V e = − λ ( L ^ s c V e ∗ e J e ) + e {V_e }= -\lambda \left( {{\widehat {\bf L}}_{s} {^c}{\bf V}_e* {^e}{\bf J}_e} \right)^{+} {\bf e} Ve=λ(L scVeeJe)+e,得到的控制律 V e V_e Ve是终端系的运动矢量!
    其中 L ^ s \widehat {L}_s L s L s L_s Ls的估计值!
    why ??
    推导如下:
    s ˙ = L s V c \dot{s}=L_sV_c s˙=LsVc
    记终端系的速度矢量为 V e V_e Ve,终端系到相机系的坐标变换矩阵为 c V e ^cV_e cVe,允许控制的速度矢量自由度记为 e J e ^eJe eJe,则:
    s ˙ = L s V c = L s c V e e J e V e \dot{s}=L_sV_c=L_s^cV_e{^eJe}V_e s˙=LsVc=LscVeeJeVe
    那么控制率就变成了:
    V e = − λ ( L s c V e e J e ) − 1 V_e=-\lambda (L_s{^cV_e}^eJe)^{-1} Ve=λ(LscVeeJe)1
    对于无人机视觉伺服, c V e ^cV_e cVe即飞机机体坐标系FRD到相机系RDF的齐次变换矩阵(坐标变换)!!!!

参考文献

https://zhuanlan.zhihu.com/p/422634446
https://zhuanlan.zhihu.com/p/389903710
深蓝AI:经典干货|相机模型与张氏标定
硕士论文:基于无标定视觉伺服的定位研究-王博

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/361275.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我的3次软考高项通关之旅

1、缘起 初次听说软考是在2022年下半年了,软考的高级分为很多种,我起先想报考高级架构师,但是架构师一年才考一次,如果一次考不过得再准备一年,时间对我来说太长了,于是我决定报考一年考两次的高项。对于国…

python实现可视化大屏(django+pyechars)

1.实现效果图 2.对数据库进行迁移 python manage.py makemigrations python manage.py migrate 3.登录页面 {% load static%} <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport"…

计算机图形学入门20:加速光线追踪

1.前言 前文说了Whitted-style光线追踪技术的原理以及光线与平面的交点计算方式&#xff0c;对于现在应用最广的Polygon Mesh显式曲面来说&#xff0c;一个复杂场景中的多边形面总数可能达到千万甚至亿万以上&#xff0c;如果每个像素发射光线都和场景中每个平面进行求交点计算…

关于WebSocket

WebSocket 与传统的 HTTP 协议对比 在实时通信领域&#xff0c;传统的 HTTP 协议存在以下一些问题&#xff1a; 频繁的请求和响应&#xff1a;每次通信都需要建立和关闭连接&#xff0c;带来额外的开销。高延迟&#xff1a;每次通信都需要经过多个网络层的传输&#xff0c;延…

Android焦点机制结合WMS

文章前提&#xff1a; 了解WMS基本作用了解window的概念&#xff0c;phoneWindow&#xff0c;rootViewImpl了解view的事件分发 开始&#xff1a; 讲三件事情&#xff1a; window的创建&#xff0c;更新焦点的更新事件的分发 Window的创建&#xff0c;更新&#xff1a; wi…

完整代码Python爬取豆瓣电影详情数据

完整代码Python爬取豆瓣电影详情数据 引言 在数据科学和网络爬虫的世界里&#xff0c;豆瓣电影是一个丰富的数据源。在本文中&#xff0c;我们将探讨如何使用Python语言&#xff0c;结合requests和pyquery库来爬取豆瓣电影的详情页面数据。我们将通过一个具体的电影详情页面作…

农村经济与科技杂志社农村经济与科技编辑部2024年第8期目录

视点 数字经济驱动农业产业链升级路径研究——以河南省为例 王媛媛; 1-4 城乡融合视角下农村集体产权制度改革研究 齐建丽; 4-7 农业生态系统结构美建设内涵及实现路径 张鹏程; 8-13《农村经济与科技》投稿&#xff1a;cnqikantg126.com 农户宅基地退出政策加权…

【C++】——二叉搜索树(详解)

一 二叉搜索树概念 二叉搜索树又称二叉排序树&#xff0c;它或者是一棵空树&#xff0c;或者是具有以下性质的二叉树: ✨若它的左子树不为空&#xff0c;则左子树上所有节点的值都小于根节点的值 ✨若它的右子树不为空&#xff0c;则右子树上所有节点的值都大于根节点的值 …

在数字化转型中,数字孪生技术的作用和价值几何?

引言&#xff1a;随着全球化和市场竞争的加剧&#xff0c;企业需要通过数字化转型来提高生产效率、优化产品质量、降低成本&#xff0c;以增强自身竞争力。企业需要通过数字化转型更好地理解客户需求&#xff0c;提供个性化、定制化的产品和服务&#xff0c;从而满足客户的多样…

Axios-入门

介绍 Axios对原生Ajax进行了封装&#xff0c;简化书写&#xff0c;快速开发 官网&#xff1a;Axios中文文档 | Axios中文网 (axios-http.cn) 入门 1引入Axios的js文件 <script src"js/axios.js"></script> 2使用Axios发送请求&#xff0c;并获取响应…

链式队列算法库构建

学习贺利坚老师课程,构建链式队列算法库 数据结构之自建算法库——链队&#xff08;链式队列&#xff09;_数据结构函数链队列的算法框架有哪些-CSDN博客文章浏览阅读6.2k次&#xff0c;点赞3次&#xff0c;收藏9次。本文针对数据结构基础系列网络课程(3)&#xff1a;栈和队列…

在win7系统电脑安装node16的版本(已成功安装运行)

很多银行的项目行方都要求内网开发&#xff0c;但是我遇到的几个银行基本都是win7系统的电脑&#xff0c;而前端的项目又是需要高版本的node才能跑起来&#xff0c;所有就记录此解决方案文章&#xff01; 这是下载node安装包的地址&#xff1a;Index of /dist/ 在这里先下载自…

树形结构的勾选、取消勾选、删除、清空已选、回显、禁用

树形结构的勾选、取消勾选、删除、清空已选、回显、禁用 基本页面&#xff1a; 分为上传文件和编辑的页面 代码实现要点&#xff1a; 上传文件页面&#xff1a; 点开选择范围弹窗&#xff0c;三个radio单选框都为可选状态&#xff0c;默认显示的是第一个单选框&#xff08;按…

晶方科技:台积电吃饱,封装迎春?

半导体产业链掀起涨价潮&#xff0c;先进封装迎接利好。 这里我们来聊国内先进封装企业——晶方科技。 近期&#xff0c;由于产能供不应求&#xff0c;台积电决定上调先进封装产品价格&#xff0c;还表示订单已经排到2026年。 大哥吃不下了&#xff0c;剩下的订单全都是空间。…

Shell编程规范与变量-01

一、Shell脚本概述 在一些复杂的 Linux 维护工作中&#xff0c;大量重复性的输入和交互操作不仅费时费力&#xff0c;而且容易出错&#xff0c;而编写一个恰到好处的 Shell 脚本程序&#xff0c;可以批量处理、自动化地完成一系列维护任务&#xff0c;大大减轻管理员的负担。 1…

在Ubuntu上安装Python3

安装 python3 pip sudo apt -y install python3 python3-pip升级 pip python3 -m pip install --upgrade pip验证查看版本 python3 --version

web渗透-SSRF漏洞及discuz论坛网站测试

一、简介 ssrf(server-side request forgery:服务器端请求伪造&#xff09;是一种由攻击者构造形成由服务端发起请求的一个安全漏洞。一般情况下&#xff0c;ssrf是要目标网站的内部系统。(因为他是从内部系统访问的&#xff0c;所有可以通过它攻击外网无法访问的内部系统&…

excel字符串列的文本合并

excel表有两列&#xff0c;第一列是“姓名”&#xff0c;第二列是“诊断”&#xff0c;有高血压、糖尿病等。我想出一个统计表&#xff0c;统计“姓名”&#xff0c;把某一个姓名的诊断不重复的用、拼接起来&#xff0c;比如“张三”的诊断为“点高血压”、糖尿病。我们可以用T…

适用于轨道交通专用的板卡式网管型工业以太网交换机

是网管型 CompactPCI板卡式冗余环网交换机。前面板带有6个 10/100/1000Base-T(X)M12接口。后面的CPCI接口有 8个10/100/1000Base-T (X) 以太网接口。 是特别为轨道交通行业EN50155标准要求而设计的坚固型交换机。它同时具有以下特性&#xff1a; ● 支持2线以太网距离扩展端口&…

springcloud第4季 springcloud-alibaba之nacos+openfegin+gateway+sentinel熔断限流【经典案例】

一 说明 1.1 架构说明 本案例实现原理&#xff1a; 采用alibaba的nacos&#xff0c;openfegin&#xff0c;sentinel&#xff0c;gateway等组件实现熔断限流。 主要理解sentinel的ResouceSentinel和fallback的区别联系。 ResourceSentinel 主要是页面配置熔断限流规则&#…