【论文阅读】通用的语义-几何表征的机器人操作

文章目录

  • 1. 【2023CoRL】A Universal Semantic-Geometric Representation for Robotic Manipulation
    • 针对痛点和贡献
    • 引言
    • 模型框架
    • 思考不足之处
  • 2. Leveraging Locality to Boost Sample Efficiency in Robotic Manipulation
    • 摘要和结论
    • 引言
    • 模型框架
    • 实验
    • 思考不足之处

1. 【2023CoRL】A Universal Semantic-Geometric Representation for Robotic Manipulation

针对痛点和贡献

痛点:

  • 尽管RGB相机记录了富含语义信息的2D图像,但缺少精确的空间信息;而深度相机提供了关键的3D几何数据,但语义理解有限。因此,整合这两种模态对于学习机器人感知和控制的表征至关重要。

贡献:

  • 作者提出了一种名为Semantic-Geometric Representation (SGR) 的通用感知模块,利用大规模预训练的2D模型的丰富语义信息,并继承了3D空间推理的优势。

引言

使用RGB相机捕获高分辨率的2D图像来推理复杂的空间关系是困难的。
另一方面,深度相机提供了3D几何信息,这对于精确的细粒度操控至关重要。尽管如此,它们在语义理解方面有限。

在利用预训练的大型视觉模型来学习视觉表征的越来越多的研究中,这些模型通过预训练获得了对世界的一般性知识。** 我们的世界本质上是三维的。面对现实世界环境的复杂性,只有2D先验知识的机器人可能会面临诸如部分遮挡和几何形状理解的挑战。** 因此,开发能够有效处理3D视觉数据的模型对于使机器人进行有效的空间推理至关重要。

一个自然而直观的解决方案是开发预训练的3D视觉模型。然而,尽管在视觉界有一些尝试[18, 19, 20, 21],但由于两个主要原因,当前的模型还没有足够的迁移性到机器人操控任务。(i)昂贵的数据获取和劳动密集型的注释过程导致缺乏大规模的3D数据集[22, 23]。(ii)具有稀疏结构模式的3D点云与多彩的2D图像相比,没有提供多样化的语义,从而限制了3D预训练的泛化能力[24]。

为了解决单独使用2D或3D视觉模型所带来的挑战,我们提出了语义几何表征(Semantic-Geometric Representation, SGR),这是一种混合感知模块。

我们首先使用一个大型视觉基础模型,在大量的互联网数据上预训练,以从2D图像中编码语义特征图。其次,这些内容丰富的2D特征向量被重新投影到3D空间,并与使用基于点的网络从点云中提取的点云特征相结合。这些融合的特征被送入多个集合抽象(Set Abstraction, SA)块,这些块共同模拟2D语义和3D几何信息之间的跨模态交互。最后,基于SA块的输出表征,我们预测要执行的机器人动作。

模型框架

在这里插入图片描述

  • 我们首先使用一个冻结的预训练2D模型G(例如,CLIP的视觉编码器)从多视图图像中提取特征{G(Ii)}K i=1。如果任务提供了语言指令S,我们使用预训练的语言模型H(例如,CLIP的语言编码器)获得语言编码H(S)。 视觉锚定模块 接下来,我们通过双线性插值将视觉特征图{G(Ii)}K i=1(或对齐的特征图{Mi}K i=1)上采样到与输入图像相同的尺寸,并使用1×1卷积将通道降采样,得到一组特征{Fi}K i=1,其中Fi ∈ RH×W ×C1,H, W代表图像尺寸。这些编码的2D特征包含了丰富的高级语义,被重新投影回3D空间,为点云生成逐点的语义特征。

  • 使用多视图深度图像和已知的相机参数(即相机内参和外参)生成原始点云。随后,我们使用基于点的网络(例如,分层的PointNeXt)处理点云P′。这一处理步骤产生了下采样的点几何特征。表示为G ∈ RM×C2,其中M < N。虽然这些几何特征有效地捕获了局部3D结构和空间特征,但它们缺乏对语义信息的理解。

  • 为了整合这两个互补的分支,我们首先使用与几何分支相同的点子采样过程处理逐点语义特征F3D。接下来,我们通过通道级联的方式将语义特征和几何特征融合在一起,表示为F 3D fuse = Concat(F 3D sub, G) ∈ RM×(C1+C2)。最后,融合的特征经过几个集合抽象块[30],这使得2D语义和3D几何信息之间的跨模态交互得以共同建模。所得到的全局特征代表了我们的语义几何表征,它被用于动作预测。

  • 平移是回归,其余均为分类。(与Q function一样)
    在这里插入图片描述

思考不足之处

  • 多模态 Transformer,能够以更优雅的方式对各种模态进行编码和融合。
  • 线性插值来生成每个点的rgb特征效果可能没那么好。
  • 仅使用encoder来编码点云,丢掉了很多细节。

    文章目录

    • 1. 【2023CoRL】A Universal Semantic-Geometric Representation for Robotic Manipulation
      • 针对痛点和贡献
      • 引言
      • 模型框架
      • 思考不足之处
    • 2. Leveraging Locality to Boost Sample Efficiency in Robotic Manipulation
      • 摘要和结论
      • 引言
      • 模型框架
      • 实验
      • 思考不足之处

2. Leveraging Locality to Boost Sample Efficiency in Robotic Manipulation

摘要和结论

旨在通过改进视觉和动作表示来提高样本效率。SGRv2的核心设计是引入了一个关键的归纳偏差——动作局部性(action locality),它认为机器人的动作主要受目标物体及其与局部环境的交互影响。

引言

在机器学习中,引入归纳偏差是提高样本效率的一种标准策略。例如,卷积神经网络(CNNs)[4, 5]在每一层中都嵌入了空间层次结构和平移等变性,而循环神经网络(RNNs)[6]和长短期记忆网络(LSTMs)[7]在其架构中加入了时间依赖性。

在机器人操控领域,一个关键的归纳偏差是动作局部性,它认为机器人的动作主要由目标物体及其与周围局部环境的关系决定。然而,以前关于机器人操控表示学习的研究并没有有效地利用这种偏差。通常,这些研究[8, 9, 10, 11]旨在开发一种全局表示,涵盖整个场景,然后直接用于预测机器人动作。这些方法表现出了显著的低样本效率。

模型框架

在这里插入图片描述

  • Encoder-Decoder Architecture. 请注意,如 PointNeXt [15] 中设计的,输出特征仅依赖于相对坐标,确保逐点特征 fi 对输入坐标的平移变换保持不变。这个逐点特征作为我们位置感知动作建模的基石。
  • Relative Position Predictions 使用逐点特征,我们可以预测每个点的动作。我们的关键见解是,末端执行器通常在每个执行阶段向靠近特定对象的目标移动。因此,预测目标相对于每个点的位移是很自然的。对于关键帧,我们通过pi+∆p(fi)表示关键帧动作apos的位置分量,其中pi和fi分别是第i个点的坐标和逐点特征,∆p是多层感知器(MLP)
  • Weighted Average Actions. 在获得逐点动作预测后,我们需要将这些预测整合到一个聚合的动作预测中。我们采用了一个简单但有效的策略,即加权平均。对于每个组成部分,包括位置(在密集控制中被分解为方向和大小)、旋转、夹爪开启状态和碰撞指示器,我们为每个点使用一个学习到的权重w*(fi)。这里,w*表示每个组成部分的单独MLP(应用softmax进行归一化)。这种设计背后的动机是,点云内只有少数区域对于完成任务至关重要。例如,在拾取立方体的任务中,位于立方体上的点比周围桌子上的点更具信息量。通过学习这些权重,我们使聚合预测集中于最具预测性的局部区域,从而提高整体准确性和样本效率。

实验

在这里插入图片描述

在这里插入图片描述

思考不足之处

  • 一步一步的预测必定会导致累计误差
  • 相比于现在大火的diffusion policy,损失了动作的多模态性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/405710.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ES6-ES13学习笔记

目录 初识ES6 变量声明 解构赋值 对象解构 ​编辑 数组解构 ​编辑模版字符串 字符串扩展 includes() repeat() startsWith() endsWith() 数值扩展 二进制和八进制表示法 &#xff08;Number.&#xff09;isFinite()与isNaN() Number.isInteger() Math.trunc …

Leetcode JAVA刷刷站(69)x的平方根

一、题目概述 二、思路方向 在Java中&#xff0c;计算一个非负整数x的算术平方根&#xff0c;并返回其整数部分&#xff0c;你可以使用二分查找法。这是因为平方根函数是单调递增的&#xff0c;所以我们可以利用二分查找在合理的时间复杂度内找到结果。 三、代码实现 public…

Matplotlib入门与进阶:数据可视化的强大工具

Matplotlib入门与进阶&#xff1a;数据可视化的强大工具 在当今数据驱动的世界中&#xff0c;数据可视化成为了数据分析的重要一环。数据可视化不仅能够帮助开发者理解和分析数据&#xff0c;还能使数据展示更具说服力。本文将详细介绍Python中的2D绘图库——Matplotlib。通过…

Python自准直仪双筒望远镜光学ABCD矩阵行为算法

&#x1f3af;要点 &#x1f3af;平面&#xff1b;曲面&#xff1b;圆柱面&#xff1b;非球面光&#xff0c;双凸透镜&#xff1b;90 度棱镜&#xff1b;分束立方体&#xff0c;双透镜棱&#xff1b;镜分光镜光线&#xff1b;横置隔膜&#xff1b;全内反射&#xff1b;多个分束…

作业08.21

服务器&#xff1a; #include <myhead.h>#define SER_PORT 6666 #define SER_IP "127.0.0.1"int find_client(int *client_arr, int len, int client) {for(int i0; i<len; i){if(client_arr[i] client){return i;}}return -1; }void remove_client(int *…

python爬虫--pyquery解析库整理

前言 欢迎来到我的博客 个人主页:北岭敲键盘的荒漠猫-CSDN博客 本文整理python的爬虫解析库pyquery的语法 简洁快速的整理&#xff0c;建议有前端基础的人看 pyquery解析原理 pyquery的原理就是拿到网站的前端源码后&#xff0c;我们根据我们需求信息所在的标签进行筛选。 选…

漏洞挖掘 | 记一次edusrc--轻松拿下中危信息泄露

1.前言 也是一次漏洞挖掘的思路分享 上次我们讲过了关于小程序方面的一些小思路&#xff0c;即关于抓包更改id号造成的一个信息泄露&#xff0c;但是在小程序上的信息泄露很难涉及到公民三要素这是一个痛点&#xff0c;今天就来分享一下一次edu挖掘时挖到的一个涉及公民三要素…

【云备份】项目总结

文章目录 项目总结项目总结项目扩展:常见问题: 项目总结 项目总结 搭建云备份服务器与客户端&#xff0c;客户端程序运行在客户机上自动将指定目录下的文件备份到服务器&#xff0c;并且能够支持浏览器查看与下载&#xff0c;其中下载支持断点续传功能&#xff0c;并且服务器端…

kubernetes的pod基础

kubernetes的pod基础 pod概念 pod&#xff08;豆荚&#xff09;&#xff0c;是k8s的最小管理单元。是一个或多个容器的组合&#xff0c;这些容器共享存储&#xff0c;网络和命名空间&#xff0c;以及运行规范&#xff0c;pod内的容器统一的进行安排和调度。pod是一组具有共享命…

【TCP/IP】自定义应用层协议,常见端口号

互联网中&#xff0c;主流的是 TCP/IP 五层协议 5G/4G 上网&#xff0c;是有自己的协议栈&#xff0c;要比 TCP/IP 更复杂&#xff08;能够把 TCP/IP 的一部分内容给包含进去了&#xff09; 应用层 可以代表我们所编写的应用程序&#xff0c;只要应用程序里面用到了网络通信…

进程间的通信3——IPC对象通信->共享内存、网络通信

一、共享内存 1、原理 直接对实际物理内存进行操作&#xff0c;不用先拷贝到用户空间再到内核空间&#xff08;物理内存&#xff09;。 2、特点 &#xff08;1&#xff09;共享内存是一块内核预留的空间&#xff1b; &#xff08;2&#xff09;最高效的通信方式。 3、操作 产…

springboot+Quartz通过数据库控制定时任务执行与时间

前言 在我们的springboot项目中&#xff0c;有很多种实现定时任务的方式 有用最简单的 Scheduled 实现定时任务,即&#xff1a; import org.springframework.scheduling.annotation.Scheduled; import org.springframework.stereotype.Component;Component EnableScheduling p…

【RTT-Studio】详细使用教程十三:UART的DMA 接收及轮询发送

文章目录 一、简介二、RTT配置三、使用信号量接收四、使用消息队列接收五、测试验证 一、简介 串口是指数据一位一位地顺序传送&#xff0c;其特点是通讯线路简单&#xff0c;只要一对传输线就可以实现双向通信&#xff08;可以直接利用电话线作为传输线&#xff09;&#xff0…

我的创作纪念日【2048】

机缘 2048&#xff0c;是计算机二进制世界里很奇妙的数字&#xff0c;在CSDN上创作的第六年&#xff0c;记录从事本行业的知识学习与总结&#xff0c;好记性不如烂笔头&#xff0c;或许写的东西不如大佬的文章&#xff0c;那么有深度&#xff0c;但自己也是在坚持&#xff0c;…

自动微分autograd实践要点

目录 定义Value手动定义每个 operator 的 _backward() 函数构建反向传播计算链 本文主要参考 反向传播和神经网络训练 大神Andrej Karpathy 的“神经网络从Zero到Hero 系列”之一&#xff0c;提炼一些精要&#xff0c;将反向传播的细节和要点展现出来 定义Value 第一步首先要…

传知代码-自动化细胞核分割与特征分析(论文复现)

代码以及视频讲解 本文所涉及所有资源均在传知代码平台可获取 引言 细胞核分割和分类在医学研究和临床诊断中具有重要意义。精准的细胞核分割能够帮助医生更好地识别和分析细胞核的形态学特征&#xff0c;从而辅助疾病诊断、癌症检测以及药物研发。HoverNet是一种基于深度学…

【GitLab】使用 Docker engine安装 GitLab 2: gitlab-ce:17.3.0-ce.0 拉取

ce版本必须配置代理。 极狐版本可以直接pull 社区版GitLab不支持Alibaba Cloud Linux 3,本操作以Ubuntu/Debian系统为例进行说明,其他操作系统安装说明,请参见安装社区版GitLab。 docker 环境重启 sudo systemctl daemon-reload sudo systemctl restart docker脚本安装 安裝…

苹果手机微信聊天记录删除了怎么恢复?

在日常使用手机的过程中&#xff0c;我们经常会遇到误删微信聊天记录的情况&#xff0c;尤其是对于那些重要的对话记录&#xff0c;一旦丢失可能会带来不小的困扰。今天&#xff0c;我们就来探讨一下如何在苹果手机上恢复被删除的微信聊天记录。 一、利用第三方数据恢复工具 对…

拓客工具,助你多维度筛选客源!

随着大数据与人工智能技术的飞速发展&#xff0c;企业拓客的方式也迎来了前所未有的变革。在这里将分享如何利用拓客工具&#xff0c;在任意行业中精实现高效拓客。 一、高级搜索&#xff1a;最新企业&#xff01; 传统的客户开发方式往往依赖于广撒网式的营销手段&#xff0c;…

Qt实现tcp协议

void Widget::readyRead_slot() {//读取服务器发来的数据QByteArray msg socket->readAll();QString str QString::fromLocal8Bit(msg);QStringList list str.split(:);if(list.at(0) userName){QString str2;for (int i 1; i < list.count(); i) {str2 list.at(i);…