基于频率增强的数据增广的视觉语言导航方法(VLN论文阅读)

基于频率增强的数据增广的视觉语言导航方法(VLN论文阅读)

在这里插入图片描述

摘要

  视觉和语言导航(VLN)是一项具有挑战性的任务,它需要代理基于自然语言指令在复杂的环境中导航。
在视觉语言导航任务中,之前的研究主要是在空间上进行数据增广,本文的重点是在傅里叶频率方面,它旨在增强视觉文本匹配
作者首先探索了高频信息的意义,并提供了证据表明这些高频信息对增强视觉文本匹配是有用的(instrumental)。
基于此,作者首先提出了一种Frequency-enhanced Data Augmentation (FDA)技术,提高模型捕捉关键高频信息的能力。

具体来说,这种方法要求代理在只有一个高频视觉信息对应所提供的文本指令的子集的环境中导航,最终促进了代理根据给定的指令选择性地识别和捕获相关的高频特征的能力。
方法好处:1.简单有效,2,模型架构无关,3不增加参数

1. 引言

  最近的研究从空间域的角度调研了注意力机制,检测模型,细粒度的轨迹-指令对等方式以提高跨模态的匹配能力。
本文重点关注 Fourier domain来enhance visual textual matching,a research area that has received limited prior investigation。
具体来说,当在傅里叶域内进行分析时,高频和低频信息属于图像的不同组成部分。高频部分包括快速的变化,细粒度的细节,边,纹理。低频包括平滑的颜色梯度。如图一所示。
在这里插入图片描述
图1:高频和低频信息的示例。蓝色背景部分是经过傅里叶反变换后的空间域高频谱和高频信息。橙色的背景部分是关于这两种内容的低频信息。

  我们只是简单地通过扰动图像中的低频或高频分量来研究基准方法对低频或高频信息的敏感性。
在这里插入图描述
图2:基准方法对高、低频信息的敏感性分析,即HAMT [9]、DUET [10]和TD-STP [64]。正常的导航场景表示正常的导航场景。hf扰动和lf扰动分别表示高频和低频被扰动的导航场景。

  如图2所示,在R2R数据集上,当基线模型(HAMT,DUET,TD-STP)低频被扰动时,仍然保持一个高的准确率,当高频被扰动时,模型成功率减低明显。这些结果表明VLN模型对高频信息更加敏感。

  为了有效地利用高频信息的好处,我们进一步提出了一种频率增强数据增强(FDA)tailored for VLN,这是一种简单而有效的方法,以增强模型捕获基本高频信息的能力。
具体来说,FDA方法在导航view上利用离散傅里叶变换,从RGB通道中提取高频和低频成分。它用来自干扰图像的部分高频分量替换原图像的部分高频分量,以此引入高频扰动。通过应用傅里叶反变换对扰动高频原始低频分量的组合,得到了增广数据。通过训练代理同时将原始指令与原始导航视图和增强导航视图相匹配,FDA的方法鼓励代理磨练(hone)其捕获与给定指令最一致的相关高频信息的能力。

  本文贡献总结如下: 1)对VLN任务中的频域信息进行了首次深入的分析,强调了高频信息在提高导航性能方面的重要性。这种新颖的视角为社区探索和增强VLN模型提供了新的研究机会。2)我们进一步介绍了一种简单、有效的数据增强方法,即频率增强数据增强(FDA),它增强了模型在不增加复杂性的情况下识别和捕获基本高频信息的能力,为研究界提供了实用的解决方案。3)该方法在R2R、RxR、CVDN和幻想等各种跨模态导航任务上取得了良好的效果,并在不同模型间表现出较强的适应性。


2. 方法(Frequency Perspective for Vision-and-Language Navigation)

  方法包括三个部分:1)VLN问题定义,2)高频信息和低频信息的作用,3)FDA方法(Frequency-enhanced Data Augmentation)

2.1 VLN问题定义

  根据VLN设置, an agent 在含有许多预设点 p i p^i pi 的室内环境 E = { p 1 , p 2 , . . . , p ∣ E ∣ } E=\{p^1,p^2,...,p^{|E|}\} E={p1,p2,...,pE} 中导航, 遵循一共人类指令 T = { w 1 , w 2 , . . . , w ∣ T ∣ } . T=\{w_1,w_2,...,w_{|T|}\}. T={w1,w2,...,wT}. 假设在步骤t, the agent站在点 p t i p_t^i pti 可以接收到周围的全景图 O t = ( o t k ) k = 1 36 O_t=(o_t^k)_{k=1}^{36} Ot=(otk)k=136 包含36个离散的observation o t k o_t^k otk. 每个 observation o t k = ( I t k , θ t k , ϕ t k ) o_t^k=(I_t^k,\theta_t^k,\phi_t^k) otk=(Itk,θtk,ϕtk) 由第 k t h k_{th} kth 个视图 I t k I_t^k Itk 以及它对应的 θ t k \theta_t^k θtk 和仰角 ϕ t k \phi_t^k ϕtk结合. 临近的可导航点 N ( p t i ) N(p_t^i) N(pti)分布在这些视图中. The agent 根据指令 T T T N ( p t i ) N(p_t^i) N(pti)所在的环境 o f k o_f^k ofk之间的关系从相邻的点 N ( p t i ) N(p_t^i) N(pti)中选择下一个可导航点 . 然后,代理将被传送到那个选定的点。导航继续,直到代理预测停止操作或超过预设的步骤阈值。当代理站在目标目的地3米内停止时,导航被认为是成功的。

2.2 高频信息和低频信息的作用(High Frequency or Low Frequency: Which Benefits VLN Performance?)

  考虑到图2的观察结果,我们假设图像中的高频信息可能对跨模态导航任务至关重要。为了验证这一假设,我们进行了一个简单的实验,即将原始图像特征与其相应的高频或低频分量进行融合。这些合并后的特性随后在训练和测试过程中作为导航网络的输入,如图3所示。TD-STP [64]的结果见表1。
在这里插入图片描述
在这里插入图片描述

  以上观察结果突出了高频信息在跨模态导航中的关键作用。这是因为
  1)高频信息包含了一些细节,如边、角和纹理模式。这些细节对于准确地识别和区分物体、场景和位置至关重要,这可以导致更有效的视觉-文本匹配和更好的导航表现。
  2)使用高频信息训练的模型往往对环境变化更健壮,并对看不见的环境表现出更强的泛化能力,因为该模型学习了专注于一组更多样化的特征,而不是仅仅记忆训练数据中出现的特定的低频、全局模式。

2.3 FDA方法(Frequency-enhanced Data Augmentation)

在这里插入图片描述
图4:我们的方法将干扰高频和参考高频混合在一起。然后,通过对混合高频和参考低频的组合应用傅里叶反变换,得到了增广图像。最后,将只包含部分参考高频的增强图像与指令对齐,以鼓励代理识别和捕获参考高频信息。FFT和iFFT表示傅里叶变换和傅里叶反变换。GHPF和GLPF分别表示高斯高通滤波器和高斯低通滤波器。

  如图4所示,参考图像I是与导航指令T对应的导航视图(“向前走,经过冰箱,在餐桌后面左转,直接穿过门口……”)。干涉图像Iˆ是从Matterport3d(Mp3d)数据集[6]中随机采样的另一个导航视图。为了防止信息泄漏,所有的干扰图像都从训练/验证可见分割中采样,并且不使用验证未可见分割和测试分割中的图像。
我们首先通过傅里叶变换(FFT)将这两张图片转换到频率空间,得到两个频率谱 F I { r g b } F_I^{\{rgb\}} FI{rgb} and F I ^ { r g b } F_{\hat{I}}^{\{rgb\}} FI^{rgb}:

F I { r g b } = F { r g b } ( I ) , F I ^ { r g b } = F { r g b } ( I ^ ) F_I^{\{rgb\}}=\mathcal{F}^{\{rgb\}}(I),~F_{\hat{I}}^{\{rgb\}}=\mathcal{F}^{\{rgb\}}(\hat{I}) FI{rgb}=F{rgb}(I), FI^{rgb}=F{rgb}(I^)   其中 F { r g b } \mathcal{F}^{\{rgb\}} F{rgb} 表示RGB颜色通道上的傅里叶变换。然后,我们在两个频谱上应用高通和低通高斯滤波器来获得参考高频 H { r g b } H^{\{rgb\}} H{rgb},参考低频 L { r g b } L^{\{rgb\}} L{rgb} 和干扰高频y H ^ { r g b } . \hat{H}^{\{rgb\}}. H^{rgb}.
H { r g b } = G h ⊙ F I { r g b } , L { r g b } = G l ⊙ F I { r g b } , H ^ { r g b } = G h ⊙ F I ^ { r g b } \begin{aligned}H^{\{rgb\}}=\mathcal{G}_h\odot F_I^{\{rgb\}},&L^{\{rgb\}}=\mathcal{G}_l\odot F_I^{\{rgb\}},&\hat{H}^{\{rgb\}}=\mathcal{G}_h\odot F_{\hat{I}}^{\{rgb\}}\end{aligned} H{rgb}=GhFI{rgb},L{rgb}=GlFI{rgb},H^{rgb}=GhFI^{rgb}  其中 G h G_h Gh and G l G_l Gl 表示 Gaussian High-Pass Filter (GHPF)和 Gaussian Low-Pass Filter (GLPF), and ∙ ◯ \textcircled{\bullet} is element-wise multiplication. 然后我们将这两个图像的高频部分混合,具体来说,对于参考图像的每个RGB信道,有一定的概率是其高频分量被来自同一信道的干扰高频所取代:
H m i x c = M i x ( H c , H ^ c ) = { H c , p r o b a b i l i t y o f 1 / 3 H ^ c , o t h e r s , c ∈ { r , g , b } H m i x { r g b } = M i x ( H { r g b } , H ^ { r g b } ) \begin{gathered} \left.H_{mix}^{c}=\mathcal{M}ix(H^{c},\hat{H}^{c})=\left\{\begin{array}{ll}{{H^{c},}}&{{probabilityof1/3}}\\{{\hat{H}^{c},}}&{{others}}\end{array}\right.\right.,c\in\{r,g,b\} \\ H_{mix}^{\{rgb\}}=\mathcal{M}ix(H^{\{rgb\}},\hat{H}^{\{rgb\}}) \end{gathered} Hmixc=Mix(Hc,H^c)={Hc,H^c,probabilityof1/3others,c{r,g,b}Hmix{rgb}=Mix(H{rgb},H^{rgb})  其中 H m i x { r g b } H_{mix}^{\{rgb\}} Hmix{rgb} 是混合的高频. 我们将它与参考低频 L { r g b } L^{\{rgb\}} L{rgb} 结合然后用 iFFT获得频率增强的图像 I m i x I_{mix} Imix:

I m i x = F − 1 ( F m i x { r g b } ) = F − 1 ( H m i x { r g b } , L { r g b } ) . I_{mix}=\mathcal{F}^{-1}(F_{mix}^{\{rgb\}})=\mathcal{F}^{-1}(H_{mix}^{\{rgb\}},L^{\{rgb\}}). Imix=F1(Fmix{rgb})=F1(Hmix{rgb},L{rgb}).  最后原始图像 I I I 和增广图像 I m i x I_{mix} Imix 共享同一个文本指令标签 T T T 在训练阶段交替用于训练agent:

L ( θ ) = { N a v i g a t o r L o s s ( I , T , θ ) , o d d - n u m b e r e d s t e p N a v i g a t o r L o s s ( I m i x , T , θ ) , e v e n - n u m b e r e d s t e p \left.L(\theta)=\left\{\begin{array}{ll}NavigatorLoss(I,T,\theta),&odd\text{-}numberedstep\\NavigatorLoss(I_{mix},T,\theta),&even\text{-}numberedstep\end{array}\right.\right. L(θ)={NavigatorLoss(I,T,θ),NavigatorLoss(Imix,T,θ),odd-numberedstepeven-numberedstep  其中 L ( θ ) L(\theta) L(θ) 表示考虑了原始图像 I I I和频率增强图像 I m i x 的导航损失 , θ I_{mix}的导航损失,\theta Imix的导航损失,θ 表示导航器的参数。


3,实验

消融实验(在不同的模型和不同的数据集上)在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  如表5,现有的VLN方法在高频扰动导航场景中受到了严重的限制。ImageNet表示从ImageNet中选取干扰图像。这有力地证明了我们的方法能够识别和捕获必要的高频信息,以提高导航性能。


在这里插入图片描述
在这里插入图片描述

与sota结果相比

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

局限性和未来的工作。
本文重点是增强模型识别和捕获基本高频信息的一般能力。然而,还没有探索频率和特定场景或类别之间的细粒度相关性。这一调查领域仍然是未来探索的一条途径。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/263989.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android RecyclerView 如何展示自定义列表 Kotlin

Android RecyclerView 如何展示自定义列表 Kotlin 一、前提 有这么一个对象 class DeviceDemo (val name: String, val type: String, val address: String)要展示一个包含这个对象的列表 bluetoothDevices.add(DeviceDemo("bb 9800", "LE", "32:…

Linux 内存管理概述(偏实战,略理论,附链接)

基础理论 1. 内存映射 可以参考: Linux内存映射 - 知乎 写的很详细,而且也有代码分析 2. 虚拟内存的空间分布 通过这张图你可以看到,用户空间内存,从低到高分别是五种不同的内存段。只读段,包括代码和常量等。数据段…

Unity学习之Unity中的MVC思想

文章目录 1 前言2 MVC的基本概念3 不使用MVC思想制作UI逻辑3.1 拼面板3.2 面板脚本3.3 角色面板逻辑3.4 角色升级 4 使用MVC思想制作UI逻辑4.1 Model数据脚本4.2 View界面脚本4.2.1 MainView主界面4.2.2 RoleView 角色面板界面 4.3 Controller业务逻辑脚本4.3.1 MainController…

使用openai-whisper实现语音转文字

使用openai-whisper实现语音转文字 1 安装依赖 1.1 Windows下安装ffmpeg FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。 # ffmpeg官网 https://ffm…

2024年2月20日v1.0.5更新·优雅草便民工具youyacao-tools

2024年2月20日v1.0.5更新优雅草便民工具youyacao-tools apk下载 https://fenfacun.youyacao.com/tools105.apk 介绍 优雅草便民工具是一款由成都市一颗优雅草科技有限公司打造的便民查询公益工具,2024年1月17日正式发布v1.0.0版本,本工具为了方便大众免…

互联网加竞赛 机器视觉opencv答题卡识别系统

0 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 答题卡识别系统 - opencv python 图像识别 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分…

力扣● 343. 整数拆分 ● 96.不同的二叉搜索树

● 343. 整数拆分 想不到,要勇于看题解。 关键在于理解递推公式。 1、DP数组及其下标的含义:dp[i]是分解i这个数得到的最大的乘积。 2、DP数组如何初始化:dp[0]和dp[1]都没意义,所以直接不赋值,初始化dp[2]1即可。…

golang通过http访问外部网址

不同项目之前,通过http访问,进行数据沟通 先设定一个接口,确认外部能访问到 PHP写一个接口 public function ceshi_return() {$data $this->request->param();$id $data[id];$res Db::name(user)->field(id,status,price,name)->where([id>$id])->find…

【大数据】Flink SQL 语法篇(四):Group 聚合

Flink SQL 语法篇(四):Group 聚合 1.基础概念2.窗口聚合和 Group 聚合3.SQL 语义4.Group 聚合支持 Grouping sets、Rollup、Cube 1.基础概念 Group 聚合定义(支持 Batch / Streaming 任务):Flink 也支持 G…

深度神经网络中的计算和内存带宽

深度神经网络中的计算和内存带宽 文章目录 深度神经网络中的计算和内存带宽来源原理介绍分析1:线性层分析2:卷积层分析3:循环层总结 来源 相关知识来源于这里。 原理介绍 Memory bandwidth and data re-use in deep neural network computat…

S32 Design Studio PE工具配置UART

配置操作 先得配置下GPIO用的是哪个引脚 跟之前的外设一样,它这里有两个UART可以用。 这里只能用UART0和2的原因是UART1被LIN使用了。 配置的内容为 生成代码对应 首先会根据components名称创建个驱动状态结构体 /*! Driver state structure */ lpuart_state_t …

程序媛的mac修炼手册-- 2024如何彻底卸载Python

啊,前段时间因为想尝试chatgpt的API,需要先创建一个python虚拟环境来安装OpenAI Python library. 结果,不出意外的出意外了,安装好OpenAI Python library后,因为身份认证问题,根本就没有获取API key的权限…

stable diffusion学习笔记 手部修复

图片手部修复原理 某张图片在生成后,仅有手部表现不符合预期(多指,畸形等)。这种情况下我们通常使用【局部重绘】的方式对该图片的手部进行【图生图】操作,重新绘制手部区域。 但是仅采用重绘的方式也很难保证生成的…

试卷打印如何去除答案?3个方法一键还原

试卷打印如何去除答案?在日常学习中,在打印试卷时,去除答案是一个常见的需求,特别是在学生复习或老师准备教学材料时。答案的存在可能会干扰学生的学习过程,或者使得试卷的重复使用变得困难。为了解决这个问题&#xf…

JWT学习笔记

了解 JWT Token 释义及使用 | Authing 文档 JSON Web Token Introduction - jwt.io JSON Web Token (JWT,RFC 7519 (opens new window)),是为了在网络应用环境间传递声明而执行的一种基于 JSON 的开放标准((RFC 7519)。该 token 被设计为紧凑…

Another Redis Desktop Manager工具连接集群

背景:使用Another Redis Desktop Manager连接redsi集群 win10安装 使用 下载 某盘: 链接:https://pan.baidu.com/s/1dg9kPm9Av8-bbpDfDg9DsA 提取码:t1sm 使用

[c++] char * 和 std::string

1 char * 和 std::string 的区别 char * 字符串是常量字符串,不能修改;std::string 指向的字符串可以修改 实例代码如下图所示,s1 和 s2 均是常量字符串,字符串常量保存在只读数据区,是只读的,不能写&…

接口自动化测试用例如何设计

说到自动化测试,或者说接口自动化测试,多数人的第一反应是该用什么工具,比如:Python Requests、Java HttpClient、Apifox、MeterSphere、自研的自动化平台等。大家似乎更关注的是哪个工具更优秀,甚至出现“ 做平台的 &…

kafka生产者2

1.数据可靠 • 0:生产者发送过来的数据,不需要等数据落盘应答。 风险:leader挂了之后,follower还没有收到消息。。。。 • 1:生产者发送过来的数据,Leader收到数据后应答。 风险:leader应答…

Pyglet综合应用|推箱子游戏地图编辑器之图片跟随鼠标

目录 推箱子游戏 升级一:鼠标操作 升级二:增加网格 升级三:模拟按钮 综合应用:地图编辑器 关卡地图洗数 推箱子游戏 本篇为之前写的博客《Pyglet综合应用|推箱子游戏之关卡图片载入内存》的续篇,内容…