CIR-Net：用于 RGB-D 显著性目标检测的跨模态交互与优化（问题）

摘要

问题一：自模态注意力优化单元和跨模态加权优化单元什么意思？

1 优化中间件结构的作用

位置：位于编码器和解码器之间

输入：编码器提取的RGB特征，深度特征以及RGB-D特征。

输出：经过优化的RGB，深度，和RGB-D特征，这些特征被传递到解码器中进行进一步处理。

目的：通过优化中间件结构，模型能够更好地捕捉单模态和跨模态的特征信息，减少冗余，增强显著目标的判别性。

2 自模态注意力优化单元（smAR）

功能： smAR单元用于优化单模态特征（即RGB特征、深度特征和RGB-D特征），减少特征中的冗余信息，并强调空间和通道维度中的重要特征。

实现方式：

（1）通过**空间注意力（Spatial Attention, SA）和通道注意力（Channel Attention, CA）**生成一个3D注意力张量。

（2）这个3D注意力张量用于对输入特征进行加权，从而突出重要区域并抑制背景噪声。

公式：

输出：经过优化的单模态特征

3 跨模态加权优化单元（cmWR）

功能：cmWR单元用于进一步优化多模态特征，通过捕捉RGB、深度和RGB-D特征之间的全局上下文依赖关系，增强跨模态信息的互补性。

实现方式：

(1) 首先，将RGB、深度和RGB-D特征映射到一个统一的特征空间。

(2)然后，计算RGB和深度特征之间的相关性（M1）以及RGB-D特征自身的相关性（M2）。

(3)最后，通过加权融合这些相关性信息，生成跨模态的全局依赖权重，用于优化输入特征。

公式：

输出：经过优化的多模态特征

4 整体流程

输入：编码器提取的RGB特征、深度特征和RGB-D特征。

步骤：

（1）自模态优化：通过smAR单元对RGB、深度和RGB-D特征分别进行优化，减少冗余并突出重要信息。

（2）跨模态优化：通过cmWR单元进一步优化多模态特征，捕捉RGB、深度和RGB-D特征之间的全局上下文依赖关系。

输出：优化后的RGB、深度和RGB-D特征，这些特征将被传递到解码器中进行显著目标预测。

一介绍

二有关工作

三提出的方法

图3. 所提出的CIR-Net的概览图。从主干网络中提取的RGB特征和深度特征分别表示为，其中r和d分别代表RGB分支和深度分支，表示特征层级的索引。在特征编码器中，我们还使用渐进式注意力引导融合（PAI）单元来生成跨模态的RGB-D编码器特征。然后，将顶层的RGB、深度和RGB-D特征嵌入到由自模态注意力优化（smAR）单元和跨模态加权优化（cmWR）单元组成的优化中间件中，以自模态和跨模态的方式逐步优化多模态编码器特征。最后，RGB分支和解码器特征以及深度分支的解码器特征流入相应的RGB-D分支，以便在特征解码器阶段通过重要性门控融合（IGF）单元学习更全面的交互特征。请注意，所有三个分支都会输出一个相应的显著目标预测图，并且我们将RGB-D分支的输出作为最终结果。