ICML
Size-invariance Matters: Rethinking Metrics and Losses for Imbalanced Multi-object Salient Object Detection
code
Abstacrt
:本文探讨了显著性检测中评价指标的尺寸不变性,尤其是当图像中存在多个大小不同的目标时。作者观察到,当前的指标是尺寸敏感的,较大的对象被关注,较小的对象被忽略。针对此,本文提出一种通用方法,分别评估每个显著对象,有效缓解尺寸的不平衡。此外,作者进一步开发了一个针对这一目标的优化框架。
Spider: A Unified Framework for Context-dependent Concept Segmentation
code
Abstacrt
:上下文独立与显著性检测相结合。本文提出一个统一的模型Spider
,只有一组参数,训练一次。在图像-掩码组提示符驱动的概念过滤器的帮助下,Spider
能理解并区分各种强上下文依赖的概念,从而准确地捕捉提示符的意图。
TCSVT
Learning Adaptive Fusion Bank for Multi-modal Salient Object Detection
code
Abstacrt
:针对多模态显著性检测问题,即MSOD
,本文提出adaptive fusion bank
,专注于解决MSOD
的五个主要挑战,即center bias
、scale variation
、image clutter
、low illumination
、thermal crossover
。为对多模态输入自适应地选择合适的融合方案,引入自适应集成模块,形成自适应融合bank
,嵌入到层级中,以充分融合不同的源数据。此外,还设计了一个间接交互引导模块,通过对高层语义信息和底层空间细节的跳跃集成精确检测显著目标。
TII
MINet: Multi-scale Interactive Network for Real-time Salient Object Detection of Strip Steel Surface Defects
code
Abstacrt
:针对目前参数大、计算成本高、推理速度慢等问题,本文提出多尺度交互模块,即MI
,采用深度卷积和点卷积分别独立提取并交互融合不同尺度的特征。在此模块基础上,提出轻量级的多尺度交互网络,即MINet
,对表面缺陷的工业物件进行实时显著目标检测。
TMM
Alignment-Free RGBT Salient Object Detection: Semantics-guided Asymmetric Correlation Network and A Unified Benchmark
code
Abstacrt
:目前需手动对齐多模态,本文首次在没有手动对齐的情况下训练网络。具体说,提出一个语义引导的非对称关联网络,即SACNet
,由两部分组成:1)非对称关联模块,利用语义语义引导注意力建模非对齐显著区域的跨模态相关性;2)关联特征采样模块,根据RGB特征对热力图特征进行采样,进行多模态特征集成。除此之外,作者构建了一个基准数据集,即UVT2000
,该数据集包含直接从各种真实场景中获取的2000对RGB和热图像对,无手动对齐,以促进无对齐RGB-T SOD
的研究。