【论文阅读】CiteTracker: Correlating Image and Text for Visual Tracking

paper：NorahGreen/CiteTracker: [ICCV'23] CiteTracker: Correlating Image and Text for Visual Tracking (github.com)

code：NorahGreen/CiteTracker: [ICCV'23] CiteTracker: Correlating Image and Text for Visual Tracking (github.com)

简介

现有的视觉跟踪方法通常以图像块作为目标来跟踪。变化剧烈的目标跟踪困难。 CiteTracker 通过连接图像和文本来增强视觉跟踪中的目标建模和推理。文本生成模块将目标图像块转换为包含其类别和属性信息的描述性文本，为目标提供全面的参考点。动态描述模块来适应目标变化，以实现更有效的目标表示。使用基于注意力的关联模块将目标描述和搜索图像关联起来，以生成相关特征以供目标状态参考。

图 1. CiteTracker与现有跟踪方法在目标建模和关联方面的比较。左右部分分别描述了典型的视觉跟踪框架和CiteTracker：首先生成目标对象的文本描述，然后利用文本的特征来估计测试图像中的目标状态，从而实现更全面的目标建模和关联。

特点：使用目标的自适应文本描述作为参考点，并将其与测试图像特征相关联进行跟踪。
开发了一个文本生成模型，该模型具有预定义的开放词汇表，包括类和属性标签，能够基于目标图像块，生成目标的文本描述。以 CLIP 模型为基线构建，将文本与丰富的图像特征连接起来。
为了适应目标随时间的变化，开发了一个动态文本特征模型，会随着目标的变化生成自适应文本特征。最后将目标文本描述的特征与测试图像特征相关联，以生成相关特征，以便进一步估计目标状态。
实验数据集： GOT-10K、LaSOT、TrackingNet、OTB100 和 TNL2K。

方法

复现

处理数据

训练

准备数据

Set project paths

Run the following command to set paths for this project
python tracking/create_default_local_file.py --workspace_dir . --data_dir ./data --save_dir ./output

报错1：ModuleNotFoundError: No module named 'lib'

Traceback (most recent call last):File "tracking/create_default_local_file.py", line 9, in <module>from lib.train.admin import create_default_local_file_ITP_train
ModuleNotFoundError: No module named 'lib'

解决：

在终端输入：export PYTHONPATH=$PYTHONPATH:/data/CiteTracker-main/lib/train/admin

手动添加环境变量，解决。运行后得到如下两个文件：