摘要

大规模图像字幕数据集的开发成本高昂，而大量未配对的图像和文本语料库可能有助于减少手动注释的工作。在本文中，我们研究了只需要少量带注释的图像标题对的少样本图像标题问题。我们提出了一种基于集成的自蒸馏方法，允许使用不成对的图像和字幕来训练图像字幕模型。该集成由多个基础模型组成，在每次迭代中使用不同的数据样本进行训练。为了从未配对的图像中学习，我们使用整体生成多个伪标题，并根据它们的置信水平分配不同的权重。为了从不成对的标题中学习，我们提出了一种基于梯度下降的简单而有效的伪特征生成方法。来自集成的伪标题和伪特征用于在未来迭代中训练基础模型。所提出的方法对于不同的图像描述模型和数据集具有通用性。我们的实验表明，性能显着提高，并且仅使用 1% 的配对训练数据即可生成有意义的标题。源代码可在 https://github.com/chenxy99/SD-FSIC。

1. 介绍

深度神经网络 (DNN) 的进步在视觉和自然语言处理任务中展现了良好的性能。在这些进步的推动下，图像字幕这一需要视觉和语言建模的跨模态任务的研究近年来发展迅速。大多数图像字幕方法基于手动标记的图像字幕对以监督学习方式学习深度神经网络模型[5,54,57]。尽管取得了成功，但这些监督模型的训练需要大量与图像配对的字幕语料库，这是极其耗费人力的。最流行的图像字幕数据集 Microsoft COCO [39] 拥有超过 123k 个图像，每张图像都有 5 个标题注释，与 ImageNet [47] 和 OpenImages [32] 等通