InternVL：论文阅读 -- 多模态大模型(视觉语言模型)

更多内容：XiaoJ的知识星球

文章目录

InternVL: 扩展视觉基础模型与通用视觉语言任务对齐
- 1.概述
- 2.InternVL整体架构
- - 1）大型视觉编码器：InternViT-6B
  - 2）语言中间件：QLLaMA。
  - 3）训练策略
  - - （1）第一阶段：视觉-语言对比训练
    - （2）第二阶段：视觉语言生成训练
    - （3）第三阶段：监督微调（SFT）
- 3.InternVL应用
- - 1）对于视觉感知任务
  - 2）对于对比任务
  - 3）对于生成任务
  - 4）对于多模态对话

InternVL: 扩展视觉基础模型与通用视觉语言任务对齐

图1. 不同视觉和视觉语言基础模型的比较。

(a) 表示传统的视觉基础模型，例如 ResNet 在分类任务上预先训练。

(b) 表示视觉语言基础模型，例如在图像-文本对上预训练的 CLIP。

(c ) 是 InternVL，它将大规模视觉基础模型InternViT-6B与大型语言模型保持一致，并且适用于对比和生成任务。
在这里插入图片描述

Supervised pre - training（监督预训练）
：图像经过视觉编码器(vision encoder)，得到分类类别。

Contrastive pre - training（对比预训练）
：图像经过视觉编码器(vision encoder)，再通过对比编码器(contrastive encoder)与文本进行对比训练。

1.概述

大型语言模型的快速增长，为多模态AGI(Artificial General Intelligence，通用人工智能)系统带来了更多可能，但视觉和视觉语言基础模型的发展却没跟上。

我们设计了大规模视觉语言基础模型 InternVL， 它首次将大规模视觉编码器与LLMs该模型对齐。该模型在各种通用视觉语言任务上表现出强大的性能，包括视觉感知任务、视觉语言任务和多模态对话。

目前视觉语言模型（VLLMs）的限制

为了将视觉模型与 LLMs 桥接，现有的视觉语言模型（VLLMs）通常使用轻量级的“glue(粘合层)”，如QFormer或线性投影，来对齐视觉和语言模型的特征，连接视觉和语言模型。

但这种方法存在以下问题：

（1）参数规模差异：LLM参数可达10000亿，而VLLMs的视觉编码器通常只有10亿左右，这可能导致LLM的容量未被充分利用；

（2）表征不一致：视觉模型，基于纯视觉数据进行训练或与BERT系列对齐，与LLM的表征往往不一致；

（3）连接效率低，轻量级且随机初始化的“粘合层”可能无法有效捕捉多模态理解和生成所需的丰富跨模态交互和依赖关系。

2.InternVL整体架构

与传统的纯视觉主干和双编码器模型不同，InternVL有三个关键设计：

参数平衡的视觉和语言组件： 60亿参数视觉编码器（ InternViT-6B）+80亿参数的LLM中间件（QLLaMA）
对齐视觉编码器和语言中间件：视觉编码器（InternViT-6B）与LLM中间件（QLLaMA）对齐。
渐进式图像文本对齐：在大规模嘈杂的图像文本数据上启动对比学习，随后过渡到在细粒度数据上生成学习。

1）大型视觉编码器：InternViT-6B

它使用普通视觉转换器（ViT）实现了 InternVL 的视觉编码器。为了匹配 LLMs的规模，我们将视觉编码器扩展到 60 亿个参数，从而产生了 InternViT-6B 模型。

2）语言中间件：QLLaMA。

语言中间件 QLLaMA 旨在协调视觉和语言特征。

QLLaMA 基于预先训练的多语言 LLaMA 开发的，并新增了 96 个随机初始化的可学习查询和交叉注意力层（10 亿个参数）。这种方式使 QLLaMA 能够顺利地将视觉元素集成到语言模型中，从而增强组合特征的连贯性和有效性。

3）训练策略

图3. 所提出的 InternVL 模型的训练策略。
在这里插入图片描述

如图所示，InternVL 的训练包括三个渐进阶段，包括视觉-语言对比训练、视觉-语言生成训练和监督微调。

（1）第一阶段：视觉-语言对比训练

我们进行对比学习，在网络规模的嘈杂图像文本对上将 InternViT-6B 与多语言 LLaMA-7B 对齐。这些数据都是公开的，包括多语言内容，包括 LAION-en、LAIONmulti、LAIONCOCO、COYO、Wukong 等。我们使用这些数据集的组合，并过滤掉一些质量极低的数据来训练我们的模型。

在训练过程中，我们使用LLaMA-7B对文本进行编码得到文本特征Tf，同时利用InternViT-6B提取视觉特征If。按照CLIP（Contrastive Language-Image Pretraining）的目标函数通过最大化匹配的图像-文本对的相似度，同时最小化不匹配对的相似度，从而学习图像和文本之间的关联。