Visual Instruction Tuning

LLaVA

指令智能体分为两类：端到端的，通过LangChain[1]/LLM[35]协调各种模型的系统。

数据集生成用GPT辅助生成的，具体不写了。

模型结构：

input image Xv

LLM：Vicuna

visual encoder：pre-trained CLIP visual encoder ViT-L/14

W是为了和词向量一个维度（we apply a trainable projection matrix W to convert Zv into language embedding tokens Hv, which have the same dimensionality as the word embedding space in the language model）

这个线性映射很简单，也可以设计复杂一些，比如gated cross-attention in Flamingo [2] and Q-former in BLIP-2。

Training：

给一张图片有很多问答对：

这就使得多模态指令的统一格式。使用LLM的原始自回归训练目标，对LLM预测的tokens执行指令调整。

两阶段训练：

Stage 1: Pre-training for Feature Alignment.

对于图像Xv，随机采样问题Xq，这是要求assistant简要描述图像的语言指令。GT答案Xa是原始标题。

保持视觉编码器和LLM权重冻结，并仅在可训练参数θ=W（投影矩阵）

Stage 2: Fine-tuning End-to-End.

保持视觉编码器权重冻结，并继续更新LLaVA中投影层和LLM的预训练权重

实验：