visual prompt tuning：作为一种微调手段，其目的是节省参数量，训练时需要优化的参数量小。

输入：视觉信息image token+可学习的prompt token

处理任务：比如常见的分类任务

visual instruction tuning：目的是提高模型的听从指令的能力

一般会使用到指令数据集，指令数据大概是“问题-答案”这样的形式，问模型问题相当于给模型下指令。

输入：视觉信息（图像嵌入）+语言指令（文本嵌入）

处理任务：问模型问题，模型给回答

其他：比如写prompt提示词给GPT，这里的prompt貌似也是指问GPT的问题。