“Unifying Image Processing as Visual Prompting Question Answering” 文章提出了一种名为 PromptGIP 的通用模型,将图像处理任务统一为视觉提示问答范式,在多个图像处理任务上展现出良好性能,为通用图像处理提供了新的思路和方法。
conference:2024 ICLR
paper:https://arxiv.org/pdf/2310.10513v2
code:https://github.com/lyh-18/PromptGIP
文章目录
- 1. 研究背景与目的
- 1.1 图像处理任务的重要性与传统方法的局限
- 1.2 大模型发展趋势与视觉领域的探索
- 1.3 研究目的
- 2. 研究方法
- 2.1 图像作为视觉问答
- 2.2 掩码视觉提示范式
- 3. 实验设置与结果分析
- 3.1 实验任务设置
- 3.2 实验细节
- 3.3 实验结果分析
- 4. 研究结论与展望
- 4.1 研究结论
- 4.2 研究局限与展望
1. 研究背景与目的
1.1 图像处理任务的重要性与传统方法的局限
图像处理涵盖图像恢复、增强、特征提取等,是计算机视觉基础任务,用于提升图像质量和提取特征。传统方法需针对不同任务开发特定模型,如SRCNN用于超分辨率、DnCNN用于去噪等,但泛化能力有限。目前的 All-in-one 恢复方法虽能处理多种恢复任务,但在生成替代表示(如风格化图像或图像边缘)方面存在不足。
1.2 大模型发展趋势与视觉领域的探索
大模型在自然语言处理领域成功统一多种任务,计算机视觉领域也有类似趋势,如Meta AI的SAM用于图像分割,通过大规模预训练实现零样本泛化。然而,当前大模型多关注高级视觉任务,低级视觉任务受关注较少。
1.3 研究目的
提出PromptGIP模型,统一多种图像处理任务,包括图像恢复、增强、特征提取等,采用视觉提示问答范式,处理不同输出域任务,探索模型泛化能力,为通用图像处理提供新方法。
2. 研究方法
2.1 图像作为视觉问答
受NLP提示学习启发,将图像处理统一为视觉提示问答范式。模型推理时,依据输入输出图像对(作为任务提示)处理新输入图像生成预测输出。例如,输入“雨天 - 无雨”图像对提示,模型对目标输入图像执行去雨操作;若提示答案与图像边缘相关,模型对查询图像进行边缘检测。
2.2 掩码视觉提示范式
采用掩码自动编码方法(MAE),训练时对答案图像随机掩码,促使模型从无掩码部分重建。模型训练于包含不同图像处理目标(如恢复、增强、边缘检测)的数据集,推理时根据输入输出对执行相应操作。
3. 实验设置与结果分析
3.1 实验任务设置
实验包含15种图像处理任务,分为三类:
- 图像恢复任务(10种):包括高斯噪声、高斯模糊、泊松噪声、椒盐噪声、JPEG压缩、振铃伪影、R - L算法、图像修复、雾霾、雨等类型的处理。针对前八种通过对ImageNet数据集引入失真创建退化 - 干净图像对,去雾利用RESIDE数据集的ITS训练集,去雨采用两种雨添加模型(Simple Rain Model和Complex Rain Model),并使用多个常用数据集组成Common528数据集用于测试。
- 图像增强任务(2种):低光图像增强(LLE)采用LOL数据集训练,局部拉普拉斯滤波(LLF)通过对Adobe - MIT Fivek数据集的expert - C修饰图像应用局部拉普拉斯滤波器形成输入输出对,LLF用于边缘保留细节增强。
- 图像边缘检测任务(2种):使用Canny和Laplacian算子,基于ImageNet数据集创建输入输出训练对。
3.2 实验细节
采用ViT - large作为骨干架构。在训练期间,模型以“Q - A - Q - A”模式处理四个256×256图像的序列,从而得到4×256×256的总输入分辨率。使用L1损失作为损失函数。在优化方面,采用带有余弦退火学习率调度器的AdamW优化器。基础学习率为1e - 4。批量大小为48。使用8个8TeslaV100GPUs进行训练。总共执行50个轮次。对于测试Painter和PromptGIP,为每个任务构建20个图像提示取最佳结果。
3.3 实验结果分析
- 任务处理能力与视觉效果:PromptGIP能有效处理多种图像处理任务,视觉效果良好(如图5、6所示)。在图像恢复任务上表现出色,定量得分优于Real - ESRGAN等模型(如表1所示)。
-
QA范式和掩码训练策略有效性:QA范式改进了模型性能,掩码训练策略增强了模型处理不同任务的能力及稳定性。如在图像去雾任务中,直接预测效果不佳,而掩码训练策略有效(如表3所示)。
-
分布外任务泛化能力:模型在分布外任务(如混合退化恢复、颜色化、风格转移)上有一定泛化能力,但存在局限性,如无法完美处理未见过的混合退化图像和颜色化任务(如图8所示)。
4. 研究结论与展望
4.1 研究结论
PromptGIP模型可处理多种图像处理任务,通过视觉提示问答范式能解释任务线索并生成相关输出,具有一定泛化性。
4.2 研究局限与展望
模型在生成新兴结果方面能力有限,训练数据的质量、多样性和数量可能影响性能。当前骨干网络ViT在处理低级视觉任务时存在高频信息丢失问题,导致结果不理想,未来可采用更强的骨干模型提升性能,进一步探索模型在通用图像处理中的潜力。