来源：量子位
ChatGPT会画画了！
问它：能生成一张猫片给我吗？
立刻连文带图全有了。
还能根据新的文字指令调整图片：把猫换成狗。
同时也看得懂图、有理解能力。
比如发一张图给它，然后问摩托是什么颜色？它能回答出是黑色。
如上，就是由MSRA资深研究人员们提出的视觉版ChatGPT（Visual ChatGPT）。
通过给ChatGPT结合多种视觉模型，并利用一个提示管理器（Prompt Manager），他们成功让ChatGPT可以处理各种视觉任务。
这项工作一发出来就火了，GitHub揽星已超过1.5k。
简单总结一下，就是把GPT和Dall-E合并的感觉~
又懂文字又会画图……有人就说：
这不是终极meme图制造机？
诀窍在于提示工程？
Visual ChatGPT，其实就是让ChatGPT可以处理多模态信息。
但是从头训练一个多模态模型，工作量非常大。
研究人员想到可以在ChatGPT的基础上，结合一些视觉模型。
而想要达到这一目的，关键需要一个中间站。
由此他们提出了提示管理器（Prompt Manager）的概念。
它的作用主要有3方面：
第一、明确告诉ChatGPT，每个视觉模型的作用，并指定好输入输出格式。
第二、转换不同的视觉信息，如将PNG图像、深度图像、掩码矩阵等转换为语言格式，方便ChatGPT理解。
第三、处理视觉模型的历史生成结果，以及不同模型的调用优先级、规避冲突等，让ChatGPT能够以迭代的方式接收视觉模型的生成内容，直到输出用户满意的结果。
这样一来，Visual ChatGPT的工作流大概长这样：
假如用户输入了一张图，模型会先将内容发送给提示管理器，然后转换成语言给ChatGPT判断，当它发现这个问题不需要调用视觉模型，就会直接给出输出（第一个回答）。
第二个问题时，ChatGPT分析问题内容需要使用视觉模型，就会让视觉模型开始执行，然后一直迭代，直到ChatGPT判断不再需要调用视觉模型时，才会输出结果。
论文介绍，Visual ChatGPT中包含了22个不同的视觉模型。包括Stable Diffusion、BLIP、pix2pix等。
为了验证Visual ChatGPT的能力，他们还进行了大量零次试验（zero-shot experiments）。
结果如开头所示，Visual ChatGPT具备很强的图像理解能力。
可以一直按照人的需求不断生成、修改图片。
当然，研究人员也提到了这项工作目前还存在一些局限性。
比如生成结果的质量，主要取决于视觉模型的性能。
以及使用大量的提示工程，会一定程度上影响生成结果的速度。而且还可能同时调用多个模型，也会影响实时性。
最后，在输入图片的隐私安全上，还需要做进一步升级保护。
MSRA老将出马
本项研究成果来自微软亚洲研究院的团队。
通讯作者是段楠。
他是MSRA首席研究员，自然语言计算组研究经理，中国科学技术大学兼职博导，天津大学兼职教授，CCF杰出会员。
主要从事自然语言处理、代码智能、多模态智能、机器推理等研究。
2012年加入MSRA，任职已超10年。
第一作者Chenfei Wu，同样是一位资深研究人员了。
据领英资料显示，他于2020年加入微软，任职3年，目前是高级研究员。
论文地址：
https://arxiv.org/abs/2303.04671
参考链接：
https://twitter.com/_akhaliq/status/1633642479869198337
推荐阅读
西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》
润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）
如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研
奖金675万！3位科学家，斩获“中国诺贝尔奖”！
又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职
最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！
【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！
2021李宏毅老师最新40节机器学习课程！附课件+视频资料
欢迎大家加入DLer-计算机视觉技术交流群！
大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）
👆 长按识别，邀请您进群！
