点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【图像分割】微信技术交流群

作者：老大 |（已授权转载）编辑：CVer

https://zhuanlan.zhihu.com/p/621503837

8G GPU显存即可以运行

代码链接（已开源）： h

https://github.com/showlab/Image2Paragraph

动机：

怎么把图片表示成高质量文本一直是个热门的问题。传统的思路Show，and Tell 等 Image Caption和Dense Caption 等都是依赖大量的人工标注。首先依靠诸如亚马逊AMT（ 亚非拉大兄弟们）等标注平台给每张图一人写一段描述。其中添加了一系列规则，诸如名词数目，颜色等等。通常用一句简短的话来描述一张图。

然而，这种朴素的标记思路造成了严重的One-to-many问题。如一张图对应很多文本。由于图片和文本之间信息的不对称性，在这类数据上训练的结果很容易陷入平凡解。（Pretrain中也经常遇到的问题）

而LLM（大语言模型）尤其是ChatGPT展现出来的逻辑能力让人望尘莫及。我们惊讶发现， 把Bounding Box 和 Object信息给到GPT4， GPT4很自然的能推理出物体之间的位置关系，甚至想像出物体之间的联系。

因此一个很自然的想法就是， 用GPT4对每张图生成高信息量的段落，From One-to-many to one-to-one

做法：

低阶语义抽取：

Image Caption, Dense Caption, Object Detection, Segement Anything 等等统一当成视觉理解组件。

如图所示，首先用BLIP2 得到一张图的Coars-grained Caption信息。再用 GRIT得到Dense Caption信息，最终用Segment Anything 去得到Fine- grained Region-level Semantic.

高阶推理：

把金字塔视觉语义给到ChatGPT，让ChatGPT去推理物体之间的关系和物体的物质信息等，最终生成一个高质量Unique的文本段落。

可视化：

最后对生成的段落，放进Control Net生成一张重构的图。

实验：

最后是一些运行结果：

对生成的段落用ControlNet生成新图片。

Region-level Semantic:

最后有意思的是：

当我们把图片变成文本之后。不需要训练的情况下，检索效果竟然好与在COCO上 Train的结果。

一些呼之欲出的问题即将到来：

现有Vision- language Pretrain需不需要新的 Data collection 范式？

现有的Image- Text 数据集尤其是Caption数据需不需要Refine？

参考：

Show，And Tell. GRIT. ChatGPT. Segment Anything. ControlNet. Blip2.

点击进入—>【计算机视觉】微信技术交流群

最新CVPR 2023论文和代码下载

后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

图像分割和多模态交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-图像分割或者多模态 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如图像分割或者多模态+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！▲扫码进星球
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看