上下文视觉提示实现zero-shot分割检测及多visual-prompt改造

文章目录

  • 一、Closed-Set VS Open-set
  • 二、DINOv
    • 2.1 论文和代码
    • 2.2 内容
    • 2.3 安装部署
    • 2.4 使用效果
  • 三、多visual prompt 改造
    • 3.1 获取示例图mask
    • 3.2 修改函数参数
    • 3.3 推理代码
    • 3.4 效果的提升！
  • 四、总结

  本文主要介绍visual prompt模型DINOv，该模型可输入八张目标示例图作为参考，告诉模型我要找的目标长这样，在新的图片上进行推理，实现实例分割的效果。
   但一些复杂的场景，八张的示例图不能让模型完全的学习到目标的特征，因此扩展模型能力，让visual prompt数量不受限制，对实际场景应用是非常有必要的（附改造方法、改造代码）。

一、Closed-Set VS Open-set

  Closed-Set模型只需要关注有限数量的已知类别，答案选项是预先定义的，这意味着模型的输出范围是有限的、固定的，并且只限于训练时已知的选项，例如YOLO；Open-Set模型可以识别不属于任何已知类别的样本，即其输出范围不是固定的，具备一定的泛化能力和鲁棒性，以应对这些未知的挑战，例如SAM。
  在某些特定的应用场景中，仅仅依赖文本提示（text prompt）来描述目标对象，对于Open-Set大模型来说，可能并不足以实现精准识别。若能够额外提供示例图像（visual prompt），将有助于模型更准确地理解我们的意图，从而提升整体的识别效果。
  下图是DINOv作者提供的demo界面，左上角输入油污推理图，左下角输入多张油污示例图，并用画笔进行mask，运行模型可得到右边的推理效果。

二、DINOv

2.1 论文和代码

论文名称：《Visual In-Context Prompting》
code：https://github.com/UX-Decoder/DINOv
demo：http://semantic-sam.xyzou.net:6099/

2.2 内容

  上下文提示是一种利用少量示例任务来指导模型完成新任务的技术。在视觉任务中，这种技术可以通过提供一组带有标签的图像作为示例，来引导模型理解和解决新的视觉任务。
  模型通过学习少量的带有标签的样本图像，提取出这些图像中的关键特征和模式，然后利用这些特征和模式来生成针对新图像的查询。这个查询可以引导模型在新图像中定位并分割出目标物体。具体来说，模型可能通过学习示例图像中的物体形状、颜色、纹理等特征，以及这些特征与标签之间的关系，来构造出查询。然后，模型将这个查询应用于其他图像，通过匹配和比较查询与图像中的特征，来定位并分割出目标物体。最终，模型会生成一个掩码，标记出分割出的物体区域。
  以图片作为提示（visual prompt），在提示图上通过笔画、画mask等方法作为视觉prompt，可推理出侧视图中同类目标，达到zero-shot目标分割的效果。
在这里插入图片描述
说明：在降落伞进行mask标注，在新的降落伞场景可分割出降落伞，其他场景同理

2.3 安装部署

系统要求：gcc版本>=4.9

# 1、离线安装detectron2
# 下载https://github.com/MaureenZOU/detectron2-xyz.git
Unzip detectron2-xyz.zip  # 解压
Cd detectron2-xyz
Pip install -e .
# 2、离线安装panopticapi
# 下载https://github.com/cocodataset/panopticapi.git
Unzip panopticapi.zip  # 解压
Cd panopticapi
Pip install -e .
# 3、启动DINOv
# 下载DINOv，https://github.com/UX-Decoder/DINOv
Unzip DINOv.zip  # 解压
cd DINOv
python -m pip install -r requirements.txt
python demo_openset.py --ckpt /path/to/swinL/ckpt
# 终端返回下图链接

在这里插入图片描述
注：在浏览器访问public URL，建议使用梯子，local URL直接用即可

2.4 使用效果

  通过界面输入八张示例图，在一些大目标、规整目标（如矩形、圆形），效果较好，在复杂场景、小目标、不规则物体，无法达到预期效果，例如墙缝缺陷，无法分割裂缝。
在这里插入图片描述

三、多visual prompt 改造

  使用八张图片作为示例图，可能无法完全学习到目标。在实际使用中，我们可能采集到一小部分图片，例如50张、100张等；如何让DINOv不受限制，可支持多张输入呢？

3.1 获取示例图mask

  使用labelme标注工具，生成json标注文件，使用下面代码将json转化为标注mask图。

import json
import cv2
import os
import matplotlib.pyplot as plt
import numpy as npdef generate_mask(img_path, json_path, save_path):img = cv2.imread(img_path)img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)mask = np.zeros_like(img)with open(json_path, "r") as f:tmp = f.read()tmp = json.loads(tmp)tmp_shapes = tmp["shapes"]for shape in tmp_shapes:points = shape["points"]points = np.array(points, np.int32)cv2.fillPoly(mask, [points], (255, 255, 255)) img_add = cv2.addWeighted(mask, 0.3,img,0.7,0)cv2.imwrite(save_path, mask)if __name__ == "__main__":imgs_dir = "./imgs"    # 图片目录jsons_dir = "./jsons"  # 标注的json文件存放目录save_dir = "./masks"   # 生成mask图保存目录img_files = os.listdir(imgs_dir)for img_name in img_files:img_path = os.path.join(imgs_dir, img_name)json_path = os.path.join(jsons_dir, img_name.split('.')[0]+'.json')if os.path.exists(json_path):save_path = os.path.join(save_dir, img_name)generate_mask(img_path, json_path, save_path)

3.2 修改函数参数

修改文件路径：demo/openset_task.py
作用：将原8张图输入修改为列表不限制输入

# 原代码31-37行
def task_openset(model,generic_vp1, generic_vp2, generic_vp3, generic_vp4,generic_vp5, generic_vp6, generic_vp7, generic_vp8, image_tgt=None, text_size=640,hole_scale=100,island_scale=100):in_context_examples = [generic_vp1, generic_vp2, generic_vp3, generic_vp4,generic_vp5, generic_vp6, generic_vp7, generic_vp8]in_context_examples = [x for x in in_context_examples if x is not None]t = []t.append(transforms.Resize(int(text_size), interpolation=Image.BICUBIC))

# 替换代码
def task_openset(model,refer_img_list, image_tgt=None, text_size=640,hole_scale=100,island_scale=100):# in_context_examples = [generic_vp1, generic_vp2, generic_vp3, generic_vp4,#                generic_vp5, generic_vp6, generic_vp7, generic_vp8]in_context_examples = refer_img_listin_context_examples = [x for x in in_context_examples if x is not None]t = []t.append(transforms.Resize(int(text_size), interpolation=Image.BICUBIC))

3.3 推理代码

  自定义imgs_dir、mask_dir、tgt_dir，执行代码，可在save_dir中找到结果图

import torch
import argparse
from PIL import Image
import cv2
import osfrom dinov.BaseModel import BaseModel
from dinov import build_model
from utils.arguments import load_opt_from_config_filefrom demo.openset_task import task_openset def parse_option():parser = argparse.ArgumentParser('DINOv Demo', add_help=False)parser.add_argument('--conf_files', default="configs/dinov_sam_coco_swinl_train.yaml", metavar="FILE", help='path to config file', )parser.add_argument('--ckpt', default="model_swinL.pth", metavar="FILE", help='path to ckpt')parser.add_argument('--port', default=6099, type=int, help='path to ckpt', )args = parser.parse_args()return args'''
build args
'''
args = parse_option()'''
build model
'''sam_cfg=args.conf_filesopt = load_opt_from_config_file(sam_cfg)model_sam = BaseModel(opt, build_model(opt)).from_pretrained(args.ckpt).eval().cuda()@torch.no_grad()
def inference(refer_img_list, image2,*args, **kwargs):with torch.autocast(device_type='cuda', dtype=torch.float16):model=model_sama= task_openset(model, refer_img_list, image2, *args, **kwargs)return a"""
读取image和labelme标注的mask图
推理一整个目录的图片
"""def inference_dir(imgs_dir, mask_dir, tgt_dir, save_dir):files = os.listdir(tgt_dir)result_img_list = []for file in files:print(f'==={file}==')image_tgt_path = os.path.join(tgt_dir, file)image_tgt = Image.open(image_tgt_path).convert('RGB')refer_img_list = []img_files = os.listdir(imgs_dir)for img_name in img_files:img_path = os.path.join(imgs_dir, img_name)mask_path = os.path.join(mask_dir, img_name)if os.path.exists(mask_path):generic_vp= {"image":"", "mask":""}generic_vp["image"] = Image.open(img_path).convert('RGB')generic_vp["mask"] = Image.open(mask_path).convert('RGB')refer_img_list.append(generic_vp)# print(len(refer_img_list))res = inference(refer_img_list, image_tgt)res = cv2.cvtColor(res, cv2.COLOR_RGB2BGR)cv2.imwrite(os.path.join(save_dir, os.path.basename(image_tgt_path)), res)if __name__ == "__main__":imgs_dir = "./test_img_2/group_50/refer/imgs"   # 示例图目录mask_dir = "./test_img_2/group_50/refer/masks"  # 示例mask图目录tgt_dir = "./test_img_2/tgt"     # 推理图目录save_dir = "results/group_50/"   # 结果保存目录inference_dir(imgs_dir, mask_dir, tgt_dir, save_dir)

3.4 效果的提升！

  在验证多visual prompt对结果的影响，采用了对比实验。在光学镜头缺陷场景中，8张visual prompt和50张visual prompt进行对比，50张visual prompt得到的推理效果更优！
在这里插入图片描述

四、总结

  如果文章对您有所帮助，记得点赞、收藏、评论探讨✌️

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/336330.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于STM32单片机老人体温心率血氧跌倒定位短信报警

基于STM32单片机老人体温心率血氧跌倒定位短信报警

一.硬件及设计功能 以STM32F103C8T6为中央处理器，GPS模块用采集数据，将数据发送给单片机后，单片机根据定位计算公式得出当前位置的经纬度信息和时间信息。经过LCD显示器处理后得出和时间信息SIM800模块发送短信到设定的手机号上，将…
阅读更多...
基于心电疾病分类的深度学习模型部署应用于OrangePi Kunpeng Pro开发板

基于心电疾病分类的深度学习模型部署应用于OrangePi Kunpeng Pro开发板

一、开发板资源介绍 该板具有4核心64位的处理器和8TOPS的AI算力，让我们验证一下，在该板上跑深度学习模型的效果如何？ 二、配网及远程SSH登录访问系统 在通过microusb连接串口进入开发板调试，在命令行终端执行以下命令 1&#…
阅读更多...
Verilog HDL基础知识（一）

Verilog HDL基础知识（一）

引言：本文我们介绍Verilog HDL的基础知识，重点对Verilog HDL的基本语法及其应用要点进行介绍。 1. Verilog HDL概述 什么是Verilog？Verilog是IEEE标准的硬件描述语言，一种基于文本的语言，用于描述最终将在硬件中实现…
阅读更多...
antd table列选中效果实现

antd table列选中效果实现

前言 开发中有一个需要呈现不同时间点各个气象要素的值需求，我觉得一个table可以实现这类数据的展示，只是因为时间点时关注的重点，所以需要列选中效果，清晰的展示时间点下的要素数据。我选择的是antd的table组件，这个…
阅读更多...
el-pagination在删除非第一页的最后一条数据遇到的问题

el-pagination在删除非第一页的最后一条数据遇到的问题

文章目录 前言一、问题展示二、解决方案三、源码解析1、elementui2、elementplus 总结 前言 这个问题是element-ui中的问题，可以从源码中看出来，虽然页码更新了，active也是对的，但是未调用current-change的方法，这里就…
阅读更多...
【C语言训练题库】杨辉三角(下三角型和金字塔型)

【C语言训练题库】杨辉三角(下三角型和金字塔型)

🔥博客主页🔥：【 坊钰_CSDN博客 】 欢迎各位点赞👍评论✍收藏⭐ 目录 题目：打印杨辉三角 1. 下三角型 1.1 图例: 1.2. 解析: 1.3. 代码: 1.4. 运行： 2. 金字塔型 2.1 图例 2.2. 解析 2.2.1. 打印金…
阅读更多...
Liunx学习随笔

Liunx学习随笔

Linux学习随笔 Linux学习随笔一.前期准备1.安装Vmware Workstation软件2.下载linux镜像3.安装操作系统4.配置静态ip5.下载安装远程连接工具 二.语法2.1 linux哲学思想(原则)2.2 小命令 夕阳无限好，只是近黄昏，时隔一年，重新提笔 没有比脚更远…
阅读更多...
装机必备——截图软件PixPin安装教程

装机必备——截图软件PixPin安装教程

装机必备——截图软件PixPin安装教程 软件下载 软件名称：PixPin 1.5 软件语言：简体中文 软件大小：30.1M 系统要求：Windows7或更高， 64位操作系统 硬件要求：CPU2GHz ，RAM2G或更高 下载通道①迅…
阅读更多...
Kafka原生API使用Java代码-生产者-发送消息

Kafka原生API使用Java代码-生产者-发送消息

文章目录 1、生产者发送消息1.1、使用EFAK创建主题my_topic31.2、根据kafka官网文档写代码1.3、pom.xml1.4、KafkaProducer1.java1.5、使用EFAK查看主题1.6、再次运行KafkaProducer1.java1.7、再次使用EFAK查看主题 1、生产者发送消息 1.1、使用EFAK创建主题my_topic3 1.2、根…
阅读更多...
linnux上安装php zip(ZipArchive)、libzip扩展

linnux上安装php zip(ZipArchive)、libzip扩展

安装顺序： 安装zip（ZipArchive），需要先安装libzip扩展 安装libzip，需要先安装cmake 按照cmake、libzip、zip的先后顺序安装 下面的命令都是Linux命令 1、安装cmake 确认是否已安装 cmake --version cmake官网 未安装…
阅读更多...
C++ 进阶（3）虚函数表解析

C++ 进阶（3）虚函数表解析

个人主页：仍有未知等待探索-CSDN博客 专题分栏：C 请多多指教！ 目录 一、虚函数表 二、单继承（无虚函数覆盖） 继承关系表： 对于实例：derive d 的虚函数表： 对于实例：b…
阅读更多...
【面试干货】数据库乐观锁，悲观锁的区别，怎么实现

【面试干货】数据库乐观锁，悲观锁的区别，怎么实现

【面试干货】数据库乐观锁，悲观锁的区别，怎么实现 1、乐观锁，悲观锁的区别2、总结 💖The Begin💖点点关注，收藏不迷路💖 1、乐观锁，悲观锁的区别 悲观锁（Pessimistic Lo…
阅读更多...
智能除螨—wtn6040-8s语音芯片方案引领除螨仪新时代

智能除螨—wtn6040-8s语音芯片方案引领除螨仪新时代

语音螨仪开发背景： 随着物联网技术的快速发展，除螨仪作为家庭清洁的重要工具，其智能化、人性化的设计成为提升市场竞争力的关键。置入语音芯片的除螨仪，通过开机提示、工作状态反馈、操作指引、故障提醒等内容。用户可以更加直观…
阅读更多...
MVC和Filter

MVC和Filter

目录 MVC和三层架构模型的联系 Filter 概念 作用 应用场景 步骤 简单入门 注解开发 Filter过滤器的生命周期 Filter的拦截路径 过滤链 MVC和三层架构模型的联系 m-->model即模型是三层架构模型的业务层（service）和持久层(dao) v-->view…
阅读更多...
【制作100个unity游戏之27】使用unity复刻经典游戏《植物大战僵尸》，制作属于自己的植物大战僵尸随机版和杂交版6（附带项目源码）

【制作100个unity游戏之27】使用unity复刻经典游戏《植物大战僵尸》，制作属于自己的植物大战僵尸随机版和杂交版6（附带项目源码）

最终效果 系列导航 文章目录 最终效果系列导航前言方法一、使用excel配置表excel转txt文本读取txt数据按配置信息生成僵尸 方法二、使用ScriptableObject 配置关卡信息源码结束语 前言 本节主要是推荐两种实现配置关卡信息，并按表生成僵尸和关卡波次 方法一、使用…
阅读更多...
YOLOv10 | 无NMS的YOLO | 实时端到端目标检测的新突破

YOLOv10 | 无NMS的YOLO | 实时端到端目标检测的新突破

过去几年里，YOLOs因在计算成本和检测性能之间实现有效平衡而成为实时目标检测领域的主流范式。研究人员针对YOLOs的结构设计、优化目标、数据增强策略等进行了深入探索，并取得了显著进展。然而，对非极大值抑制（NMS）的后…
阅读更多...
虚拟机改IP地址

虚拟机改IP地址

使用场景：当你从另一台电脑复制一个VMware虚拟机过来，就是遇到一个问题，虚拟的IP地址不一样（比如，一个是192.168.1.3，另一个是192.168.2.4，由于‘1’和‘2’不同，不是同一网段&#…
阅读更多...
写Python时不用import，你会遭遇什么

写Python时不用import，你会遭遇什么

from *** import *** 想必你已经再熟悉不过这样的python语法。 当你的 python 代码需要获取外部的一些功能（一些已经造好的轮子），你就需要使用到 import 这个声明关键字。import可以协助导入其他 module 。（类似 C 预约的 inclu…
阅读更多...
MyBatisPlus学习笔记（二）

MyBatisPlus学习笔记（二）

条件构造器： Wrapper的作用就是来封装我们当前的条件的 删除用的和查询用的一样：QueryWrapper 和 LambdaQueryWrapper MyBatis-Plus分页插件的配置和使用 Ctrl H 查看当前接口或者类的一个继承关系 Ctrl P 分页插件 乐观锁和悲观锁 通用枚举 代码…
阅读更多...
Docker安装nginx详细教程

Docker安装nginx详细教程

详细教程如下： 1. 拉取Nginx镜像 docker pull nginx默认拉最新的（也可以根据自己的需求指定版本） 2. 运行Nginx容器 docker run --name my-nginx -d -p 80:80 nginx--name my-nginx：容器名称，便于管理。-d&#xf…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023