segment-anything使用说明

文章目录

  • 一. segment-anything介绍
  • 二. 官网Demo使用说明
  • 三. 安装教程
  • 四. python调用生成掩码教程
  • 五. python调用SAM分割后转labelme数据集

一. segment-anything介绍

Segment Anything Model（SAM）根据点或框等输入提示生成高质量的对象遮罩，可用于为图像中的所有对象生成掩膜。
在这里插入图片描述
在这里插入图片描述

二. 官网Demo使用说明

  1. 官网Demo地址:https://segment-anything.com/demo
    在这里插入图片描述
  2. 载入图像后，可以通过点击图像上一点分割出物体
    在这里插入图片描述
  3. 也可以通过框选一个区域进行分割
    在这里插入图片描述
  4. 可以一键分割出所有物体
    在这里插入图片描述
  5. 可以将分割出来的物体剪出来
    在这里插入图片描述

三. 安装教程

官网安装说明:https://github.com/facebookresearch/segment-anything

  1. anaconda下新建一个环境

    conda create -n pytorch python=3.8

    在这里插入图片描述

  2. 激活新建的环境

    conda activate sam

在这里插入图片描述

  1. 更换conda镜像源

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

    在这里插入图片描述

  2. 安装pytorch

    conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3

    在这里插入图片描述

  3. 克隆官方代码

    git clone git@github.com:facebookresearch/segment-anything.git

    在这里插入图片描述

  4. 进入下载好的文件夹，打开cmd，激活安装好的环境，运行以下代码

    pip install -e .

    在这里插入图片描述
    在这里插入图片描述

  5. 安装所需python库

    pip install opencv-python pycocotools matplotlib onnxruntime onnx -i https://mirrors.aliyun.com/pypi/simple/

    在这里插入图片描述

  6. 从官网下载模型，并复制到源代码下
    在这里插入图片描述
    在这里插入图片描述

  7. 运行以下代码
    1.png为放置在源代码下的图像

    python scripts/amg.py --checkpoint sam_vit_b_01ec64.pth --model-type vit_b --input 1.jpg --output result

    在这里插入图片描述

    生成的图像掩码在这里插入图片描述

四. python调用生成掩码教程

import numpy as np
import torch
import matplotlib.pyplot as plt
import cv2
import sys
from segment_anything import sam_model_registry, SamAutomaticMaskGenerator, SamPredictordef show_anns(anns):if len(anns) == 0:return# 对检测结果的字典对象进行排序sorted_anns = sorted(anns, key=(lambda x: x['area']), reverse=True)ax = plt.gca()ax.set_autoscale_on(False)img = np.ones((sorted_anns[0]['segmentation'].shape[0], sorted_anns[0]['segmentation'].shape[1], 4))img[:,:,3] = 0for ann in sorted_anns:m = ann['segmentation']color_mask = np.concatenate([np.random.random(3), [0.35]])img[m] = color_maskax.imshow(img)# 通过opencv图取图像
image = cv2.imread('4.PNG')
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)# 通过plt显示读取的图像
plt.figure(figsize=(20,20))
plt.imshow(image)
plt.axis('off')
plt.show()# 添加当前系统路径，添加模型文件路径
sys.path.append("..")
sam_checkpoint = "sam_vit_h_4b8939.pth"
model_type = "vit_h"# 设置运行推理的设备
device = "cuda"# 创建sam模型推理对象
sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
sam.to(device=device)
mask_generator = SamAutomaticMaskGenerator(sam)# 将图像送入推理对象进行推理分割,输出结果为一个列表，其中存的每个字典对象内容为：
# segmentation : 分割出来的物体掩膜（与原图像同大小，有物体的地方为1其他地方为0）
# area : 物体掩膜的面积
# bbox : 掩膜的边界框(XYWH)
# predicted_iou : 模型自己对掩模质量的预测
# point_coords : 生成此掩码的采样输入点
# stability_score : 掩模质量的一个附加度量
# crop_box : 用于以XYWH格式生成此遮罩的图像的裁剪
masks = mask_generator.generate(image)# 打印分割出来的个数以及第一个物体信息
print(len(masks))
print(masks[0].keys())# 给分割出来的物体上色，显示分割效果
plt.figure(figsize=(20,20))
plt.imshow(image)
show_anns(masks)
plt.axis('off')
plt.show()

五. python调用SAM分割后转labelme数据集

import numpy as np
import torch
import matplotlib.pyplot as plt
import cv2
import json
import sys
from segment_anything import sam_model_registry, SamAutomaticMaskGenerator, SamPredictordef segment(imgPath):# 通过opencv图取图像image = cv2.imread(imgPath)image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)# 通过plt显示读取的图像# plt.figure(figsize=(20,20))# plt.imshow(image)# plt.axis('off')# plt.show()# 添加当前系统路径，添加模型文件路径sys.path.append("..")sam_checkpoint = "sam_vit_h_4b8939.pth"model_type = "vit_h"# 设置运行推理的设备device = "cuda"# 创建sam模型推理对象sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)sam.to(device=device)mask_generator = SamAutomaticMaskGenerator(sam)# 将图像送入推理对象进行推理分割,输出结果为一个列表，其中存的每个字典对象内容为：# segmentation : 分割出来的物体掩膜（与原图像同大小，有物体的地方为1其他地方为0）# area : 物体掩膜的面积# bbox : 掩膜的边界框(XYWH)# predicted_iou : 模型自己对掩模质量的预测# point_coords : 生成此掩码的采样输入点# stability_score : 掩模质量的一个附加度量# crop_box : 用于以XYWH格式生成此遮罩的图像的裁剪masks = mask_generator.generate(image)# 打印分割出来的个数以及第一个物体信息print(len(masks))print(masks[0].keys())# 给分割出来的物体上色，显示分割效果# plt.figure(figsize=(20,20))# plt.imshow(image)show_anns(masks, imgPath)# plt.axis('off')# plt.show()def show_anns(anns, imgPath):if len(anns) == 0:return# 对检测结果的字典对象进行排序sorted_anns = sorted(anns, key=(lambda x: x['area']), reverse=True)ax = plt.gca()ax.set_autoscale_on(False)img = np.ones((sorted_anns[0]['segmentation'].shape[0], sorted_anns[0]['segmentation'].shape[1], 4))img[:,:,3] = 0shapes = []for ann in sorted_anns:# 过滤面积比较小的物体if ann['area'] >=2500:# 创建labelme格式tempData = {"label": "otherheavy","points": [],"group_id": None,"shape_type": "polygon","flags": {}}# 获取分割物体掩膜m = ann['segmentation']# 找出物体轮廓objImg = np.zeros((m.shape[0], m.shape[1], 1), np.uint8)objImg[m] = 255contours, hierarchy = cv2.findContours(objImg, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)# 找出轮廓最大的max_area = 0maxIndex = 0for i in range(0, len(contours)):area = cv2.contourArea(contours[i])if area >= max_area:max_area = areamaxIndex = i# 将每个物体轮廓点数限制在一定范围内if len(contours[maxIndex]) >=30:contours = list(contours[maxIndex])contours = contours[::int(len(contours)/30)]else:contours = list(contours[maxIndex])# 显示图像# contourImg = np.zeros((m.shape[0], m.shape[1], 3), np.uint8)# cv2.drawContours(contourImg, contours, -1, (0, 255, 0), -1)# cv2.imshow("1", contourImg)# cv2.waitKey(0)# 向labelme数据格式中添加轮廓点for point in contours:tempData["points"].append([int(point[0][0]), int(point[0][1])])# 添加物体标注信息shapes.append(tempData)# 在彩色图像上标出物体color_mask = np.concatenate([np.random.random(3), [1]])img[m] = color_maskjsonPath = imgPath.replace(".png", ".json")  # 需要生成的文件路径print(jsonPath)# 创建json文件file_out = open(jsonPath, "w")# 载入json文件jsonData = {}# 8. 写入，修改json文件jsonData["version"] = "5.2.1"jsonData["flags"] = {}jsonData["shapes"] = shapesjsonData["imagePath"] = imgPathjsonData["imageData"] = NonejsonData["imageHeight"] = sorted_anns[0]['segmentation'].shape[0]jsonData["imageWidth"] = sorted_anns[0]['segmentation'].shape[1]# 保存json文件file_out.write(json.dumps(jsonData, indent=4))  # 保存文件# 关闭json文件file_out.close()ax.imshow(img)if __name__ == '__main__':imgPath = "4.png"segment(imgPath)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/80319.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

spring eurake中使用IP注册

spring eurake中使用IP注册

在开发spring cloud的时候遇到一个很奇葩的问题，就是服务向spring eureka中注册实例的时候使用的是机器名，然后出现localhost、xxx.xx等这样的内容，如下图： eureka.instance.perferIpAddresstrue 我不知道这朋友用的什么spring c…
阅读更多...
爬虫009_字符串高级_替换_去空格_分割_取长度_统计字符_间隔插入---python工作笔记028

爬虫009_字符串高级_替换_去空格_分割_取长度_统计字符_间隔插入---python工作笔记028

然后再来看字符串的高级操作 取长度 查找字符串下标位置 判断是否以某个字符,开头结尾 计算字符出现次数 替换
阅读更多...
sigmoid ReLU 等激活函数总结

sigmoid ReLU 等激活函数总结

sigmoid ReLU sigoid和ReLU对比 1.sigmoid有梯度消失问题：当sigmoid的输出非常接近0或者1时，区域的梯度几乎为0，而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化，它可能在正区间得到几乎为0的梯度。使模型无法有效训练。 …
阅读更多...
什么是OCR？OCR技术详解

什么是OCR？OCR技术详解

光学字符识别(Optical Character Recognition)简称为“OCR”。ORC是指对包含文本资料的图像文件进行分析识别处理，获取文字及版面信息的技术。 一般包括以下几个过程： 1.图像输入 针对不同格式的图像，有着不同的存储格式和压缩方式。目前&…
阅读更多...
TypeScript学习笔记

TypeScript学习笔记

1.ts和js的区别 2. ts的优势 3. ts下载后报错解决方法 报错: PS C:\Users\\Desktop> tsc -v tsc : 无法加载文件 C:\Users\32173\AppData\Roaming\npm\tsc.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/ go.microsoft.com/fwlink/?…
阅读更多...
接口测试——电商网站接口测试实战（四）

接口测试——电商网站接口测试实战（四）

1. 接口测试需求分析 常见接口文档提供的两种方式 ①word文档 ②在线文档 电商网站网址模拟练习：Swagger UI 2. 登陆的分析 慕慕生鲜网址：慕慕生鲜账号密码点击execute后 输入账号密码后点击开发者工具，再登录，点击网络&…
阅读更多...
Linux下C/C++的gdb工具与Python的pdb工具常见用法之对比

Linux下C/C++的gdb工具与Python的pdb工具常见用法之对比

1、gdb和pdb分别是什么？ 1.1、gdb GDB（GNU Debugger）是一个功能强大的命令行调试工具，由GNU项目开发，用于调试C、C等编程语言的程序。它在多个操作系统中都可以使用，包括Linux、MacOS和Windows&#xff0…
阅读更多...
oracle的管道函数

oracle的管道函数

Oracle管道函数(Pipelined Table Function)oracle管道函数 1、管道函数即是可以返回行集合（可以使嵌套表nested table 或数组 varray）的函数，我们可以像查询物理表一样查询它或者将其赋值给集合变量。 2、管道函数为并行执行，在…
阅读更多...
如何实现基于场景的接口自动化测试用例？

如何实现基于场景的接口自动化测试用例？

自动化本身是为了提高工作效率，不论选择何种框架，何种开发语言，我们最终想实现的效果，就是让大家用最少的代码，最小的投入，完成自动化测试的工作。 基于这个想法，我们的接口自动化测试思路如下…
阅读更多...
软件设计师（七）面向对象技术

软件设计师（七）面向对象技术

面向对象： Object-Oriented， 是一种以客观世界中的对象为中心的开发方法。 面向对象方法有Booch方法、Coad方法和OMT方法等。推出了同一建模语言UML。 面向对象方法包括面向对象分析、面向对象设计和面向对象实现。 一、面向对象基础 1、面向对象的基本…
阅读更多...
【数据结构与算法】二叉排序树（BST）

【数据结构与算法】二叉排序树（BST）

二叉排序树（BST） 需求： 给你一个数列{7,3,10,12,5,1,9}，要求能够高效的完成对数据的查询和添加。 解决方案分析 使用数组 数组未排序，优点：直接在数组尾添加，速度快。缺点：查找速…
阅读更多...
[C++项目] Boost文档 站内搜索引擎(3): 建立文档及其关键字的正排 倒排索引、jieba库的安装与使用...

[C++项目] Boost文档 站内搜索引擎(3): 建立文档及其关键字的正排 倒排索引、jieba库的安装与使用...

之前的两篇文章: 第一篇文章介绍了本项目的背景, 获取了Boost库文档 🫦[C项目] Boost文档 站内搜索引擎(1): 项目背景介绍、相关技术栈、相关概念介绍…第二篇文章 分析实现了parser模块. 此模块的作用是 对所有文档html文件, 进行清理并汇总 🫦[C项目] …
阅读更多...
Spring Boot整合ES的两种方式

Spring Boot整合ES的两种方式

使用Spring Data Elasticsearch Starter 在Spring Boot中整合Elasticsearch的方式之一是使用Elasticsearch的官方Spring Data Elasticsearch Starter。该Starter提供了对Elasticsearch的高级集成，简化了配置和管理Elasticsearch客户端。 下面是使用Spring Data E…
阅读更多...
【C++】智能指针

【C++】智能指针

一、为什么要智能指针 下面我们先分析下面这段程序有没有什么内存方面的问题？ int Div(int a, int b) {if (b 0)throw invalid_argument("除0错误");elsereturn a / b; } void Func() {// 1、如果 p1 这里 new 抛异常会如何？// 2、如果 p2 …
阅读更多...
【C++从0到王者】第十六站：stack和queue的使用

【C++从0到王者】第十六站：stack和queue的使用

文章目录 一、stack的使用1.stack的介绍2.stack的使用 二、queue的使用1.queue的护额晒2.queue的使用 三、stack和queue相关算法题1.最小栈2.栈的压入、弹出序列3.逆波兰表达式4.两个栈实现一个队列5.用两个队列实现栈6.二叉树的层序遍历1.双队列2.用一个变量levelSize去控制 7…
阅读更多...
K8S系列文章 之 编写自动化部署K8S脚本

K8S系列文章 之 编写自动化部署K8S脚本

介绍 通过ansible脚本shell实现自动化部署k8s基础集群(v1.25.0) 部署结构 1. 通过二进制部署包镜像安装k8s集群、目录etcd节点只支持1-3个节点、最多三个etcd节点 2. 因k8s版本相对较新、需要升级内核来支持后台程序、当前版本只支持Cento7，内核版本(5.19.4-1.el7…
阅读更多...
ffmpeg+nginx实现rtsp协议摄像头web端播放

ffmpeg+nginx实现rtsp协议摄像头web端播放

ffmpegnginx实现rtsp协议摄像头web端播放 环境准备准备nginx环境添加rtmp模块添加hls转发 使用ffmpeg，将摄像头rtsp转为rtmp并推送到nginxVLC播放验证 环境准备 nginx（需要安装rtmp模块）ffmpeg 6.0vlc播放器（本地播放验证&#x…
阅读更多...
大数据课程H2——TELECOM的电信流量项目实现

大数据课程H2——TELECOM的电信流量项目实现

文章作者邮箱：yugongshiyesina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解TELECOM项目的数据收集； ⚪ 了解TELECOM项目的数据清洗； ⚪ 了解TELECOM项目的数据导出； ⚪ 了解TELECOM项目的数据可视化&…
阅读更多...
观察者模式（C++）

观察者模式（C++）

定义 定义对象间的一种一对多(变化)的依赖关系，以便当一个对象(Subject)的状态发生改变时，所有依赖于它的对象都得到通知并自动更新。 ——《设计模式》GoF 使用场景 一个对象（目标对象）的状态发生改变，所有的依赖对…
阅读更多...
SpringBoot第33讲：SpringBoot集成ShardingJDBC - 基于JPA的读写分离

SpringBoot第33讲：SpringBoot集成ShardingJDBC - 基于JPA的读写分离

SpringBoot第33讲：SpringBoot集成ShardingJDBC - 基于JPA的读写分离 本文是SpringBoot第33讲，主要介绍分表分库，以及SpringBoot集成基于 ShardingJDBC 的读写分离实践 文章目录 SpringBoot第33讲：SpringBoot集成ShardingJDBC - 基…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023