参照：利用SAM实现自动标注_sam标注-CSDN博客，以及SAM（分割一切模型）的简单调用_sam使用-CSDN博客
sam简介：
Segment Anything Model（SAM）是Meta公司于2023年发布的一种AI模型，它打破了现有的分割技术，通过解决任意输入图像的分割问题，开启了发现世界中对象和区域可能性的新时代。 SAM对人类数字世界和整个视觉应用生态系统有着深远的影响，推动软件与用户的互动方式达到了新的高度。
Segment Anything Model的主要特点包括：
1. 卓越的准确性：在最为复杂的COCO panoptic基准上，SAM以超过56%的mask quality领先于其他方法。模型的准确性与之前的最佳方法相比，提高了30%，并且比亚军模型高出10个百分点。
2. 即插即用：模型以一种即插即用的方式提供，不需要重新训练或微调，同时能够泛化到之前未见过的图像和任务。
3. 遮罩调优能力：用户可以使用单个点击（称为点提示）来校正或微调模型的初始分割结果。
4. 多模式提示：模型能够采用来自多种模式的输入，包括复选框、排除框和标记点，用于优化分割。
5. 灵活性：支持处理各种任务，从细粒度的边界到粗糙的分割。
6. 速度：仅需约0.3秒/帧的速度，在快速和准确之间取得了平衡，与现有的交互式分割方法相比，显著减少了时间需求。
7. 强大的泛化能力：SAM 在不同的数据集和应用场景下都表现出了良好的泛化能力，不仅可以处理各种类型的图像，对于一些它未见过或相对模糊的场景，同样能实现较好的图像分割效果。
总的来说，SAM提供了一种高效的分割解决方案，具有高度的灵活性和准确性，同时不需要像传统的分割方法那样进行大量的微调和训练。
本文通过一个简单的图片分割实践来体验一下sam在非标图片的零样本、零训练下的分割能力。
一、前期准备
1、下载或克隆项目，打开下面的网址，可以克隆或者下载zip文件，这里选择了下载zip文件：GitCode - 全球开发者的开源社区,开源代码托管平台
得到了文件：segment-anything-main.zip
在这个网页中，还可以看到环境的要求：
2、按照上面的要求在conda虚拟环境下安装pytorch和torchvision。这里要注意，虽然SAM没有直接对CUDA版本提出要求， 但是pytorch和CUDA的版本是紧密相关的。
选择了：
pytorch=1.7.1
torchvision=0.8.0
python=3.8
cuda=11.0
cudnn=8.0.5
具体的版本选择方法见：人工智能学习用的电脑安装cuda、torch、conda等软件，版本的选择以及多版本切换_cuda版本要求-CSDN博客
如果使用在线的方式：Previous PyTorch Versions | PyTorch
根据选定的版本下载和安装相关的torch、cuda、conda等工具和软件。
3、安装必要的依赖包
pip install opencv-python pycocotools matplotlib onnxruntime onnx4、下载SAM-TOOL：GitCode - 全球开发者的开源社区,开源代码托管平台 ，得到文件SAM-Tool-main.zip。
5、 下载模型：https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
得到文件：sam_vit_h_4b8939.pth
6、安装：将segment-anything-main.zip解压缩，进入SAM所在的文件夹目录后，在目录下鼠标右键-->“打开于终端”,然后：
pip install -e .二、牛刀小试
1、安装完成后，在segment-anything-main目录下新建目录imgs用于存放图片，新建models目录用以存放模型权重，并新建demo.py，作为测试的脚本。
2、将前面下载得到的阶段权重模型sam_vit_h_4b8939.pth，复制到models目录。
3、将测试用的图片复制到imgs目录。图片是一个工业产品的微观图，特征如下：
图片的大小为1200*850像素，将(330,390)与(480,550)框定的范围作为采样的样本。
4、demo.py的代码内容：
import torch
from segment_anything import SamPredictor, sam_model_registry
import cv2
import numpy as np
import matplotlib.pyplot as plt
from PIL import Image# 加载模型
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
sam_checkpoint = "models/sam_vit_h_4b8939.pth" # 这里填写模型权重路径
model_type = "vit_h" # 模型类型，可选vit_h, vit_l, vit_b
sam = sam_model_registry[model_type](checkpoint=sam_checkpoint) # 加载模型
sam.to(device=device) # 将模型加载到GPU或CPU# 初始化SAM预测器
predictor = SamPredictor(sam)# 读取图片
image_path = "/home/dy/program/segment-anything-main/imgs/IMG_PP.jpg" # 图片路径
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 将图片转换为RGB格式# 设置输入图片
predictor.set_image(image)# 指定一些提示点，指导SAM识别特定对象
input_point = np.array([[330, 390], [480, 550]]) # 将列表转换为NumPy数组
input_label = np.array([1, 1]) # 也将标签转换为NumPy数组# 获得掩膜
masks, scores, logits = predictor.predict( # 返回掩膜、置信度、类别概率point_coords=input_point, # 指定提示点point_labels=input_label, # 指定提示点对应的标签multimask_output=True, # 是否输出多类别掩膜
)print("置信度：", scores,"类别概率:", logits) # 显示置信度, 类别概率def show_masks(masks): # 显示掩膜for i, mask in enumerate(masks):mask_image = (mask * 255).astype("uint8") # 将掩膜转换为8位无符号整数mask = Image.fromarray(mask_image) # 将掩膜转换为PIL图像mask = mask.convert("L") # 将掩膜转换为灰度图像plt.imshow(mask, cmap='jet', alpha=0.5) # 显示掩膜# 显示结果
plt.figure(figsize=(10, 10)) # 设置画布大小
plt.imshow(image) # 显示原图
show_masks(masks) # 显示掩膜
plt.axis('off') # 隐藏坐标轴
plt.show() # 显示图像5、运行脚本，输出结果：
看得出，针对一个零样本、零训练的非标图片，sam的表现还是非常优异的。
