深度学习算法应用实战 | 利用 CLIP 模型进行“零样本图像分类”

文章目录

    • 1. 零样本图像分类简介
      • 1.1 什么是零样本图像分类?
      • 1.2 通俗一点的解释
    • 2. 模型原理图
    • 3. 环境配置
    • 4. 代码实战
    • 5. Gradio前端页面
      • 5.1 什么是 Gradio ?
    • 6 进阶操作
    • 7. 总结


1. 零样本图像分类简介

在这里插入图片描述

1.1 什么是零样本图像分类?

“零样本图像分类”(Zero-shot image classification)指的是使用一个模型对图像进行分类,而这个模型并没有在包含那些特定类别的标记样本的数据上进行过显式训练。

传统的图像分类方法需要在一组特定的带标签的图像上训练模型。这个模型通过学习,将图像的某些特征与标签相对应。当需要使用这种模型来处理引入了新标签集的分类任务时,通常需要进行模型的微调,以适应新的标签。

与此相反,零样本或开放词汇的图像分类模型通常是多模态模型,这些模型在包含大量图像及其相关描述的数据集上进行训练。这些模型学习了视觉和语言之间对齐的表示方法,可以应用于包括零样本图像分类在内的许多下游任务。

这是一种更为灵活的图像分类方法,它允许模型在不需要额外训练数据的情况下,泛化到新的和未见过的类别。同时,它也使用户能够用自由形式的文本描述来查询他们目标对象的图像。


1.2 通俗一点的解释

上面的内容如果看不懂没关系,下面我来用通俗的语言解释这段话:

比如我们想让一个熊孩子能认识不同的图片(比如区分猫和狗),我们需要给这个熊孩子看很多标有“这是猫”、“这是狗”的图片来训练它。这就像是在教熊孩子“这些特征意味着猫,那些特征意味着狗”。但如果突然出现一个新的动物种类,比如浣熊,而熊孩子之前没有学习过浣熊的图片,它就不知道怎么识别了。这时,我们通常需要给熊孩子更多的浣熊图片来训练它识别浣熊。这就是我们上面提到的传统的图像分类

然而,“零样本图像分类”就像是给熊孩子一种超能力,让它能在没有直接学习过某个类别(比如浣熊)的情况下也能识别出来。这种方式是通过训练熊孩子理解图片和文字之间的关系来实现的。比如,熊孩子在学习的时候不仅看图片,还学习这些图片的描述。这样,当它遇到一个新的图片(比如浣熊),即使它之前没有直接学习过,它也可以通过理解图片的特征和之间学到的文字描述来猜测这可能是“浣熊”。

总的来说,这就是一种更聪明的方式,让熊孩子能够在没有被直接训练识别某些东西的情况下,也能识别出这些东西来。


那这篇博客, 我就教大家使用 CLIP 搭建一个零样本的分类模型!不需要任何的训练就可以实现你的分类需求!

教程使用 huggingfacetransformers 库来完成,这样方便我对整个专栏的代码教程进行维护,也方便我为大家分发模型(这种多模态的模型一般都很大,自己下载一次很麻烦,我会在博客中提供模型网盘地址)。


2. 模型原理图

论文地址:[paper] Learning Transferable Visual Models From Natural Language Supervision (arxiv.org)

论文摘要最近,在大量数据上进行模型预训练的自然语言处理领域取得的突破为计算机视觉领域的类似基础模型铺平了道路。这些模型可以通过生成通用视觉特征(即,适用于不同图像分布和任务且无需微调的特征)来大大简化任何系统中图像的使用。本研究表明,如果在来自不同来源的足够多的策划数据上训练,现有的预训练方法,特别是自监督方法,可以产生这样的特征。我们重新审视现有方法,并结合不同技术来扩展我们的预训练,包括数据和模型规模方面。大部分技术贡献旨在加速和稳定大规模训练。在数据方面,我们提出了一个自动化管道,用于构建专用的、多样化的、策划的图像数据集,而不是像自监督文献中通常做的那样使用未策划的数据。在模型方面,我们训练了一个拥有10亿参数的ViT模型,并将其蒸馏成一系列较小的模型,这些模型在大多数图像和像素级基准测试中超过了现有最佳的通用特征,即OpenCLIP

在这里插入图片描述


3. 环境配置

后续所有教程都使用conda环境,请大家自行配置好~

conda create --name huggingface-env python==3.8 -yconda activate huggingface-envpip install transformers

4. 代码实战

本次实战我们选择 openai 团队开源的 clip-vit-base-patch32 版本。借助 transformers 库 ,我们可以通过几行代码就完成一个零样本分类任务。

下载好我提供的模型后,修改以下两处就可以顺利运行代码:

  1. model路径和processor路径指定到你下载下来文件的位置。
  2. image_path路径换成本地图片路径。
# 导入Python图像库PIL和requests库
from PIL import Image
import requests# 导入transformers库中的CLIP处理器和CLIP模型
from transformers import CLIPProcessor, CLIPModel# 从预训练路径加载CLIP模型
model = CLIPModel.from_pretrained("/home/models/clip-vit-base-patch32")
# 从预训练路径加载CLIP处理器
processor = CLIPProcessor.from_pretrained("/home/models/clip-vit-base-patch32")# 设置一个图像的路径
image_path = "000000039769.jpg"
# 使用PIL的Image打开它
image = Image.open(image_path)# 使用处理器处理文本(这里有两个文本:猫和狗的照片)和图片,将它们转换为模型可以处理的格式
inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)# 将处理好的输入数据传递给模型并得到输出
outputs = model(**inputs)
# 从输出中获取图像与文本之间的相似性分数
logits_per_image = outputs.logits_per_image 
# 使用softmax函数计算标签的概率
probs = logits_per_image.softmax(dim=1) 
# 打印出概率
print(probs)
# tensor([[0.9949, 0.0051]], grad_fn=<SoftmaxBackward0>)

模型地址

链接:https://pan.baidu.com/s/1eg95QBmMOx9P0GvX-pshMg
提取码:hhze

小知识

如果你够细心,你就会发现打印出来的概率后面有一个grad_fn标识。

grad_fn=<SoftmaxBackward0> 是一个表示该张量是通过某个操作产生的,并且这个操作在PyTorch的自动微分系统中具有可微性(即可以进行梯度反向传播)的标识。

  • tensor([[0.9949, 0.0051]]:这是一个包含概率值的张量。在这个例子中,它表示图片被模型识别为第一个类别("a photo of a cat")的概率是99.49%,识别为第二个类别("a photo of a dog")的概率是0.51%
  • grad_fn:这是"gradient function"的缩写,意味着这个张量是作为一个计算结果产生的,而这个计算是可以进行梯度反向传播的。在这种情况下,<SoftmaxBackward0>是一个特定的梯度函数,它指的是这个张量是通过Softmax函数计算得到的,并且如果需要的话,可以通过这个函数来计算梯度。

我们这篇内容就是那模型进行推理,所以我们不需要关心这个grad_fn属性。


5. Gradio前端页面

每次都使用黑洞洞的终端推理图片是不是很无聊呢?下面为大家介绍一个工具,它可以快速的为算法实现一个前端页面,方便我们以图形化的方式推理图片。

5.1 什么是 Gradio ?

项目地址:gradio-app

文档地址:Gradio Interface Docs

Gradio 是一个开源库,旨在为机器学习模型提供快速且易于使用的网页界面。它允许开发者和研究人员轻松地为他们的模型创建交互式的演示,使得无论技术背景如何的人都可以方便地试用和理解这些模型。使用Gradio,你只需几行代码就可以生成一个网页应用程序,该应用程序可以接收输入(如图片、文本或音频等),并展示模型的输出。这对于测试、展示和获取模型反馈非常有用,特别是在协作、教育或研究的环境中。此外,它还提供了一系列用于增强用户体验的功能,如输入验证、自定义布局和分析工具,这些都使得Gradio成为机器学习领域中展示和共享模型的受欢迎工具。

安装方式很简单,一行指令搞定。

pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

下面是我基于这个库实现的 CLIP 零样本分类模型页面,同时为大家分别准备了一张猫一张狗的图片,以便大家能够更好地体验和使用这个工具。

请添加图片描述
请添加图片描述

import gradio as gr
from PIL import Image
from transformers import CLIPProcessor, CLIPModel
import torch
import requests# 从预训练的路径中加载CLIP模型和处理器
model = CLIPModel.from_pretrained("/home/models/clip-vit-base-patch32"
)
processor = CLIPProcessor.from_pretrained("/home/models/clip-vit-base-patch32"
)def classify_image_with_text(image, text):# 根据逗号分割输入文本,以处理多个标签labels = text.split(",")# 处理输入数据:将文本和图像转换为模型可以处理的格式inputs = processor(text=labels, images=image, return_tensors="pt", padding=True)# 获取模型的输出with torch.no_grad():outputs = model(**inputs)# 计算概率logits_per_image = outputs.logits_per_image  # 这是图像与文本之间的相似度分数probs = logits_per_image.softmax(dim=1).tolist()[0]  # 用softmax获取标签概率# 创建一个响应字典,用于输出每个标签的概率response = {label: prob for label, prob in zip(labels, probs)}return response# 创建Gradio界面
# fn指定了要运行的函数,inputs定义了输入类型,outputs定义了输出类型
iface = gr.Interface(fn=classify_image_with_text,inputs=[gr.Image(type="pil"), gr.Textbox(label="Text Input")],  # 图片和文本框输入outputs="json",  # 输出为JSON格式examples=[["https://gitee.com/diffiehellman/diffiehellman_personal_blog_gallery/raw/master/cdog.jpg","dog, cat, tigers, lions, elephants, pandas, giraffes",],["https://gitee.com/diffiehellman/diffiehellman_personal_blog_gallery/raw/master/ccat.jpg","dog, cat, tigers, lions, elephants, pandas, giraffes",],],title="CLIP零样本图像分类",description="上传一张图片获得json格式的零样本分类结果",
)# 启动界面
iface.launch()

6 进阶操作

在我们学习了如何使用 CLIP 之后,接下来我们将利用这些知识来实施一个小型项目。这个项目的目的是通过实际操作来加强大家对 Python 中一些常用库的熟悉程度。

这一次,我们的项目相对简单:我们将从一个包含猫和狗图片的混合文件夹中,使用我们学习的算法自动区分并归类这两种图片。

这个案例不仅是一个很好的机器学习入门项目,也是一个非常实用的技能,可以应用于各种图片分类任务,用来清洗个数据集什么的非常的方便~

算法步骤

  1. 加载模型:使用transformers库加载预训练的 CLIP 模型和处理器。
  2. 读取图片:使用 PIL 读取图片。
  3. 图像预处理:使用 CLIP 的处理器对图片进行预处理。
  4. 模型预测:对每张处理过的图片使用 CLIP 模型,获取其与“猫”和“狗”文本描述的相似度。
  5. 分类和保存:根据模型的预测将图片分类为猫或狗,并保存到相应的文件夹。

使用到的Python库

  • PIL(Python Imaging Library):一个强大的图像处理库,可用于打开、操作和保存多种图像格式。
  • OS:用于与操作系统进行交互。它提供了丰富的方法来处理文件和文件夹。通过os库可以执行诸如创建、删除、移动文件和目录,以及获取文件属性等操作。
from PIL import Image
import requests
from transformers import CLIPProcessor, CLIPModel
import os# 加载预训练的CLIP模型和处理器
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")# 定义读取图片的文件夹路径
folder_path = "/path/to/your/folder"# 定义保存分类后图片的路径
save_path_cats = "/path/to/save/cats"
save_path_dogs = "/path/to/save/dogs"# 读取文件夹中的所有图片文件
for filename in os.listdir(folder_path):if filename.endswith(".jpg") or filename.endswith(".png"):  # 检查文件格式# 打开图片image = Image.open(os.path.join(folder_path, filename))# 使用处理器处理图片和文本inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)# 模型预测outputs = model(**inputs)probs = outputs.logits_per_image.softmax(dim=1)# 根据预测结果分类图片if probs[0, 0] > probs[0, 1]:  # 如果“猫”的概率高于“狗”image.save(os.path.join(save_path_cats, filename))  # 保存到猫的文件夹else:image.save(os.path.join(save_path_dogs, filename))  # 保存到狗的文件夹print("分类完成!")

7. 总结

这篇教程是我们系列文章的开篇之作。虽然内容相对简单,但我们实现的算法 CLIP 是一个在多模态领域极具影响力的模型。这个经典的模型不仅在本教程中发挥了重要作用,而且在后续的博客中,我们还将继续利用它来实施更多的有趣项目。

这个系列旨在逐步深入,让大家不仅了解算法的基础知识,还能学习如何将这些算法应用于实际的、有意义的项目中。每一篇教程都是精心设计的,以确保即使是初学者也能够跟上节奏,并逐步提升自己的技能。

我非常欢迎大家在评论区提出自己遇到的实际任务,或者对特定算法的疑问和讨论。

感谢大家的支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/235237.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自学Python,需要注意哪些?

为什么要学习Python&#xff1f; 在学习Python之前&#xff0c;你不要担心自己没基础或“脑子笨”&#xff0c;我始终认为&#xff0c;只要你想学并为之努力&#xff0c;就能学好&#xff0c;就能用Python去做很多事情。在这个喧嚣的时代&#xff0c;很多技术或概念会不断兴起…

配置安装nginx

目录 一、yum安装 1.进入nginx官网 nginx.org 2、进入下载列表 以主线版为例 3、服务器安装工具包集合 4、设置 yum 存储库 5、配置成功后&#xff0c;默认情况下&#xff0c;使用稳定的 nginx 包的存储库。如果要使用主线 nginx 包&#xff0c;需要运行以下命令&#xf…

Asp .Net Web应用程序(.Net Framework4.8)网站发布到IIS

开启IIS 如果已开启跳过这步 打开控制面板-程序 打开IIS 发布Web程序&#xff08;.Net Framework 4.8 web网页&#xff09; 进入IIS管理器新建一个应用池 新建一个网站 网站创建完毕 为文件夹添加访问权限 如果不添加访问权限&#xff0c;运行时将会得到如下错误 设置权限 勾…

PHP开发日志 ━━ 不同方法判断某个数组中是否存在指定的键名,测试哪种方法效率高

我们可以用isset($arr[a]) 或者 array_key_exists(a, $arr) 来判断a键名是否存在与$arr数组。 那么这两种方式哪个运行速度快呢&#xff1f; 不多废话了&#xff0c;现在我们写一段代码来测试一下&#xff1a; $array [a > 1, b > 2, c > 3];$start microtime(tru…

YOLOv8优化策略:轻量化改进 | 华为Ghostnet,超越谷歌MobileNet | CVPR2020

🚀🚀🚀本文改进:Ghost bottleneck为堆叠Ghost模块 ,与YOLOV8建立轻量C2f_GhostBottleneck 🚀🚀🚀YOLOv8改进专栏:http://t.csdnimg.cn/hGhVK 学姐带你学习YOLOv8,从入门到创新,轻轻松松搞定科研; 1.Ghostnet介绍 论文: https://arxiv.org/pdf/1911.11907.…

Logstash:迁移数据到 Elasticsearch

在生产环境中&#xff0c;不使用 Apache Kafka 等流平台进行数据迁移并不是一个好的做法。 在这篇文章中&#xff0c;我们将详细探讨 Apache Kafka 和 Logstash 的关系。 但首先让我们简单了解一下 Apache Kafka 的含义。 Apache Kafka 是分布式流平台&#xff0c;擅长实时数据…

机器学习笔记一之入门概念

目录 一 基本分类二 按模型分类概率模型&#xff08;Probabilistic Models&#xff09;非概率模型&#xff08;Non-Probabilistic Models&#xff09;对比结论线性模型 (Linear Models)非线性模型 (Non-linear Models)对比 三 按算法分类1.批量学习&#xff08;Batch Learning&…

前端开发Docker了解

1&#xff0c;docker简介 docker主要解决了最初软件开发环境配置的困难&#xff0c;完善了虚拟机部署的资源占用多&#xff0c;启动慢等缺点&#xff0c;保证了一致的运行环境&#xff0c;可以更轻松的维护和扩展。docker在linux容器的基础上进行了进一步的封装&#xff0c;提…

电脑USB接口不同颜色的含义

当你看到笔记本电脑或台式机的USB端口时&#xff0c;你会发现USB端口的颜色很多&#xff1b;这些颜色可不只是为了好看&#xff0c;实际上不同颜色代表着不同的性能&#xff0c;那么这些带颜色的USB端口都是什么含义呢&#xff0c;下面就具体介绍下不同颜色代表的含义。-----吴…

僵尸毁灭工程手动存档工具

介绍 这是一个可以对僵毁游戏存档进行备份的小工具&#xff0c;其基本原理是对僵毁存档中数以万计的小文件做哈希值计算并保存下来&#xff0c;下一次备份时再对存档文件进行哈希值计算&#xff0c;每次备份只对两次计算结果中存在差异的文件进行复制与替换从而忽略掉大部分未…

1.10 Unity中的数据存储 JSON

一、介绍 Json是最常用也是目前用的比较多的一种&#xff0c;超轻量级&#xff0c;可便捷性使用&#xff0c;平时用到比较多的都是解析Json和往Json中添加数据、修改数据等等JSON(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式&#xff0c;它基于ECMAScr…

Spark---RDD序列化

文章目录 1 什么是序列化2.RDD中的闭包检查3.Kryo 序列化框架 1 什么是序列化 序列化是指 将对象的状态信息转换为可以存储或传输的形式的过程。 在序列化期间&#xff0c;对象将其当前状态写入到临时或持久性存储区。以后&#xff0c;可以通过从存储区中读取或反序列化对象的…

[算法与数据结构][c++]:Static关键字和全局变量

Static关键字和全局变量 1. 生命周期、作用域和初始化时机2. 全局变量3. Static 关键字3.1 面向过程3.1.1 静态全局变量3.1.2 静态局部变量&#xff08;单例中会使用&#xff09;3.1.3 静态函数 3.2 面向对象3.2.1 类内静态成员变量3.2.2 类内静态成员函数 Reference 写在前面&…

详细讲解MybatisPlus实现逻辑删除

目录 前言1. 基本知识2. 实战Demo3. 拓展 前言 对于MybatisPlus的相关知识可在我的博客进行搜索 对应的CRUD相关知识也可看我这篇文章&#xff1a;【Java项目】实战CRUD的功能整理&#xff08;持续更新&#xff09; 在讲述逻辑删除这个概念时&#xff0c;先引入另外一个概念&…

09.简单工厂模式与工厂方法模式

道生一&#xff0c;一生二&#xff0c;二生三&#xff0c;三生万物。——《道德经》 最近小米新车亮相的消息可以说引起了不小的轰动&#xff0c;我们在感慨SU7充满土豪气息的保时捷设计的同时&#xff0c;也深深的被本土品牌的野心和干劲所鼓舞。 今天我们就接着这个背景&…

2019年认证杯SPSSPRO杯数学建模B题(第一阶段)外星语词典全过程文档及程序

2019年认证杯SPSSPRO杯数学建模 基于方差分布的方法对未知语言文本中重复片段的自动搜索问题的研究 B题 外星语词典 原题再现&#xff1a; 我们发现了一种未知的语言&#xff0c;现只知道其文字是以 20 个字母构成的。我们已经获取了许多段由该语言写成的文本&#xff0c;但…

Phoenix基本使用

1、Phoenix简介 1.1 Phoenix定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表&#xff0c;插入数据和查询HBase数据。 1.2 Phoenix特点 容易集成&#xff1a;如Spark&#xff0c;Hive&#xff0c;Pig&#xff0c;Flume和Map Reduce。性能…

golang并发安全-select

前面说了golang的channel&#xff0c; 今天我们看看golang select 是怎么实现的。 数据结构 type scase struct {c *hchan // chanelem unsafe.Pointer // 数据 } select 非默认的case 中都是处理channel 的 接受和发送&#xff0c;所有scase 结构体中c是用来存储…

C++模板——(4)C++泛型编程与标准模板库简介

归纳编程学习的感悟&#xff0c; 记录奋斗路上的点滴&#xff0c; 希望能帮到一样刻苦的你&#xff01; 如有不足欢迎指正&#xff01; 共同学习交流&#xff01; &#x1f30e;欢迎各位→点赞 &#x1f44d; 收藏⭐ 留言​&#x1f4dd; 勤奋&#xff0c;机会&#xff0c;乐观…

海量数据处理数据结构之Hash与布隆过滤器

前言 随着网络和大数据时代的到来&#xff0c;我们如何从海量的数据中找到我们需要的数据就成为计算机技术中不可获取的一门技术&#xff0c;特别是近年来抖音&#xff0c;快手等热门短视频的兴起&#xff0c;我们如何设计算法来从大量的视频中获取当前最热门的视频信息呢&…