Python计算机视觉 第9章-图像分割

Python计算机视觉 第9章-图像分割

图像分割是将一幅图像分割成有意义区域的过程。区域可以是图像的前景与背景或图像中一些单独的对象。这些区域可以利用一些诸如颜色、边界或近邻相似性等特征进行构建。

9.1 图割(Graph Cut)

图割(Graph Cut)是一种用于图像分割、能量最小化以及其他计算机视觉任务的离散优化算法。它主要基于图论,将图像分割问题转化为图结构上的最小割问题。

图割的基本概念

  1. 图模型:图割算法将图像表示为一个带权无向图,节点代表像素或像素的特征,边则表示这些节点之间的相似性。图中的每条边都有一个权重,表示两个像素之间的“关系强度”(例如颜色相似度、边缘强度等)。

  2. 源点(Source)和汇点(Sink):图中包含两个特殊节点,称为源点(Source)和汇点(Sink),分别表示前景和背景。在图像分割任务中,目标是将图分割为两部分,分别对应前景(源点关联的部分)和背景(汇点关联的部分)。

  3. 割(Cut):割是将图中的边分成两部分,其中一部分与源点相连,另一部分与汇点相连。算法通过选择一条割线,使得割线两侧的节点分别属于前景和背景。

  4. 最小割问题:在图割算法中,目的是找到一种分割方式,使得割线上的边权重之和最小,这对应于能量最小化问题。通过解决最小割问题,可以得到一个最优的图像分割。

图割的应用

  • 图像分割:将图像中的前景与背景进行分割,常用于对象识别和图像处理。
  • 能量最小化:图割算法可以用于求解一些能量最小化问题,例如图像去噪、图像修复等。
  • 立体匹配:在立体视觉中,图割可以用于匹配两个图像之间的像素,从而计算视差图。

图割算法的流程

  1. 构建图模型:将图像转换为图的形式,节点代表像素,边表示像素间的关系。
  2. 设定能量函数:能量函数由数据项(Data Term)和光滑项(Smoothness Term)组成。数据项表示像素属于前景或背景的代价,光滑项表示相邻像素之间的相似性。
  3. 求解最小割:使用图割算法,找到能量函数最小的割,从而完成图像分割。

图割算法在图像分割任务中具有较高的准确性和鲁棒性,特别是在处理包含噪声的图像时表现良好。然而,它的计算复杂度较高,通常需要较大的计算资源。

9.1.1 从图像创建图

在图割算法中,图像首先需要被表示为一个图结构。这个图通常用 G = ( V , E ) G = (V, E) G=(V,E) 来表示,其中:

  • V V V 表示图的节点集合,对应于图像中的像素或像素块。
  • E E E 表示图的边集合,边连接的节点代表相邻的像素或像素块。

每个节点 v ∈ V v \in V vV 代表一个像素,每条边 e ∈ E e \in E eE 连接两个像素,边上的权重 w e w_e we 反映了这两个像素之间的相似性或距离。

图的构建过程:
  1. 节点定义:每个像素对应图中的一个节点,像素的特征(如颜色、纹理等)可以作为节点的属性。

  2. 边的连接

    • 相邻像素之间通过边连接,形成一个稠密的像素图。
    • 边的权重 w e w_e we 通常根据像素之间的相似度或梯度强度来设定,常用的公式是:

    w e = exp ⁡ ( − ∥ I p − I q ∥ 2 2 σ 2 ) w_e = \exp\left(-\frac{{\lVert I_p - I_q \rVert^2}}{{2\sigma^2}}\right) we=exp(2σ2IpIq2)

    其中, I p I_p Ip I q I_q Iq 分别表示像素 p p p q q q 的颜色向量, σ \sigma σ 表示相似性尺度。

  3. 源点和汇点:图中包含两个特殊节点:

    • 源点(Source):与前景像素连接。
    • 汇点(Sink):与背景像素连接。

    源点和汇点与图中的每个像素节点都有边相连,边的权重反映了该像素属于前景或背景的可能性。

9.1.2 用户交互式分割

用户交互式分割结合了自动图像分割算法和用户的交互输入,以提高分割的准确性。这种方法允许用户提供先验知识,如标记前景和背景区域,来指导分割过程。常见的用户交互式分割方法包括 GrabCutLiveWire

1. GrabCut

GrabCut 是一种基于图割的交互式图像分割方法。用户通过在图像中标记前景和背景区域,指导算法优化分割结果。

主要步骤:
  1. 初始化分割:用户用矩形框标记前景区域。
  2. 图割算法:算法基于标记和图割优化分割结果。
  3. 更新分割:用户可以进一步调整标记以优化分割。
2. LiveWire

LiveWire 是一种交互式图像分割方法,通过用户点击选择图像中的边缘点,使用动态规划找到连接这些点的最佳路径,从而实现精确的分割。

主要步骤:
  1. 用户标记:用户点击图像中目标的边缘点。
  2. 计算代价图:根据图像的梯度计算代价图。
  3. 动态规划:利用动态规划找到最优路径,实现精确分割。

以下为GrabCut示例代码:

import numpy as np
import cv2
import matplotlib.pyplot as plt# 读取图像
img = cv2.imread(cv2.samples.findFile('img.png'))# 创建一个mask,初始化为0(背景)
mask = np.zeros(img.shape[:2], np.uint8)# 创建前景和背景模型
bg_model = np.zeros((1, 65), np.float64)
fg_model = np.zeros((1, 65), np.float64)# 用户标记前景和背景
# 前景标记区域(矩形)
rect = (50, 50, 450, 290)  # x, y, w, h# 应用GrabCut算法
cv2.grabCut(img, mask, rect, bg_model, fg_model, 5, cv2.GC_INIT_WITH_RECT)# 生成前景和背景的掩模
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype('uint8')# 可视化分割结果
result = img * mask2[:, :, np.newaxis]
plt.imshow(cv2.cvtColor(result, cv2.COLOR_BGR2RGB))
plt.title('GrabCut Result')
plt.axis('off')
plt.show()

结果如下:在这里插入图片描述

实验图1 GrabCut处理结果

9.2 利用聚类进行分割

图像分割中的聚类方法通过将像素分配到不同的类别或簇中,实现对图像的自动分割。常见的聚类方法有 K-MeansMean Shift,它们根据像素的颜色、亮度或纹理等特征进行分组,来区分图像中的不同区域。

1. K-Means 聚类

K-Means 聚类是一种常用的分割方法,它通过将像素分配到预定义数量的簇( K K K 个簇)中,来实现图像分割。

主要步骤:
  1. 选择簇的数量:设定要分割的区域数( K K K)。
  2. 初始化簇心:随机初始化簇的中心。
  3. 像素分配:将每个像素分配给距离最近的簇心。
  4. 更新簇心:根据分配结果更新簇心。
  5. 迭代:重复分配和更新步骤,直到簇心不再变化或达到最大迭代次数。
2. Mean Shift 聚类

Mean Shift 是一种基于密度的非参数聚类方法。它通过计算密度梯度,寻找高密度区域,并将像素归类到这些区域中。

主要步骤:
  1. 密度估计:为每个像素计算密度梯度。
  2. 移动簇心:沿着密度梯度方向移动,直到到达高密度区域的峰值。
  3. 像素分配:将所有像素分配到最近的高密度区域。

以下为 K-Means 聚类算法示例代码:

import numpy as np
import cv2
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans# 读取图像
img = cv2.imread(cv2.samples.findFile('test.jpg'))# 将图像数据转换为二维数组
pixels = img.reshape(-1, 3)# 设置聚类数
k = 3# 应用K-Means聚类
kmeans = KMeans(n_clusters=k, random_state=0).fit(pixels)
labels = kmeans.labels_
centers = kmeans.cluster_centers_# 将标签数据重新转换为图像
segmented_img = centers[labels].reshape(img.shape).astype(np.uint8)# 可视化原图和K-Means分割结果
fig, axs = plt.subplots(1, 2, figsize=(12, 6))
axs[0].imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
axs[0].set_title('Original Image')
axs[0].axis('off')axs[1].imshow(cv2.cvtColor(segmented_img, cv2.COLOR_BGR2RGB))
axs[1].set_title('K-Means Clustering Result')
axs[1].axis('off')plt.show()

结果如下:
在这里插入图片描述

实验图2 K-Means 聚类算法处理结果

9.3 变分法

变分法是一种数学优化方法,通过寻找使某个函数(通常是能量函数或目标函数)最小化的函数来解决问题。它广泛应用于图像分割、图像恢复、物理模型和其他优化问题。变分法的核心思想是将优化问题转化为一个变分问题,即在函数空间中寻找一个使目标函数达到极值的函数。

变分模型:Chan-Vese 模型

Chan-Vese 模型 是一种基于变分法的图像分割模型,旨在将图像分割成前景和背景区域。它基于图像的灰度信息,通过最小化能量函数来实现分割。该模型特别适用于具有不均匀亮度或纹理的图像。

主要步骤:
  1. 定义目标函数:Chan-Vese 模型的目标函数通常包括内部能量(用于控制轮廓的平滑性)和外部能量(用于匹配图像的前景和背景)。

    目标函数形式为:
    E ( C ) = μ ∫ ∂ C ∣ ∇ ϕ ∣ d s + ν ∫ D C ∣ ∇ I ∣ 2 d x + λ 1 ∫ D C ( I − I ˉ 1 ) 2 d x + λ 2 ∫ D C ˉ ( I − I ˉ 2 ) 2 d x E(C) = \mu \int_{\partial C} | \nabla \phi | ds + \nu \int_{D_C} |\nabla I|^2 dx + \lambda_1 \int_{D_C} (I - \bar{I}_1)^2 dx + \lambda_2 \int_{D_{\bar{C}}} (I - \bar{I}_2)^2 dx E(C)=μC∣∇ϕds+νDC∣∇I2dx+λ1DC(IIˉ1)2dx+λ2DCˉ(IIˉ2)2dx
    其中, C C C 是分割轮廓, ∂ C \partial C C 是轮廓的边界, D C D_C DC D C ˉ D_{\bar{C}} DCˉ 分别是前景和背景区域, I I I 是图像灰度, I ˉ 1 \bar{I}_1 Iˉ1 I ˉ 2 \bar{I}_2 Iˉ2 分别是前景和背景区域的平均灰度值, μ \mu μ ν \nu ν λ 1 \lambda_1 λ1 λ 2 \lambda_2 λ2 是权重参数。

  2. 设置变分形式:将能量函数转化为变分形式,通过对轮廓参数进行优化来最小化目标函数。

  3. 求解变分问题:使用数值方法(如有限差分法或水平集方法)求解变分问题,得到最终的分割轮廓。

  4. 后处理:根据变分解得到的轮廓进行图像分割,提取前景和背景区域。

应用示例:
  • 医学图像分割:在医学图像中分割器官或病变区域。
  • 视频分割:在视频序列中提取前景物体。

总结

变分法是一种强大的数学工具,通过优化函数在函数空间中找到最优解,广泛应用于各种领域。Chan-Vese 模型 是一种典型的变分模型,用于图像分割,特别适用于处理不均匀亮度的图像。通过最小化目标函数,Chan-Vese 模型能够有效地将图像分割成前景和背景区域,广泛应用于医学图像和视频分析等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/424711.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一步一步自制py脚本并且并且修改为exe可执行文件教学外附带SHA-1解密exe文件资源

第一步:安装 Python 下载 Python:访问 Python 官网 下载并安装最新版本的 Python。安装时选择添加到环境变量 PATH:在安装过程中,确保勾选“Add Python to PATH”选项。 第二步:编写 Python 脚本 创建一个新的 Pyth…

基于BiGRU+Attention实现风力涡轮机发电量多变量时序预测(PyTorch版)

前言 系列专栏:【深度学习:算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域,讨论了各种复杂的深度神经网络思想,如卷积神经网络、循环神经网络、生成对…

参赛心得和思路分享:2021第二届云原生编程挑战赛2: 实现一个柔性集群调度机制

关联比赛: 2021第二届云原生编程挑战赛2:实现一个柔性集群调度机制 参赛心得 历时快两个月的第二届云原生编程挑战赛结束了,作为第一次参赛的萌新,拿下了28名的成绩,与第一名差了19万分,因为赛制时间太长&#xff0c…

基于python+django+vue的社区爱心养老管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 【2025最新】基于pythondjangovueMySQL的社…

103.WEB渗透测试-信息收集-FOFA语法(3)

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 内容参考于: 易锦网校会员专享课 上一个内容:102.WEB渗透测试-信息收集-FOFA语法(2) FOFA使用实例 组件框架 …

eureka.client.service-url.defaultZone的坑

错误的配置 eureka: client: service-url: default-zone: http://192.168.100.10:8080/eureka正确的配置 eureka: client: service-url: defaultZone: http://192.168.100.10:8080/eureka根据错误日志堆栈打断电调试 出现两个key,也就是defaultZone不支持snake-c…

cmd命令

常用命令 查看电脑名称: hostname 查看网卡信息: ipconfig 快速打开网络设置界面: control.exe netconnections 或 rundll32.exe shell32.dll,Control_RunDLL ncpa.cpld 打开防火墙设置: wf.msc 指定网卡设置IP地址&#…

Vue:使用v-model绑定的textarea在光标处插入指定文本

一、问题描述 使用v-model绑定的textarea如果需要改变其内容,一般只要改变v-model对应的变量即可,但如果需要在textarea的当前光标位置插入指定文本,那就需要操作DOM了。于是我们写了一段js: const insertTextAtCursor (text) …

基于TCP发送北斗消息给船舶设备终端

文章目录 引言I 自定义动态数据交换协议信息交换接口通信格式消息发送指令状态码错误信息返回指令II Netty实现TCP客户端III Java 原始API实现TCP客户端知识扩展: 基于Netty的定位数据平台通信协议定位方式移动定位设备see also引言 需求:发送北斗消息给船舶设备终端 动态信…

windows安装docker、elasticsearch、kibana、cerebro、logstash

文章目录 1. 安装docker1.1. 两大要点1.1.1. 安装启用hyper-v电脑不存在hyper-v的情况 1.1.2. 下载安装docker 2. 在docker里面安装elasticSearch,kibana,cerebro3. 安装logstash-将数据导入到elasticSearch3.1 安装logstash3.1.1 注意事项3.1.1.1. 等了…

【VSCode】VSCode Background 背景插件辅助窗口程序

前排贴上Github项目链接 GitHub窗口项目链接 这是一个基于VSCode上由shalldie上传的background扩展制作的windows窗口程序。 该程序旨在通过窗口程序尽可能的完善该扩展原有的功能。 background - shalldie 的最大优势是我目前仅在其扩展上发现了UseFront的选项,这…

从汇编语言到高级语言:人类计算机科学的伟大探索

从20世纪中叶第一台电子计算机的诞生,到如今的智能设备遍布全球,计算机科学的发展历程是一部充满着人类探索精神的伟大史诗。计算机语言作为人类与机器交流的桥梁,见证并推动了这一切。从最早的汇编语言到如今多样的高级语言,我们…

基于python+django+vue的鲜花商城系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 【2025最新】基于pythondjangovueMySQL的线…

Acrobat XI 安装教程

软件介绍 Adobe Acrobat 是由Adobe公司开发的一款PDF(Portable Document Format,便携式文档格式)编辑软件。借助它,可以以PDF格式制作和保存文档,以便于浏览和打印,同时还可以使用一些高级工具来创建、编辑…

AI论文写作测评!类似茅茅虫论文写作助手网站

在当前的学术研究和写作环境中,AI论文写作助手成为了许多学者和学生的重要工具。其中,千笔-AIPassPaper和茅茅虫论文写作助手是两款备受关注的平台。本文将对这两款工具进行详细测评,并推荐适合不同需求的用户使用。 千笔-AIPassPaper AI论文…

2024/9/15 408“回头看”之应用层小总结(下)

域名系统DNS: 本地域名服务器 本地域名服务器起着代理的作用,会将报文转发到根域名服务器、顶级域名服务器、权限域名服务器。 递归查询: 迭代查询: 文件传送协议FTP: FTP客户和FTP服务器之间使用的是tcp连接。 控制连接使用21端口&…

中国矿业大学《2023年868+2007年自动控制原理真题》 (完整版)

本文内容,全部选自自动化考研联盟的:《25届中国矿业大学868自控考研资料》的真题篇。后续会持续更新更多学校,更多年份的真题,记得关注哦~ 目录 2007年复试真题 2023年初试真题 Part1:完整版真题 2007年复试真题 2…

Mathtype永久激活码激活安装包以及如何关联到word、wps中

一、安装MathType 先下载MathTYpe安装包并解压,里面会有两个文件夹 ,先安装1,按点击2进行激活 MathType安装包:https://pan.quark.cn/s/25337b0aad13 提取码:saTD MathType激活工具:https://pan.quark.cn/…

Android源码导入Android Studio

版权归作者所有,如有转发,请注明文章出处:https://cyrus-studio.github.io/blog/ 前言 需要先把 Android 源码编译一遍 然后执行下面指令就可以导入android源码了 关于 Android 源码编译可以参考这篇文章【LineageOS源码下载和编译&#xf…

解锁定位服务:Flutter应用中的高德地图定位

前言 在现代移动应用开发中,定位服务已成为一项基本功能,它使得应用能够获取用户的地理位置信息,为用户提供更加个性化的服务。 Flutter 作为跨平台的移动应用开发框架,支持集成多种服务,包括定位服务。 本文将介绍如…