大创项目推荐 深度学习实现语义分割算法系统 - 机器视觉

文章目录

  • 1 前言
  • 2 概念介绍
    • 2.1 什么是图像语义分割
  • 3 条件随机场的深度学习模型
    • 3\. 1 多尺度特征融合
  • 4 语义分割开发过程
    • 4.1 建立
    • 4.2 下载CamVid数据集
    • 4.3 加载CamVid图像
    • 4.4 加载CamVid像素标签图像
  • 5 PyTorch 实现语义分割
    • 5.1 数据集准备
    • 5.2 训练基准模型
    • 5.3 损失函数
    • 5.4 归一化层
    • 5.5 数据增强
    • 5.6 实现效果
  • 6 最后

1 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 基于深度学习实现语义分割算法系统

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：4分
  • 创新点：4分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

2 概念介绍

2.1 什么是图像语义分割

这几年，随着深度学习理论和大规模并行计算设备快速发展，计算机视觉的诸多难点实现了质的突破，包括图像分类叫、目标检测、语义分割等等。

其中图像分类和目标检测在各种场景应用中大放光彩。目前最先进网络的准确度已经超过人类。

而图像语义分割是一.种语义信息更丰富的视觉识别任务，其主要任务是实现像素级别的分类。

图像语义分割示意图如下图所示。

图像语义分割技术在实际中有着非常广泛的应用，如自动驾驶、生物医学以及现实增强技术等等。

在这里插入图片描述

语义分割在自动驾驶的应用：

在这里插入图片描述
在这里插入图片描述

3 条件随机场的深度学习模型

整个深度学习模型框架下如图：
在这里插入图片描述

3. 1 多尺度特征融合

图像中的各类物体都以不同的形态出现， 用来观测它们的尺度也不尽相同， 不同的物体需要用合适的尺度来测量。

尺度也有很多种， 宏观上大的如“米”、“千米” 甚至“光年”； 微观上小的如“微米”、“纳米” 甚至是“飞米”。 在日常生活中，
人们也经常接触到尺度上的变换， 例如人们经常用到的电子地图上的放大与缩小、 照相机焦距的变化等，都是以不同的尺度来观察或者测量不同的物体。

当人们将一幅图像输入到计算机中时， 计算机要尝试很多不同的尺度以便得到描述图片中不同物体的最合适的尺度。

卷积神经网络中含有大量的超参数， 而且在网络中的任何一个参数， 都会对网络生成的特征映射产生影响。 当卷积神经网络的结构已经确定下来时，
网络中每一层学习到的特征映射的尺度也随之固定了下来， 拥有了在一定程度上的尺度不变性。

与此同时， 为了完成当前的任务， 网络中的这些已经设置好的超参数不能被随意更改， 所以必须要考虑融合多尺度特征的神经网络。

这种神经网络可以学习学长提供的框架不同尺度的图像特征， 获得不同尺度的预测， 进而将它们融合， 获得最后的输出。

一种多尺度特征融合网络如下所示。

在这里插入图片描述

4 语义分割开发过程

学长在这详细说明图像语义分割，如何进行开发和设计

语义分割网络对图像中的每个像素进行分类，从而产生按类别分割的图像。语义分割的应用包括用于自主驾驶的道路分割和用于医学诊断的癌细胞分割。有关详细信息，请参阅语义分段基础知识（计算机视觉系统工具箱）。

为了说明训练过程，学长训练SegNet ，一种设计用于语义图像分割的卷积神经网络（CNN）。用于语义分段的其他类型网络包括完全卷积网络（FCN）和U-
Net。此处显示的培训程序也可以应用于这些网络。

此示例使用剑桥大学的CamVid数据集进行培训。此数据集是包含驾驶时获得的街道视图的图像集合。该数据集为32种语义类提供了像素级标签，包括汽车，行人和道路。

4.1 建立

此示例创建具有从VGG-16网络初始化的权重的SegNet网络。要获得VGG-16，请安装适用于VGG-16网络的Deep Learning
Toolbox™模型。安装完成后，运行以下代码以验证安装是否正确。

​

vgg16（）;
下载预训练版的SegNet。预训练模型允许您运行整个示例，而无需等待培训完成。pretrainedURL = 'https: //www.mathworks.com/supportfiles/vision/data/segnetVGG16CamVid.mat ' ;
pretrainedFolder = fullfile（tempdir，'pretrainedSegNet'）;
pretrainedSegNet = fullfile（pretrainedFolder，'segnetVGG16CamVid.mat'）; 
如果〜存在（pretrainedFolder，'dir'）MKDIR（pretrainedFolder）;disp（'下载预训练的SegNet（107 MB）......'）;websave（pretrainedSegNet，pretrainedURL）;
结束

强烈建议使用具有计算能力3.0或更高版本的支持CUDA的NVIDIA™GPU来运行此示例。使用GPU需要Parallel Computing
Toolbox™。

4.2 下载CamVid数据集

从以下URL下载CamVid数据集。

imageURL = 'http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData/files/701_StillsRaw_full.zip’ ;  
labelURL = 'http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData/data/LabeledApproved_full.zip’ ;outputFolder = fullfile（tempdir，‘CamVid’）;如果〜存在（outputFolder，‘dir’）MKDIR（outputFolder）
labelsZip = fullfile（outputFolder，'labels.zip'）;
imagesZip = fullfile（outputFolder，'images.zip'）;   disp（'下载16 MB CamVid数据集标签......'）;
websave（labelsZip，labelURL）;
unzip（labelsZip，fullfile（outputFolder，'labels'））;disp（'下载557 MB CamVid数据集图像......'）;  
websave（imagesZip，imageURL）;       
解压缩（imagesZip，fullfile（outputFolder，'images'））;

注意：数据的下载时间取决于您的Internet连接。上面使用的命令会阻止MATLAB，直到下载完成。或者，您可以使用Web浏览器首先将数据集下载到本地磁盘。要使用从Web下载的文件，请将outputFolder上面的变量更改为下载文件的位置。

4.3 加载CamVid图像

​

使用imageDatastore加载CamVid图像。在imageDatastore使您能够高效地装载大量收集图像的磁盘上。imgDir = fullfile（outputFolder，'images'，'701_StillsRaw_full'）;
imds = imageDatastore（imgDir）;
显示其中一个图像。

在这里插入图片描述

4.4 加载CamVid像素标签图像

使用pixelLabelDatastore加载CamVid像素标签图像数据。A
pixelLabelDatastore将像素标签数据和标签ID封装到类名映射中。

按照原始SegNet论文[1]中使用的程序，将CamVid中的32个原始类分组为11个类。指定这些类。

​

class = [“Sky” “Building” “Pole” “Road” “Pavement” “Tree” “SignSymbol” “Fence” “Car” “Pedestrian” “Bicyclist” ];

要将32个类减少为11个，将原始数据集中的多个类组合在一起。例如，“Car”是“Car”，“SUVPickupTruck”，“Truck_Bus”，“Train”和“OtherMoving”的组合。使用支持函数返回分组的标签ID，该函数camvidPixelLabelIDs在本示例的末尾列出。

​

abelIDs = camvidPixelLabelIDs（）;
使用类和标签ID来创建 pixelLabelDatastore.labelDir = fullfile（outputFolder，'labels'）;
pxds = pixelLabelDatastore（labelDir，classes，labelIDs）;
通过将其叠加在图像上来读取并显示其中一个像素标记的图像。C = readimage（pxds，1）;cmap = camvidColorMap;B = labeloverlay（I，C，'ColorMap'，cmap）;
imshow（B）
pixelLabelColorbar（CMAP，班）;

在这里插入图片描述

5 PyTorch 实现语义分割

学长这里给出一个具体实例 ：

使用2020年ECCV Vipriors Chalange Start Code实现语义分割，并且做了一些优化，让进度更高

5.1 数据集准备

使用Cityscapes的数据集MiniCity Dataset。

在这里插入图片描述

将各基准类别进行输入：

在这里插入图片描述

从0-18计数，对各类别进行像素标记：

在这里插入图片描述

使用deeplab v3进行基线测试，结果发现次要类别的IoU特别低，这样会导致难以跟背景进行区分。

如下图中所示的墙、栅栏、公共汽车、火车等。

在这里插入图片描述

注意： 以上的结果表述数据集存在严重的类别不平衡问题。

5.2 训练基准模型

使用来自torchvision的DeepLabV3进行训练。

硬件为4个RTX 2080 Ti GPU (11GB x 4)，如果只有1个GPU或较小的GPU内存，请使用较小的批处理大小（< = 8）。

​

python baseline.py --save_path baseline_run_deeplabv3_resnet50 --crop_size 576 1152 --batch_size 8;  
python baseline.py --save_path baseline_run_deeplabv3_resnet101 --model DeepLabv3_resnet101 --train_size 512 1024 --test_size 512 1024 --crop_size 384 768 --batch_size 8;

​

5.3 损失函数

有3种损失函数可供选择，分别是：交叉熵损失函数（Cross-Entropy Loss）、类别加权交叉熵损失函数（Class-Weighted Cross
Entropy Loss）和焦点损失函数（Focal Loss）。

交叉熵损失函数，常用在大多数语义分割场景，但它有一个明显的缺点，那就是对于只用分割前景和背景的时候，当前景像素的数量远远小于背景像素的数量时，模型严重偏向背景，导致效果不好。

​

# Cross Entropy Loss  
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --crop_size 576 1152 --batch_size 8;

​

类别加权交叉熵损失函数是在交叉熵损失函数的基础上为每一个类别添加了一个权重参数，使其在样本数量不均衡的情况下可以获得更好的效果。

​

# Weighted Cross Entropy Loss  
python baseline.py --save_path baseline_run_deeplabv3_resnet50_wce --crop_size 576 1152 --batch_size 8 --loss weighted_ce;

​

焦点损失函数则更进一步，用来解决难易样本数量不平衡。

​

# Focal Loss  
python baseline.py --save_path baseline_run_deeplabv3_resnet50_focal --crop_size 576 1152 --batch_size 8 --loss focal --focal_gamma 2.0;

5.4 归一化层

在这里插入图片描述

BN是在batch上，对N、H、W做归一化，而保留通道 C 的维度。BN对较小的batch size效果不好。

5.5 数据增强

2种数据增强技术

  • CutMix
  • Copy Blob

在 Blob 存储的基础上构建，并通过Copy的方式增强了性能。

在这里插入图片描述

另外，如果要解决前面所提到的类别不平衡问题，则可以使用视觉归纳优先的CopyBlob进行增强。

​

# CopyBlob Augmentation  
python baseline.py --save_path baseline_run_deeplabv3_resnet50_copyblob --crop_size 576 1152 --batch_size 8 --copyblob;

​

5.6 实现效果

多尺度推断

使用[0.5，0.75，1.0，1.25，1.5，1.75，2.0，2.2]进行多尺度推理。另外，使用H-Flip，同时必须使用单一批次。

​

# Multi-Scale Inference  
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --batch_size 1 --predict --mst;

​

使用验证集计算度量

计算指标并将结果保存到results.txt中。

​

python evaluate.py --results baseline_run_deeplabv3_resnet50/results_val --batch_size 1 --predict --mst;

​

训练结果
在这里插入图片描述

最后的单一模型结果是0.6069831962012341，

如果使用了更大的模型或者更大的网络结构，性能可能会有所提高。

另外，如果使用了各种集成模型，性能也会有所提高。

6 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/234099.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

三甲医院ADR智能监测系统源码，药品不良反应智能监测系统全套源码，java语言，自主研发

三甲医院ADR智能监测系统源码，药品不良反应智能监测系统全套源码，java语言，自主研发

ADR智能监测系统源码&#xff0c;药品不良反应智能监测系统全套商业项目源码&#xff0c;自主版权 ADR监测上报系统是基于医院临床数据中心而建立&#xff0c;运用信息技术实现药品不良反应的智能监测、报告管理、知识库查询、统计分析等功能。 系统自动提取不良反应报告数据&…
阅读更多...
（二）Explain使用与详解

（二）Explain使用与详解

explain中的列 sql语句： EXPLAIN SELECT * from user WHERE userId=1340; 执行结果： 1. id列 id列的编号是 select 的序列号，有几个 select 就有几个id，并且id的顺序是按 select 出现的顺序增长的。 id列越大执行优先级越高，id相同则从上往下执行，id为NULL最后执行…
阅读更多...
如何在 Ubuntu 20.04 上安装和使用 Docker

如何在 Ubuntu 20.04 上安装和使用 Docker

前些天发现了一个人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;最重要的屌图甚多&#xff0c;忍不住分享一下给大家。点击跳转到网站。 如何在 Ubuntu 20.04 上安装和使用 Docker 介绍 Docker是一个可以简化容器中应用程序进程管理过程的应用程序。…
阅读更多...
数据湖存储解决方案之Iceberg

数据湖存储解决方案之Iceberg

1.Iceberg是什么&#xff1f; Apache Iceberg 是由 Netflix 开发开源的&#xff0c;其于2018年11月16日进入 Apache 孵化器&#xff0c;是 Netflix 公司数据仓库基础。Apache Iceberg设计初衷是为了解决Hive离线数仓计算慢的问题&#xff0c;经过多年迭代已经发展成为构建数据…
阅读更多...
Qt实现简单的分割窗口

Qt实现简单的分割窗口

最近在学习一些关于Qt的新知识&#xff0c;今天来讲述下我学习到的窗口分割&#xff0c;如果有不正确的&#xff0c;大家可以指正哦~ 首先&#xff0c;先看一下实现之后的简单效果吧&#xff01;省的说的天花乱坠&#xff0c;大家却不知道说的是哪个部分。 功能实现 整体demo…
阅读更多...
Spring事务控制

Spring事务控制

1.事务介绍 1.1什么是事务&#xff1f; 当你需要一次执行多条SQL语句时&#xff0c;可以使用事务。通俗一点说&#xff0c;如果这几条SQL语句全部执行成功&#xff0c;则才对数据库进行一次更新&#xff0c;如果有一条SQL语句执行失败&#xff0c;则这几条SQL语句全部不进行执…
阅读更多...
C#VS2022 打包成安装包

C#VS2022 打包成安装包

步骤参考&#xff1a;VisualStudio&#xff08;2022&#xff09;- 打包项目文件为.exe安装包_vs2022打包exe-CSDNja 步骤参考上方链接&#xff0c;不过在Application Folder文件夹中加的是\项目名称\bin\Debug\下的全部文件&#xff0c;其他地方一样。 最终生成的安装包在Deb…
阅读更多...
书生·浦语大模型实战2

书生·浦语大模型实战2

轻松玩转书生浦语大模型趣味 Demo 大模型及 InternLM 模型简介 什么是大模型 大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练&#xff0c;并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益…
阅读更多...
react输入框检索树形（tree）结构

react输入框检索树形（tree）结构

input搜索框搜索树形子级内容1. input框输入搜索内容2. 获取tree结构数据3. 与tree匹配输入的内容&#xff0c;tree是多维数组&#xff0c;一级一级的对比输入的内容是否匹配&#xff0c;用forEach循环遍历数据&#xff0c;匹配不到在往下找&#xff0c;直到找到为null &#x…
阅读更多...
浅谈安科瑞直流表在孟加拉某能源公司的应用

浅谈安科瑞直流表在孟加拉某能源公司的应用

摘要&#xff1a;本文介绍了安科瑞直流电表在孟加拉某能源公司的应用。主要用于光伏直流柜内&#xff0c;配合分流器对汇流箱的输出电流电压等进行测量&#xff0c;并采集配电现场的开关信号&#xff0c;装置带有RS485接口可以把测量和采集的数据和设备状态上传。 Abstract: T…
阅读更多...
sql：定时执行存储过程(嵌套存储过程、使用游标)

sql：定时执行存储过程(嵌套存储过程、使用游标)

BEGINDeclare FormNo nvarchar(20) --单号Declare Type nvarchar(50) --类型Declare PickedQty float -Declare OutQty float Declare 生产量 floatDeclare 已装箱数量 float Declare 已入库数量 floatDeclare 损耗数量 float Declare 退货品出库数量 intdeclare k c…
阅读更多...
文件夹重命名方法：文件夹名称随机数字命名，提高文件管理效率的秘诀

文件夹重命名方法：文件夹名称随机数字命名，提高文件管理效率的秘诀

在数字时代&#xff0c;每天都会创建、接收和存储大量的文件。那如何有效地管理和查找这些文件&#xff1f;下面云炫文件管理器用简单的方法使用随机数字给文件夹命名。掌握方法可以快速识别和分类文件&#xff0c;提高工作效率。 文件夹随机数字命名前后效果图。 文件夹名称…
阅读更多...
【Java EE初阶八】多线程案例（计时器模型）

【Java EE初阶八】多线程案例（计时器模型）

1. java标准库的计时器 1.1 关于计时器 计时器类似闹钟&#xff0c;有定时的功能&#xff0c;其主要是到时间就会执行某一操作&#xff0c;即可以指定时间&#xff0c;去执行某一逻辑&#xff08;某一代码&#xff09;。 1.2 计时器的简单介绍 在java标准库中&#xff0c;提供…
阅读更多...
阿里云服务器Centos安装宝塔面板

阿里云服务器Centos安装宝塔面板

阿里云服务器Centos安装宝塔面板 1 背景1.1 aliyun1.2 Linux 2 安装步骤2.0 环境配置2.1 安装前准备2.2 宝塔安装2.3 建站 3 centos常用命令3.1 防火墙相关 1 背景 1.1 aliyun 阿里云服务器是阿里云提供的一项云计算服务&#xff0c;它能够帮助用户快速搭建网站、应用和服务&…
阅读更多...
苍穹外卖Day01——总结1

苍穹外卖Day01——总结1

总结1 1. 软件开发整体介绍1.1 软件开发流程1.2 角色分工1.3 软件环境 2. 苍穹外卖项目介绍2.1 项目介绍2.2 技术选项 3. Swagger4. 补充内容&#xff08;待解决...&#xff09; 1. 软件开发整体介绍 1.1 软件开发流程 1.2 角色分工 从角色分工里面就可以查看自己以后从事哪一…
阅读更多...
寄10公斤包裹哪个快递便宜(寄快递哪个比较便宜)

寄10公斤包裹哪个快递便宜(寄快递哪个比较便宜)

如今&#xff0c;随着互联网的发展&#xff0c;越来越多的人选择网上购物&#xff0c;这支撑了许多物流公司不断地向前发展。所以快递行业的前景还是很光明的。现在当天寄出最晚第二天就能收到。但是快递公司那么多&#xff0c;每个公司的特色和收费都有差异。怎样才能选择合适…
阅读更多...
windows通过ssh连接Liunx服务器并实现上传下载文件

windows通过ssh连接Liunx服务器并实现上传下载文件

连接ssh 输入&#xff1a;ssh空格用户名ip地址&#xff0c;然后按Enter 有可能出现下图提示&#xff0c;输入yes 回车即可 输入 password &#xff0c;注意密码是不显示的&#xff0c;输入完&#xff0c;再按回车就行了 以上是端口默认22情况下ssh连接&#xff0c;有些公司它…
阅读更多...
微信小程序 获取地址信息（uniapp）

微信小程序 获取地址信息（uniapp）

参考API地址&#xff1a;微信小程序JavaScript SDK | 腾讯位置服务 <script> // 引入SDK核心类&#xff0c;js文件根据自己业务&#xff0c;位置可自行放置var QQMapWX require(../../js/uploadImg/qqmap-wx-jssdk.js);export default {data(){return{qqmapsdk:}},onL…
阅读更多...
Linux_CentOS_7.9_Oracle11gr2配置数据库及监听服务自启动多方案实操之简易记录

Linux_CentOS_7.9_Oracle11gr2配置数据库及监听服务自启动多方案实操之简易记录

前言： 作为运维保障，都无法准确预估硬件宕机的突发阶段，其生产数据实时在产出，那作为dba数据库服务以及相关Listener的其重要性、必要性就突显而出。这里拿虚拟机试验做个配置记录，便于大家学习参考。 实现方法一： 环境变量值：：$ORACLE_HOME= /data/oracle/product/1…
阅读更多...
NVIDIA Container Toolkit（NVIDIA Docker）

NVIDIA Container Toolkit（NVIDIA Docker）

引言 Nvidia Docker该项目已被NVIDIA Container Toolkit取代。此存储库提供的工具已被弃用&#xff0c;并且该存储库已存档。 nvidia-docker不再支持包装器&#xff0c;并且 NVIDIA Container Toolkit 已进行扩展&#xff0c;允许用户配置 Docker 以使用 NVIDIA Container Ru…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023