第P2周:彩色图片识别

  •  🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者:K同学啊

我的环境:

  • 语言环境:Python3.10.7
  • 编译器:VScode
  • 深度学习环境:TensorFlow 2.13.0

一、前期工作: 

1.导入数据集

准备用于训练和测试的CIFAR-10数据集,将图像数据转换为适合PyTorch处理的Tensor类型,并为后续的机器学习任务做准备。

使用PyTorch和TorchVision库来处理CIFAR-10数据集的示例代码。CIFAR-10是一个常用的计算机视觉数据集,包含了10个不同类别的图像,每个类别有6000张32x32像素大小的彩色图像。

代码

import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import torchvisiontrain_ds = torchvision.datasets.CIFAR10('data',train=True,transform=torchvision.transforms.ToTensor(), # 将数据类型转化为Tensordownload=True)test_ds = torchvision.datasets.CIFAR10('data',train=False,transform=torchvision.transforms.ToTensor(), # 将数据类型转为成Tensordownload=True)

部分代码解释:
   torch:PyTorch库,用于构建和训练神经网络。
   torch.nn:PyTorch中的神经网络模块。
   matplotlib.pyplot:用于绘制图像的库。
   torchvision:PyTorch的视觉工具库,包含了常用的数据集、模型架构等。

定义训练数据集(`train_ds`):

  •    使用'torchvision.datasets.CIFAR10'函数创建一个CIFAR-10训练数据集对象。
  •    'data':指定数据集下载和保存的文件夹路径。
  •     'train=True':表示这是训练数据集。
  •    'transform=torchvision.transforms.ToTensor()':将图像数据转换为PyTorch的`Tensor`类型,以便后续处理。
  •    'download=True':如果数据集没有下载,将自动下载。

 定义测试数据集(`test_ds`):

  •     使用与训练数据集相同的函数创建一个CIFAR-10测试数据集对象。
  •     'train=False':表示这是测试数据集。

数据集的用途:

  •     训练数据集(`train_ds`)用于训练机器学习模型,例如神经网络。
  •     测试数据集(`test_ds`)用于评估模型在未见过的数据上的性能。

运行结果

 

2. 创建训练数据加载器(train_dl)和测试数据加载器(test_dl

使用PyTorch的`DataLoader`来创建训练数据加载器('train_dl')和测试数据加载器('test_dl'),将数据划分成批次,以便用于训练和评估模型。同时,它展示了如何从数据加载器中获取一个批次的数据,并打印出图像数据的形状。

代码 

batch_size = 32train_dl = torch.utils.data.DataLoader(train_ds,batch_size=batch_size,shuffle=True)test_dl = torch.utils.data.DataLoader(test_ds,batch_size=batch_size)
# 取一个批次查看数据格式
# 数据的shape为:[batch_size, channel, height, weight]
# 其中batch_size为自己设定, channel, height, weight 分别是图片的通道数,高度,宽度
imgs, labels = next(iter(train_dl))
print(imgs.shape)

部分代码解释:

 定义批次大小:

  •    batch_size = 32:指定每个批次中包含的样本数。

 创建训练数据加载器(`train_dl`):

  •     使用'torch.utils.data.DataLoader'函数创建一个数据加载器用于训练数据集。
  •     'train_ds':之前定义的训练数据集对象。
  •     'batch_size=batch_size':每个批次包含的样本数。
  •     'shuffle=True':将训练数据集随机打乱,以便在每个 epoch 中获取随机的批次样本。

 创建测试数据加载器('test_dl'):

  •     使用与训练数据加载器相同的函数创建一个数据加载器用于测试数据集。
  •     'test_ds':之前定义的测试数据集对象。
  •     'batch_size=batch_size':每个批次包含的样本数。

 查看一个批次的数据形状:

  •    使用`next(iter(train_dl))`获取训练数据加载器的一个批次的数据。
  •    这个批次包含了`batch_size`个图像和对应的标签。
  •    'imgs'包含了图像数据,`labels`包含了对应的标签。
  •    'imgs.shape'打印出了这个批次图像数据的形状,即'[batch_size, channel, height, width]',其中'channel'是通道数,'height'是图像高度,'width'是图像宽度。

运行结果

3.数据可视化 

使用matplotlib库来绘制一个包含多个子图的图像显示,用于可视化训练数据中的图像样本。

代码

import numpy as np# 指定图片大小,图像大小宽度为20宽、5高的绘图(单位为英寸inch)
plt.figure(figsize=(20, 5))
for i, imgs in enumerate(imgs[:20]):# 维度缩减npimg = imgs.numpy().transpose((1, 2, 0))# 将整个figure分成2行10列, 绘制第i+1个子图plt.subplot(2, 10, i+1)plt.imshow(npimg, cmap=plt.cm.binary)plt.axis('off')
plt.show()

指定图片大小:
   'plt.figure(figsize=(20, 5))':创建一个图像对象,指定图像的大小为20英寸宽和5英寸高。 

循环绘制子图:

  •     使用'enumerate'函数遍历'imgs[:20]'中的图像数据(这里只绘制前20个图像)。
  •     'imgs'是从之前的数据加载器中获取的一个批次的图像数据。
  •     'npimg = imgs.numpy().transpose((1, 2, 0))':将图像数据从Tensor格式转换为NumPy数组格式,并且将通道维度移动到最后一个维度,以便与matplotlib的图像显示兼容。 

运行结果

 

 

二、构建简单的CNN网络 

这段代码定义了一个简单的卷积神经网络(Convolutional Neural Network,CNN)模型,该模型包含了特征提取网络和分类网络两个部分,用于将CIFAR-10数据集中的图像进行分类。特征提取网络使用卷积和池化操作来提取图像特征,而分类网络使用全连接层将提取的特征映射到类别上。模型的`forward`方法定义了数据在网络中的传递过程。并解释了每个部分的作用。该模型用于处理CIFAR-10数据集的图像分类任务。

 代码

import torch.nn.functional as Fnum_classes = 10  # 图片的类别数class Model(nn.Module):def __init__(self):super().__init__()# 特征提取网络self.conv1 = nn.Conv2d(3, 64, kernel_size=3)   # 第一层卷积,卷积核大小为3*3self.pool1 = nn.MaxPool2d(kernel_size=2)       # 设置池化层,池化核大小为2*2self.conv2 = nn.Conv2d(64, 64, kernel_size=3)  # 第二层卷积,卷积核大小为3*3   self.pool2 = nn.MaxPool2d(kernel_size=2) self.conv3 = nn.Conv2d(64, 128, kernel_size=3) # 第二层卷积,卷积核大小为3*3   self.pool3 = nn.MaxPool2d(kernel_size=2) # 分类网络self.fc1 = nn.Linear(512, 256)          self.fc2 = nn.Linear(256, num_classes)# 前向传播def forward(self, x):x = self.pool1(F.relu(self.conv1(x)))     x = self.pool2(F.relu(self.conv2(x)))x = self.pool3(F.relu(self.conv3(x)))x = torch.flatten(x, start_dim=1)x = F.relu(self.fc1(x))x = self.fc2(x)return xfrom torchinfo import summary
# 将模型转移到GPU中(我们模型运行均在GPU中进行)
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Model().to(device)summary(model)

部分代码解释:

1. 定义类别数:

   'num_classes = 10':指定图片的类别数,对于CIFAR-10数据集,共有10个不同的类别。

 2.定义CNN模型类(`Model`类):
   继承自'nn.Module',这是PyTorch中构建神经网络模型的基类。

 3.初始化函数:

  •     '__init__(self)':构造函数,在创建类的实例时被调用。
  •     定义了模型的各个层。

 4.特征提取网络部分:

  •     定义了卷积层和池化层,用于提取图像的特征。
  •     'nn.Conv2d':卷积层,进行卷积操作,提取图像的局部特征。
  •     'nn.MaxPool2d':最大池化层,进行下采样操作,减小特征图的尺寸。

 5.分类网络部分:

  •     定义了全连接层,用于将提取的特征映射到类别上。
  •     'nn.Linear':全连接层,进行线性变换和非线性激活。

6. 前向传播方法:

  •     'forward(self, x)':定义了模型的前向传播过程。
  •     通过特征提取网络处理输入的图像数据,然后通过全连接层得到分类结果。

7. 前向传播过程:

  •     通过卷积层、激活函数和池化层进行特征提取。
  •     使用'orch.flatten'将特征图展平为向量,以便输入全连接层。
  •     通过激活函数和全连接层将特征映射到最终的类别数上。

运行结果

 

三、训练模型 

1.设置超参数

模型的训练过程损失函数的定义和优化器的设置

该代码段的作用是准备用于模型训练的损失函数和优化器。损失函数用于衡量模型预测与真实标签之间的差异,而优化器根据这个差异来更新模型参数,以便在训练过程中逐步提升模型的性能。

loss_fn    = nn.CrossEntropyLoss() # 创建损失函数
learn_rate = 1e-2 # 学习率
opt        = torch.optim.SGD(model.parameters(),lr=learn_rate)

代码解释:

1. 定义损失函数:

  •    'loss_fn = nn.CrossEntropyLoss()':创建了一个交叉熵损失函数的实例。交叉熵损失通常用于多类别分类问题,例如本例中的CIFAR-10数据集。

2. 设置学习率:

  •    'learn_rate = 1e-2':定义了学习率,它决定了在优化过程中参数更新的步幅大小。

3. 定义优化器:

  •    'opt = torch.optim.SGD(model.parameters(), lr=learn_rate)':创建了一个随机梯度下降(SGD)优化器的实例。
  •    'model.parameters()':获取模型的所有可训练参数。
  •    'lr=learn_rate':设置优化器的学习率为之前定义的学习率。

   
优化器是用于更新模型参数以最小化损失函数的工具。在训练过程中,优化器根据损失函数计算的梯度信息来调整模型参数,使损失逐渐减小,从而提高模型在训练数据上的性能。

2.编写训练函数

定义训练循环函数,该训练循环函数用于在训练数据上对模型进行训练。它通过反向传播来更新模型参数,同时记录训练过程中的正确率和损失,以便在每个训练周期结束后评估模型的性能。

# 训练循环
def train(dataloader, model, loss_fn, optimizer):size = len(dataloader.dataset)  # 训练集的大小,一共60000张图片num_batches = len(dataloader)   # 批次数目,1875(60000/32)train_loss, train_acc = 0, 0  # 初始化训练损失和正确率for X, y in dataloader:  # 获取图片及其标签X, y = X.to(device), y.to(device)# 计算预测误差pred = model(X)          # 网络输出loss = loss_fn(pred, y)  # 计算网络输出和真实值之间的差距,targets为真实值,计算二者差值即为损失# 反向传播optimizer.zero_grad()  # grad属性归零loss.backward()        # 反向传播optimizer.step()       # 每一步自动更新# 记录acc与losstrain_acc  += (pred.argmax(1) == y).type(torch.float).sum().item()train_loss += loss.item()train_acc  /= sizetrain_loss /= num_batchesreturn train_acc, train_loss

代码逻辑:

  1. 定义训练循环函数(train函数):

    • 这个函数接受数据加载器(dataloader)、模型(model)、损失函数(loss_fn)和优化器(optimizer)作为输入。
  2. 获取训练集大小和批次数目:

    • size = len(dataloader.dataset):获取整个训练数据集的大小,即60000张图片。
    • num_batches = len(dataloader):获取数据加载器中的批次数目,即1875(60000/32)。
  3. 初始化训练损失和正确率:

    • train_loss, train_acc = 0, 0:初始化训练损失和训练正确率。
  4. 进入训练循环:

    • for X, y in dataloader::对数据加载器中的每个批次进行迭代,其中X是图像数据,y是对应的标签。
  5. 将数据移至设备:

    • X, y = X.to(device), y.to(device):将批次中的图像数据和标签移至指定的设备(例如GPU)进行计算。
  6. 计算预测误差:

    • pred = model(X):将图像数据输入模型,获得模型的预测输出。
    • loss = loss_fn(pred, y):使用定义的损失函数计算预测输出与真实标签之间的误差。
  7. 反向传播:

    • optimizer.zero_grad():将模型参数的梯度归零,准备进行反向传播。
    • loss.backward():根据损失计算参数的梯度。
    • optimizer.step():根据梯度更新模型的参数。
  8. 记录正确率和损失:

    • train_acc += (pred.argmax(1) == y).type(torch.float).sum().item():计算并累加正确分类的样本数,.argmax(1)得到每个批次的预测类别,与真实标签比较,判断是否正确。
    • train_loss += loss.item():将当前批次的损失值累加。
  9. 计算平均正确率和损失:

    • train_acc /= size:计算平均正确率。
    • train_loss /= num_batches:计算平均损失。
  10. 返回训练过程中的正确率和损失。

3.编写测试函数

定义一个测试函数,用于在测试数据集上对模型进行评估,返回测试过程中的正确率和损失。该测试函数用于在测试数据集上对模型进行评估,不进行参数更新。它计算并返回测试过程中的平均正确率和损失,以评估模型在未见过的数据上的性能。

def test (dataloader, model, loss_fn):size        = len(dataloader.dataset)  # 测试集的大小,一共10000张图片num_batches = len(dataloader)          # 批次数目,313(10000/32=312.5,向上取整)test_loss, test_acc = 0, 0# 当不进行训练时,停止梯度更新,节省计算内存消耗with torch.no_grad():for imgs, target in dataloader:imgs, target = imgs.to(device), target.to(device)# 计算losstarget_pred = model(imgs)loss        = loss_fn(target_pred, target)test_loss += loss.item()test_acc  += (target_pred.argmax(1) == target).type(torch.float).sum().item()test_acc  /= sizetest_loss /= num_batchesreturn test_acc, test_loss

代码逻辑:

  1. 定义测试函数(test函数):

    • 这个函数接受数据加载器(dataloader)、模型(model)和损失函数(loss_fn)作为输入。
  2. 获取测试集大小和批次数目:

    • size = len(dataloader.dataset):获取整个测试数据集的大小,即10000张图片。
    • num_batches = len(dataloader):获取数据加载器中的批次数目,即313(10000/32,向上取整)。
  3. 初始化测试损失和正确率:

    • test_loss, test_acc = 0, 0:初始化测试损失和测试正确率。
  4. 进入测试循环:

    • with torch.no_grad()::在这个上下文管理器中,不进行梯度更新,以减少计算内存的消耗。
    • for imgs, target in dataloader::对数据加载器中的每个批次进行迭代,其中imgs是图像数据,target是对应的标签。
  5. 将数据移至设备:

    • imgs, target = imgs.to(device), target.to(device):将批次中的图像数据和标签移至指定的设备(例如GPU)进行计算。
  6. 计算预测误差:

    • target_pred = model(imgs):将图像数据输入模型,获得模型的预测输出。
    • loss = loss_fn(target_pred, target):使用定义的损失函数计算预测输出与真实标签之间的误差。
  7. 记录正确率和损失:

    • test_loss += loss.item():将当前批次的损失值累加。
    • test_acc += (target_pred.argmax(1) == target).type(torch.float).sum().item():计算并累加正确分类的样本数,与训练循环中类似。
  8. 计算平均正确率和损失:

    • test_acc /= size:计算平均正确率。
    • test_loss /= num_batches:计算平均损失。
  9. 返回测试过程中的正确率和损失。

4.正式训练

epochs     = 20
train_loss = []
train_acc  = []
test_loss  = []
test_acc   = []for epoch in range(epochs):model.train()epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)model.eval()epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)train_acc.append(epoch_train_acc)train_loss.append(epoch_train_loss)test_acc.append(epoch_test_acc)test_loss.append(epoch_test_loss)template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%,Test_loss:{:.3f}')print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss))
print('Done')

 

四、结果可视化

import matplotlib.pyplot as plt
#隐藏警告
import warnings
warnings.filterwarnings("ignore")               #忽略警告信息
plt.rcParams['font.sans-serif']    = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
plt.rcParams['figure.dpi']         = 100        #分辨率epochs_range = range(epochs)plt.figure(figsize=(12, 3))
plt.subplot(1, 2, 1)plt.plot(epochs_range, train_acc, label='Training Accuracy')
plt.plot(epochs_range, test_acc, label='Test Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')plt.subplot(1, 2, 2)
plt.plot(epochs_range, train_loss, label='Training Loss')
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/105714.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023京东酒类市场数据分析(京东数据开放平台)

根据鲸参谋平台的数据统计,今年7月份京东平台酒类环比集体下滑,接下来我们一起来看白酒、啤酒、葡萄酒的详情数据。 首先来看白酒市场。 鲸参谋数据显示,7月份京东平台白酒的销量为210万,环比下滑约49%;销售额将近19…

前端工程化之规范化

规范化是我们践行前端工程化中重要的一部分。 为什么要有规范化标准 俗话说,无规矩不成方圆,尤其是在开发行业中,更是要有严谨的工作态度,我们都知道大多数软件开发都不是一个人的工作,都是需要多人协同的&#xff0…

2023MySQL+MyBatis知识点整理

文章目录 主键 外键 的区别?什么是范式?什么是反范式?什么是事务?MySQL事务隔离级别?MySQL事务默认提交模式?MySQL中int(1)和int(10)的区别MySQL 浮点数会丢失精度吗?MySQL支持哪几种时间类型&a…

矢量调制分析基础

前言 本文介绍VSA 的矢量调制分析和数字调制分析测量能力。某些扫频调谐频谱分析仪也能通过使用另外的数字无线专用软件来提供数字调制分析。然而,VSA 通常在调制格式和解调算法配置等方面提供更大的测量灵活性,并提供更多的数据结果和轨迹轨迹显示。本…

nginx(七十八)nginx配置http2

一 ngx_http_v2模块 1、本文不讲解HTTP2的知识2、只讲解nginx中如何配置HTTP2 ① 前置条件 1、openssl的版本必须在1.0.2e及以上2、开启https加密,目前http2.0只支持开启了https的网站编译选项:--with-http_ssl_module --with-http_v2_module 特点&#xff1a…

W6100-EVB-PICO进行UDP组播数据回环测试(九)

前言 上一章我们用我们的开发板作为UDP客户端连接服务器进行数据回环测试,那么本章我们进行UDP组播数据回环测试。 什么是UDP组播? 组播是主机间一对多的通讯模式, 组播是一种允许一个或多个组播源发送同一报文到多个接收者的技术。组播源将…

【文心一言】如何申请获得体验资格,并简单使用它的强大功能

目录 一、文心一言1.1、它能做什么1.2、技术特点1.3、申请方法 二、功能体验2.1、文心一言2.2、写冒泡排序代码 测试代码2.3、画一个爱心2.4、画一个星空 三、申请和通过3.1、申请时间3.2、通过时间 文心一言,国内首个大型人工智能对话模型,发布已经快一…

AndroidStudio升级后总是Read Time Out的解决办法

AndroidStudio升级后在gradle的时候总是Time out,遇到过多次,总结一下解决办法 1、gradle下载超时 在工程目录../gradle/wrapper/gradle-wrapper.properties中找到gradle版本的下载链接,如下图: 将其复制到迅雷里下载&#xff0…

让eslint的错误信息显示在项目界面上

1.需求描述 效果如下 让eslint中的错误,显示在项目界面上 2.问题解决 1.安装 vite-plugin-eslint 插件 npm install vite-plugin-eslint --save-dev2.配置插件 // vite.config.js import { defineConfig } from vite import vue from vitejs/plugin-vue import e…

MySQL高级篇——MySQL架构篇1(Linux下MySQL8的安装与使用)

目录 0 安装前0.1 Linux系统及工具的准备0.2 查看是否安装过MySQL0.3 MySQL的卸载 1 MySQL8的Linux版安装1.1 MySQL的4大版本1.2 下载MySQL指定版本1.3 CentOS7下检查MySQL依赖1.4 CentOS7下MySQL安装过程 2 MySQL登录2.1 首次登录2.2 修改密码2.3 设置远程登录 3 MySQL 8 的密…

【Linux】动态库和静态库

动态库和静态库 软链接硬链接硬链接要注意 自定义实现一个静态库(.a)解决、使用方法静态库的内部加载过程 自定义实现一个动态库(.so)动态库加载过程 静态库和动态库的特点 软链接 命令:ln -s 源文件名 目标文件名 软链接是独立连接文件的,他…

【从零学习python 】69. 网络通信及IP地址分类解析

文章目录 网络通信的概念IP地址IP地址的分类A类地址B类地址C类地址D类地址E类地址私有地址 进阶案例 网络通信的概念 简单来说,网络是用物理链路将各个孤立的工作站或主机相连在一起,组成数据链路,从而达到资源共享和通信的目的。 使用网络…

interview2-框架篇

一、Spring篇 1、Spring (1)Bean线程安全问题 不是线程安全的。Spring框架中有一个Scope注解,默认的值就是singleton,单例的。因为一般在spring的bean的中都是注入无状态的对象,没有线程安全问题,如果在b…

SQL注入之布尔盲注

文章目录 布尔盲注是什么?布尔盲注获取sqli-labs名称 布尔盲注是什么? 当存在SQL注入时,攻击者无法通过页面或请求的返回信息,回显或获取到SQL注入语句的执行结果,这种情况就叫盲注。 布尔型盲注就是利用返回的True或F…

portainer初体验

官方文档 安装 docker 这里采用的的是国内汉化的一个镜像,版本号2.16.2。 地址 docker run -d --restartalways --name"portainer" -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock 6053537/portainer-ce体验 访问9000端口。 尝试&#x…

基于黏菌算法优化的BP神经网络(预测应用) - 附代码

基于黏菌算法优化的BP神经网络(预测应用) - 附代码 文章目录 基于黏菌算法优化的BP神经网络(预测应用) - 附代码1.数据介绍2.黏菌优化BP神经网络2.1 BP神经网络参数设置2.2 黏菌算法应用 4.测试结果:5.Matlab代码 摘要…

算法笔记(二):二分查找

二分查找 1、基础版 public static int binarySearch(int[] a, int target) {int i 0, j a.length - 1;while (i < j) {int m (i j) >>> 1;if (target < a[m]) { // 在左边j m - 1;} else if (a[m] < target) { // 在右边i m 1;} else {return m…

Notepad++正则匹配

Notepad正则匹配 Notepad正则表达式字符串最长不能超过69个字符一、支持的语法二、正则表达式诀窍三、案例3.1、匹配时间戳3.2、提取指定字符串3.3、提取单词3.4、查找中文字符 四、示例4.1、示例1&#xff1a;把含目标字符串及之后的字符串全部替换4.2、示例2&#xff1a;4.3、…

Vue2向Vue3过度核心技术computed计算属性

目录 1 computed计算属性1.1 概念1.2 语法1.3 注意1.4.案例1.5.代码准备 2 computed计算属性 VS methods方法2.1 computed计算属性2.2 methods计算属性2.3 计算属性的优势2.4 总结 3 计算属性的完整写法 1 computed计算属性 1.1 概念 基于现有的数据&#xff0c;计算出来的新属…

git管理代码

理论上改代码前要pull一次&#xff0c;然后在push前在pull一次 改代码前pull一次是为了获取最新的同步&#xff0c;但是coding也是需要时间的&#xff0c;难保敲代码的这段时间没有人动远程仓库的东西&#xff0c;所以在改完代码要push的时候也应该再pull一下看有无冲突&#x…