小土堆深度学习笔记

pytorch安装，请查看上篇博客。

读取图片操作

from PIL import Imageimg_path = "D:\\pythonProject\\learn_pytorch\\dataset\\train\\ants\\0013035.jpg"
img = Image.open(img_path)
img.show()dir_path="dataset/train/ants"
import os
img_path_list = os.listdir(dir_path)
img_path_list[0]
Out[16]: '0013035.jpg'

from torch.utils.data import Dataset
from PIL import Image
import osclass MyData(Dataset):def __init__(self, root_dir, label_dir):self.root_dir = root_dirself.label_dir = label_dirself.path = os.path.join(self.root_dir, self.label_dir)self.img_path_list = os.listdir(self.path)def __getitem__(self, idx):img_name = self.img_path_list[idx]img_item_path = os.path.join(self.root_dir, self.label_dir, img_name)img = Image.open(img_item_path)label = self.label_dirreturn img, labeldef __len__(self):return len(self.img_path_list)root_dir = "dataset/train"
ants_label_dir = "ants"
ants_dataset = MyData(root_dir, ants_label_dir)

TensorBoard的使用

from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter("logs")for i in range(100):writer.add_scalar("y=x", 2 * i, i)writer.close()

在logs文件夹中会出现相关的事件，如下图。

在这里插入图片描述

在控制台中输入命令tensorboard --logdir=logs即可出现一个网址，对拟合过程进行一个可视化。

在这里插入图片描述

import numpy as np
from torch.utils.tensorboard import SummaryWriter
from PIL import Imagewriter = SummaryWriter("logs")
image_path = "dataset/train/ants_image/0013035.jpg"
img_PIL = Image.open(image_path)
img_array = np.array(img_PIL)
print(type(img_array))
print(img_array.shape) # 证明是3通道在后，因此add_image方法需要加上dataformats="HWC"参数。# add_image这个方法的第二个参数既可以是numpy类型也可以是tensor类型的。
writer.add_image("test", img_array, 1, dataformats="HWC")writer.close()

在这里插入图片描述
在这里插入图片描述

Transforms的使用

在这里插入图片描述

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriterimg_path = "dataset/train/bees_image/16838648_415acd9e3f.jpg"
img_PIL = Image.open(img_path)writer = SummaryWriter("logs")# 1、ToTensor该如何使用？
tool = transforms.ToTensor()
img_tensor = tool(img_PIL)writer.add_image("Tensor_img", img_tensor, 1)writer.close()

在这里插入图片描述

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriterimg_path = "dataset/train/bees_image/16838648_415acd9e3f.jpg"
img_PIL = Image.open(img_path)writer = SummaryWriter("logs")# 1、ToTensor该如何使用？
trans_totensor = transforms.ToTensor()
img_tensor = trans_totensor(img_PIL)
writer.add_image("Tensor_img", img_tensor)# Normalize
trans_norm = transforms.Normalize([8, 3, 6], [5, 2, 7])
img_norm = trans_norm(img_tensor)
writer.add_image("Normal_img", img_norm, 2)# Resize
trans_resize = transforms.Resize((512, 512))
img_resize = trans_resize(img_PIL)
img_resize = trans_totensor(img_resize)
writer.add_image("Resize_img", img_resize, 0)# Resize2
trans_resize2 = transforms.Resize(512)
trans_compose = transforms.Compose([trans_resize2, trans_totensor])
img_resize2 = trans_compose(img_PIL)
writer.add_image("Resize_img", img_resize2, 1)# 随即裁剪
trans_randomcrop = transforms.RandomCrop(256)
trans_compose_2 = transforms.Compose([trans_randomcrop, trans_totensor])
for i in range(10):img_crop_2 = trans_compose_2(img_PIL)writer.add_image("RandomCrop_img", img_crop_2, i)writer.close()

torchvision中数据集的使用

import torchvision
from torch.utils.tensorboard import SummaryWritertransforms_compose = torchvision.transforms.Compose([torchvision.transforms.ToTensor()
])train_set = torchvision.datasets.CIFAR10(root="./dataset", train=True, transform=transforms_compose, download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset", train=False, transform=transforms_compose, download=True)print(test_set[0])
# print(test_set.classes)
#
# img, target = test_set[0]
# print(img)
# print(target)
# print(test_set.classes[target])
# img.show()writer = SummaryWriter("logs")for i in range(10):img, target = test_set[i]writer.add_image("test_set", img, i)writer.close()

DataLoader的使用

DataLoader与Dataset的关系

DataLoader是数据加载器，Dataset是数据集。DataLoader设置参数去读取数据，其中，参数表明读那个数据集，每次读多少等。

在这里插入图片描述

import torchvision#准备测试的数据
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWritertest_data = torchvision.datasets.CIFAR10(root="./dataset", train=False, transform=torchvision.transforms.ToTensor())
test_loader = DataLoader(test_data, batch_size=64, shuffle=True, num_workers=0, drop_last=True)writer = SummaryWriter("dataloader")step = 0
for data in test_loader:imgs, targets = dataprint(imgs.shape)print(targets)writer.add_images("test_dataloader", imgs, step)step = step + 1writer.close()

nn.Module神经网络基本骨架

import torch
from torch import nnclass Tudui(nn.Module):def __init__(self) -> None:super().__init__()# Module类里的__call__应该自动调用了forward，你在这里是看不到的def forward(self, input):output = input + 1return outputtudui = Tudui()
x = torch.tensor(1.0)
output = tudui(x)
print(output)

输出：tensor(2.)

卷积操作

import torch
import torch.nn.functional as Finput = torch.tensor([[1, 2, 0, 3, 1],[0, 1, 2, 3, 1],[1, 2, 1, 0, 0],[5, 2, 3, 1, 1],[2, 1, 0, 1, 1]])kernel = torch.tensor([[1, 2, 1],[0, 1, 0],[2, 1, 0]])input = torch.reshape(input, (1, 1, 5, 5))
kernel = torch.reshape(kernel, (1, 1, 3, 3))output = F.conv2d(input, kernel, stride=1)
print(output)

输出：tensor([[[[10, 12, 12],
[18, 16, 16],
[13, 9, 3]]]])

神经网络 卷积层

channel的大小和卷积核个数有关，和其尺寸没有关系

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10(root="./dataset", train=False, transform=torchvision.transforms.ToTensor(), download=True)
dataloader = DataLoader(dataset, batch_size=64)class Tudui(nn.Module):def __init__(self) -> None:super().__init__()self.conv1 = Conv2d(in_channels=3, out_channels=6, kernel_size=3, stride=1, padding=0)def forward(self, x):x = self.conv1(x)return xtudui = Tudui()writer = SummaryWriter("dataloader")
step = 0
for data in dataloader:imgs, targets = dataoutput = tudui(imgs)print(imgs.shape)print(output.shape)writer.add_images("input", imgs, step)output = torch.reshape(output, (-1, 3, 30, 30))writer.add_images("output", output, step)step = step + 1writer.close()

神经网络 非线性激活

谈谈神经网络中的非线性激活函数——ReLu函数 (zhihu.com)

激活函数是指在多层神经网络中，上层神经元的输出和下层神经元的输入存在一个函数关系，这个函数就是激活函数。

引入非线性激活函数的目的是提高神经网络的非线性拟合能力，增强模型的表达能力。

神经网络 线性层

# 神经网络 线性层
import torch
import torchvision
from torch import nn
from torch.nn import Linear
from torch.utils.data import DataLoaderdataset = torchvision.datasets.CIFAR10(root="./dataset", train=True, transform=torchvision.transforms.ToTensor(), download=True)
dataloader = DataLoader(dataset, batch_size=64)class Tudui(nn.Module):def __init__(self) -> None:super().__init__()self.linear1 = Linear(196608, 10)def forward(self, x):output = self.linear1(x)return outputtudui = Tudui()for data in dataloader:imgs, targets = dataprint(imgs.shape)output = torch.flatten(imgs)print(output.shape)output = tudui(output)print(output.shape)

神经网络 搭建小实战

# 搭建网络模型
import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.tensorboard import SummaryWriterclass Tudui(nn.Module):def __init__(self) -> None:super().__init__()self.model1 = Sequential(Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self, x):x = self.model1(x)return xtudui = Tudui()
print(tudui)
input = torch.ones((64, 3, 32, 32))
output = tudui(input)
print(output.shape)writer = SummaryWriter("logs_seq")
writer.add_graph(tudui, input)
writer.close()

总结

import timeimport torch
import torchvision
from torch.utils.tensorboard import SummaryWriter# 准备数据集
from torch import nn
from torch.utils.data import DataLoaderstart_time = time.time()
train_data = torchvision.datasets.CIFAR10(root="./dataset", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./dataset", train=False, transform=torchvision.transforms.ToTensor(), download=True)# length 长度
train_data_size = len(train_data)
test_data_size = len(test_data)
# 格式化字符串的用法
print("训练数据集的长度{}".format(train_data_size))
print("测试数据集的长度{}".format(test_data_size))# 利用DataLoader来加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)import torch
from torch import nn# 搭建神经网络
class Tudui(nn.Module):def __init__(self) -> None:super().__init__()self.model= nn.Sequential(nn.Conv2d(3, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(2),nn.Flatten(),nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):return self.model(x)if __name__ == '__main__':tudui = Tudui()input = torch.ones((64, 3, 32, 32))output = tudui(input)print(output.shape)# 创建网络模型
tudui = Tudui()
if torch.cuda.is_available():tudui = tudui.cuda()# 损失函数
loss_fn = nn.CrossEntropyLoss()
if torch.cuda.is_available():loss_fn = loss_fn.cuda()# 优化器
learning_rate = 0.01
optimizer = torch.optim.SGD(tudui.parameters(), lr = learning_rate)# 设置训练网络的一些参数
# 记录训练的次数
total_train_step = 0
# 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 10# 添加tensorboard
writer = SummaryWriter("P28_logs_train")for i in range(epoch):print("-----第{}轮训练开始-----".format(i + 1))# 训练步骤开始tudui.train()for data in train_dataloader:imgs, targets = dataif torch.cuda.is_available():imgs = imgs.cuda()targets = targets.cuda()outputs = tudui(imgs)loss = loss_fn(outputs, targets)# 优化器优化模型optimizer.zero_grad()loss.backward()optimizer.step()total_train_step = total_train_step + 1if total_train_step % 100 == 0:end_time = time.time()print(end_time - start_time)print("训练次数：{}， Loss：{}".format(total_train_step, loss.item()))writer.add_scalar("train_loss", loss.item(), total_train_step)# 测试步骤开始tudui.eval()total_test_loss = 0total_accuracy = 0with torch.no_grad():for data in test_dataloader:imgs, targets = dataif torch.cuda.is_available():imgs = imgs.cuda()targets = targets.cuda()outputs = tudui(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()accuracy = (outputs.argmax(1) == targets).max()total_accuracy = total_accuracy + accuracyprint("整体测试集上的Loss:{}".format(total_test_loss))print("整体测试集上的正确率:{}".format(total_accuracy/test_data_size))writer.add_scalar("test_loss", total_test_loss, total_test_step)writer.add_scalar("test_accuracy", total_accuracy/test_data_size, total_test_step)total_test_step = total_test_step + 1torch.save(tudui, "tudui_{}.pth".format(i))print("模型已保存")writer.close()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/279054.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

使用jQuery的autocomplete实现数据查询一次，联想自动补全

使用jQuery的autocomplete实现数据查询一次，联想自动补全

书接上回，上次说到在jsp页面中，通过监听输入框的数值变化，实时查询数据库，得到返回值使用autocomplete属性自动补全，实现一个联想补全辅助操作，链接：使用jquery的autocomplete属性实现联想补全操…
阅读更多...
【黑马程序员】Python高阶

【黑马程序员】Python高阶

文章目录 闭包定义nonlocal关键字作用优缺点优点缺点 装饰器装饰器闭包写法 设计模式单例模式工厂模式优点代码示例 多线程基本概念threading模块 网络编程服务端开发socketsocket服务端编程 客户端开发 正则表达式正则的三个基础方法matchsearchfindAll 元字符匹配单字符匹配数…
阅读更多...
Springboot 博客_002 项目环境配置

Springboot 博客_002 项目环境配置

引入相关依赖 mysqlmybatis <dependency><groupId>com.mysql</groupId><artifactId>mysql-connector-j</artifactId></dependency><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-…
阅读更多...
idea远程试调jar、远程试调war

idea远程试调jar、远程试调war

idea远程试调jar、远程试调war 目的&#xff1a;测试运行时与ide开发时是否一致。 配置jar Maven中添加 <packaging>jar</packaging>将其打包为jar。 设置运行入口main 编译jar 看到jar输出 配置试调 添加jar运行 远程试调 先在源码中打好断点试调 debug运行…
阅读更多...
机器人路径规划：基于双向A*算法（bidirectional a star）的机器人路径规划（提供Python代码）

机器人路径规划：基于双向A*算法（bidirectional a star）的机器人路径规划（提供Python代码）

一、双向A*算法简介 传统A*算法是一种静态路网中求解最短路径最有效的方法&#xff0c; 它结合了BFS 算法和迪杰斯特拉算法(Dijkstra)的优点。 和迪杰斯特拉算法(Dijkstra)一样&#xff0c; A*算法能够用于 搜索最短路径&#xff1b; 和BFS 算法一样&#xff0c; A*算法可以用…
阅读更多...
【异常处理】SpringMVC无法跳转视图问题

【异常处理】SpringMVC无法跳转视图问题

浏览器发送请求给控制器&#xff0c;但是结果是404报错&#xff0c;又试了一下返回json字符串&#xff0c;json可以获取到&#xff0c;所以应该springmvc出了问题。 查看controller&#xff0c;发现无法加载视图
阅读更多...
基于FPGA的光纤通信系统的实现的优化技巧与方法

基于FPGA的光纤通信系统的实现的优化技巧与方法

逻辑电路基本框架回顾 跨时钟域同步技术 读写操作相互独立时钟域 A 和 B 不需要一致的相位由专门逻辑控制读写操作的切换 高速数据的乒乓缓存技术
阅读更多...
深入理解模板进阶：掌握C++模板的高级技巧

深入理解模板进阶：掌握C++模板的高级技巧

&#x1f389;个人名片&#xff1a; &#x1f43c;作者简介&#xff1a;一名乐于分享在学习道路上收获的大二在校生 &#x1f648;个人主页&#x1f389;&#xff1a;GOTXX &#x1f43c;个人WeChat&#xff1a;ILXOXVJE &#x1f43c;本文由GOTXX原创&#xff0c;首发CSDN&…
阅读更多...
分析基于解析物理模型的E模式p沟道GaN高电子迁移率晶体管（H-FETs）

分析基于解析物理模型的E模式p沟道GaN高电子迁移率晶体管（H-FETs）

来源&#xff1a;Analyzing E-Mode p-Channel GaN H-FETs Using an Analytic Physics-Based Compact Mode&#xff08;TED 24年&#xff09; 摘要 随着近期对用于GaN互补技术集成电路&#xff08;ICs&#xff09;开发的p沟道GaN器件研究兴趣的激增&#xff0c;一套全面的模型…
阅读更多...
ssh免密登陆更换目标主机后无法连接

ssh免密登陆更换目标主机后无法连接

在进行hadoop分布式环境搭建时&#xff08;三台机&#xff0c;master&#xff0c;slave1&#xff0c;slave2&#xff09;&#xff0c;后期slave2系统出现问题&#xff0c;更换新机后&#xff0c;master与slave2文件传输失败&#xff1a; 以为是秘钥过期的问题&#xff0c;更换…
阅读更多...
【C语言】C语言内存函数

【C语言】C语言内存函数

&#x1f451;个人主页&#xff1a;啊Q闻 &#x1f387;收录专栏&#xff1a;《C语言》 &#x1f389;道阻且长&#xff0c;行则将至 前言 这篇博客是关于C语言内存函数(memcpy,memmove,memset,memcmp)的使用以及部分的模拟实现 memcpy,memmove,memset,memc…
阅读更多...
DHCP在企业网的部署及安全防范

DHCP在企业网的部署及安全防范

学习目标&#xff1a; 1. DHCP能够解决什么问题&#xff1f; 2. DHCP服务器如何部署&#xff1f; 3. 私接设备会带来什么问题以及如何防范&#xff1f; 给DHCP服务器配置地址&#xff1a; 地址池&#xff1a; DHCP有2种分配模式&#xff1a;全局分配和接口分配 DHCP enable
阅读更多...
Unity在UGUI上通过绘制网格顶点自由画线

Unity在UGUI上通过绘制网格顶点自由画线

该插件的实现是使用UI组件的绘图API来动态生成和修改几何形状&#xff0c;可自由动态更改画线的粗细、拐角圆滑度、颜色&#xff0c;自由增减节点&#xff0c;不额外增加gameobject&#xff0c;并且在原生的UGUI上以ScreenSpace-Overlay的状态下&#xff0c;显示效果如下所示 …
阅读更多...
Vue2（七）：超详细vue开发环境搭建（win7），nodejs下载与安装，安装淘宝镜像（报错已解决），配置脚手架

Vue2（七）：超详细vue开发环境搭建（win7），nodejs下载与安装，安装淘宝镜像（报错已解决），配置脚手架

一、安装node.js 本来想粗略写一下的&#xff0c;但是搭建脚手架的时候&#xff0c;遇到了很多问题&#xff0c;浪费快两天时间&#xff0c;记录一下自己的解决办法希望对你们有帮助&#xff01; 1.下载nodejs 安装包下载链接【CNPM Binaries Mirror】 下载我划线的这个&am…
阅读更多...
HTML案例-1.标签练习

HTML案例-1.标签练习

效果 源码 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head&g…
阅读更多...
蓝桥杯-Sticks-DFS搜索

蓝桥杯-Sticks-DFS搜索

题目 样例输出是 6 5 题目中给错了&#xff0c;不知道什么时候会改。 思路 --剪枝&#xff0c;否则时间复杂度和空间复杂度过大&#xff0c;会超时。 --注意有多组测试样例时&#xff0c;需要将bool数组重新赋值为false。 --函数类型不是void&#xff0c;return语句不能省…
阅读更多...
Wmware安装Linux（centerOS、Ubuntu版本）

Wmware安装Linux（centerOS、Ubuntu版本）

目录 1、安装wmware 2、center版本 3、ubuntu版本 1、安装wmware 此处不做展开。 2、center版本 需要提前下载的文件&#xff1a; 无图形化界面https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso 有图形化界面https://mirrors.a…
阅读更多...
论文阅读——Vision Transformer with Deformable Attention

论文阅读——Vision Transformer with Deformable Attention

Vision Transformer with Deformable Attention 多头自注意力公式化为&#xff1a; 第l层transformer模块公式化为&#xff1a; 在Transformer模型中简单地实现DCN是一个non-trivial的问题。在DCN中&#xff0c;特征图上的每个元素都单独学习其偏移&#xff0c;其中HWC特征图上…
阅读更多...
爱恩斯坦棋小游戏使用C语言+ege/easyx实现

爱恩斯坦棋小游戏使用C语言+ege/easyx实现

目录 1、游戏介绍和规则 2、需要用到的头文件 3、这里我也配上一个ege和easyx的下载链接吧&#xff0c;应该下一个就可以 4、运行结果部分展示 5、需要用到的图片要放在代码同一文件夹下 6、代码地址&#xff08;里面有需要用到的图片&#xff09; 1、游戏介绍和规则 规则如…
阅读更多...
C++ Qt开发：QUdpSocket网络通信组件

C++ Qt开发：QUdpSocket网络通信组件

Qt 是一个跨平台C图形界面开发库&#xff0c;利用Qt可以快速开发跨平台窗体应用程序&#xff0c;在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置&#xff0c;实现图形化开发极大的方便了开发效率&#xff0c;本章将重点介绍如何运用QUdpSocket组件实现基于UDP的网络通信…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023