pytorch-神经网络-手写数字分类任务

Mnist分类任务：

  • 网络基本构建与训练方法，常用函数解析

  • torch.nn.functional模块

  • nn.Module模块

  • 读取Mnist数据集

  • 会自动进行下载 
    %matplotlib inlinefrom pathlib import Path
import requestsDATA_PATH = Path("data")
PATH = DATA_PATH / "mnist"PATH.mkdir(parents=True, exist_ok=True)URL = "http://deeplearning.net/data/mnist/"
FILENAME = "mnist.pkl.gz"if not (PATH / FILENAME).exists():content = requests.get(URL + FILENAME).content(PATH / FILENAME).open("wb").write(content)import pickle
import gzipwith gzip.open((PATH / FILENAME).as_posix(), "rb") as f:((x_train, y_train), (x_valid, y_valid), _) = pickle.load(f, encoding="latin-1")from matplotlib import pyplot
import numpy as nppyplot.imshow(x_train[0].reshape((28, 28)), cmap="gray")
print(x_train.shape)

  • \

  • 注意数据需转换成tensor才能参与后续建模训练

    import torchx_train, y_train, x_valid, y_valid = map(torch.tensor, (x_train, y_train, x_valid, y_valid)
)
n, c = x_train.shape
x_train, x_train.shape, y_train.min(), y_train.max()
print(x_train, y_train)
print(x_train.shape)
print(y_train.min(), y_train.max())

    torch.nn.functional 很多层和函数在这里都会见到

    torch.nn.functional中有很多功能，后续会常用的。那什么时候使用nn.Module，什么时候使用nn.functional呢？一般情况下，如果模型有可学习的参数，最好用nn.Module，其他情况nn.functional相对更简单一些

    import torch.nn.functional as Floss_func = F.cross_entropydef model(xb):return xb.mm(weights) + bias
    bs = 64
xb = x_train[0:bs]  # a mini-batch from x
yb = y_train[0:bs]
weights = torch.randn([784, 10], dtype = torch.float,  requires_grad = True) 
bs = 64
bias = torch.zeros(10, requires_grad=True)print(loss_func(model(xb), yb))

    创建一个model来更简化代码

  • 必须继承nn.Module且在其构造函数中需调用nn.Module的构造函数
  • 无需写反向传播函数，nn.Module能够利用autograd自动实现反向传播
  • Module中的可学习参数可以通过named_parameters()或者parameters()返回迭代器 
    from torch import nnclass Mnist_NN(nn.Module):def __init__(self):super().__init__()self.hidden1 = nn.Linear(784, 128)self.hidden2 = nn.Linear(128, 256)self.out  = nn.Linear(256, 10)def forward(self, x):x = F.relu(self.hidden1(x))x = F.relu(self.hidden2(x))x = self.out(x)return x
    net = Mnist_NN()
print(net)


    for name, parameter in net.named_parameters():print(name, parameter,parameter.size())
    hidden1.weight Parameter containing:
tensor([[ 0.0018,  0.0218,  0.0036,  ..., -0.0286, -0.0166,  0.0089],[-0.0349,  0.0268,  0.0328,  ...,  0.0263,  0.0200, -0.0137],[ 0.0061,  0.0060, -0.0351,  ...,  0.0130, -0.0085,  0.0073],...,[-0.0231,  0.0195, -0.0205,  ..., -0.0207, -0.0103, -0.0223],[-0.0299,  0.0305,  0.0098,  ...,  0.0184, -0.0247, -0.0207],[-0.0306, -0.0252, -0.0341,  ...,  0.0136, -0.0285,  0.0057]],requires_grad=True) torch.Size([128, 784])
hidden1.bias Parameter containing:
tensor([ 0.0072, -0.0269, -0.0320, -0.0162,  0.0102,  0.0189, -0.0118, -0.0063,-0.0277,  0.0349,  0.0267, -0.0035,  0.0127, -0.0152, -0.0070,  0.0228,-0.0029,  0.0049,  0.0072,  0.0002, -0.0356,  0.0097, -0.0003, -0.0223,-0.0028, -0.0120, -0.0060, -0.0063,  0.0237,  0.0142,  0.0044, -0.0005,0.0349, -0.0132,  0.0138, -0.0295, -0.0299,  0.0074,  0.0231,  0.0292,-0.0178,  0.0046,  0.0043, -0.0195,  0.0175, -0.0069,  0.0228,  0.0169,0.0339,  0.0245, -0.0326, -0.0260, -0.0029,  0.0028,  0.0322, -0.0209,-0.0287,  0.0195,  0.0188,  0.0261,  0.0148, -0.0195, -0.0094, -0.0294,-0.0209, -0.0142,  0.0131,  0.0273,  0.0017,  0.0219,  0.0187,  0.0161,0.0203,  0.0332,  0.0225,  0.0154,  0.0169, -0.0346, -0.0114,  0.0277,0.0292, -0.0164,  0.0001, -0.0299, -0.0076, -0.0128, -0.0076, -0.0080,-0.0209, -0.0194, -0.0143,  0.0292, -0.0316, -0.0188, -0.0052,  0.0013,-0.0247,  0.0352, -0.0253, -0.0306,  0.0035, -0.0253,  0.0167, -0.0260,-0.0179, -0.0342,  0.0033, -0.0287, -0.0272,  0.0238,  0.0323,  0.0108,0.0097,  0.0219,  0.0111,  0.0208, -0.0279,  0.0324, -0.0325, -0.0166,-0.0010, -0.0007,  0.0298,  0.0329,  0.0012, -0.0073, -0.0010,  0.0057],requires_grad=True) torch.Size([128])
hidden2.weight Parameter containing:
tensor([[-0.0383, -0.0649,  0.0665,  ..., -0.0312,  0.0394, -0.0801],[-0.0189, -0.0342,  0.0431,  ..., -0.0321,  0.0072,  0.0367],[ 0.0289,  0.0780,  0.0496,  ...,  0.0018, -0.0604, -0.0156],...,[-0.0360,  0.0394, -0.0615,  ...,  0.0233, -0.0536, -0.0266],[ 0.0416,  0.0082, -0.0345,  ...,  0.0808, -0.0308, -0.0403],[-0.0477,  0.0136, -0.0408,  ...,  0.0180, -0.0316, -0.0782]],requires_grad=True) torch.Size([256, 128])
hidden2.bias Parameter containing:
tensor([-0.0694, -0.0363, -0.0178,  0.0206, -0.0875, -0.0876, -0.0369, -0.0386,0.0642, -0.0738, -0.0017, -0.0243, -0.0054,  0.0757, -0.0254,  0.0050,0.0519, -0.0695,  0.0318, -0.0042, -0.0189, -0.0263, -0.0627, -0.0691,0.0713, -0.0696, -0.0672,  0.0297,  0.0102,  0.0040,  0.0830,  0.0214,0.0714,  0.0327, -0.0582, -0.0354,  0.0621,  0.0475,  0.0490,  0.0331,-0.0111, -0.0469, -0.0695, -0.0062, -0.0432, -0.0132, -0.0856, -0.0219,-0.0185, -0.0517,  0.0017, -0.0788, -0.0403,  0.0039,  0.0544, -0.0496,0.0588, -0.0068,  0.0496,  0.0588, -0.0100,  0.0731,  0.0071, -0.0155,-0.0872, -0.0504,  0.0499,  0.0628, -0.0057,  0.0530, -0.0518, -0.0049,0.0767,  0.0743,  0.0748, -0.0438,  0.0235, -0.0809,  0.0140, -0.0374,0.0615, -0.0177,  0.0061, -0.0013, -0.0138, -0.0750, -0.0550,  0.0732,0.0050,  0.0778,  0.0415,  0.0487,  0.0522,  0.0867, -0.0255, -0.0264,0.0829,  0.0599,  0.0194,  0.0831, -0.0562,  0.0487, -0.0411,  0.0237,0.0347, -0.0194, -0.0560, -0.0562, -0.0076,  0.0459, -0.0477,  0.0345,-0.0575, -0.0005,  0.0174,  0.0855, -0.0257, -0.0279, -0.0348, -0.0114,-0.0823, -0.0075, -0.0524,  0.0331,  0.0387, -0.0575,  0.0068, -0.0590,-0.0101, -0.0880, -0.0375,  0.0033, -0.0172, -0.0641, -0.0797,  0.0407,0.0741, -0.0041, -0.0608,  0.0672, -0.0464, -0.0716, -0.0191, -0.0645,0.0397,  0.0013,  0.0063,  0.0370,  0.0475, -0.0535,  0.0721, -0.0431,0.0053, -0.0568, -0.0228, -0.0260, -0.0784, -0.0148,  0.0229, -0.0095,-0.0040,  0.0025,  0.0781,  0.0140, -0.0561,  0.0384, -0.0011, -0.0366,0.0345,  0.0015,  0.0294, -0.0734, -0.0852, -0.0015, -0.0747, -0.0100,0.0801, -0.0739,  0.0611,  0.0536,  0.0298, -0.0097,  0.0017, -0.0398,0.0076, -0.0759, -0.0293,  0.0344, -0.0463, -0.0270,  0.0447,  0.0814,-0.0193, -0.0559,  0.0160,  0.0216, -0.0346,  0.0316,  0.0881, -0.0652,-0.0169,  0.0117, -0.0107, -0.0754, -0.0231, -0.0291,  0.0210,  0.0427,0.0418,  0.0040,  0.0762,  0.0645, -0.0368, -0.0229, -0.0569, -0.0881,-0.0660,  0.0297,  0.0433, -0.0777,  0.0212, -0.0601,  0.0795, -0.0511,-0.0634,  0.0720,  0.0016,  0.0693, -0.0547, -0.0652, -0.0480,  0.0759,0.0194, -0.0328, -0.0211, -0.0025, -0.0055, -0.0157,  0.0817,  0.0030,0.0310, -0.0735,  0.0160, -0.0368,  0.0528, -0.0675, -0.0083, -0.0427,-0.0872,  0.0699,  0.0795, -0.0738, -0.0639,  0.0350,  0.0114,  0.0303],requires_grad=True) torch.Size([256])
out.weight Parameter containing:
tensor([[ 0.0232, -0.0571,  0.0439,  ..., -0.0417, -0.0237,  0.0183],[ 0.0210,  0.0607,  0.0277,  ..., -0.0015,  0.0571,  0.0502],[ 0.0297, -0.0393,  0.0616,  ...,  0.0131, -0.0163, -0.0239],...,[ 0.0416,  0.0309, -0.0441,  ..., -0.0493,  0.0284, -0.0230],[ 0.0404, -0.0564,  0.0442,  ..., -0.0271, -0.0526, -0.0554],[-0.0404, -0.0049, -0.0256,  ..., -0.0262, -0.0130,  0.0057]],requires_grad=True) torch.Size([10, 256])
out.bias Parameter containing:
tensor([-0.0536,  0.0007,  0.0227, -0.0072, -0.0168, -0.0125, -0.0207, -0.0558,0.0579, -0.0439], requires_grad=True) torch.Size([10])

  • 使用TensorDataset和DataLoader来简化

    from torch.utils.data import TensorDataset
from torch.utils.data import DataLoadertrain_ds = TensorDataset(x_train, y_train)
train_dl = DataLoader(train_ds, batch_size=bs, shuffle=True)valid_ds = TensorDataset(x_valid, y_valid)
valid_dl = DataLoader(valid_ds, batch_size=bs * 2)
    def get_data(train_ds, valid_ds, bs):return (DataLoader(train_ds, batch_size=bs, shuffle=True),DataLoader(valid_ds, batch_size=bs * 2),)

  • 一般在训练模型时加上model.train()，这样会正常使用Batch Normalization和 Dropout
  • 测试的时候一般选择model.eval()，这样就不会使用Batch Normalization和 Dropout 
    import numpy as npdef fit(steps, model, loss_func, opt, train_dl, valid_dl):for step in range(steps):model.train()for xb, yb in train_dl:loss_batch(model, loss_func, xb, yb, opt)model.eval()with torch.no_grad():losses, nums = zip(*[loss_batch(model, loss_func, xb, yb) for xb, yb in valid_dl])val_loss = np.sum(np.multiply(losses, nums)) / np.sum(nums)print('当前step:'+str(step), '验证集损失：'+str(val_loss))
    from torch import optim
def get_model():model = Mnist_NN()return model, optim.SGD(model.parameters(), lr=0.001)
    def loss_batch(model, loss_func, xb, yb, opt=None):loss = loss_func(model(xb), yb)if opt is not None:loss.backward()opt.step()opt.zero_grad()return loss.item(), len(xb)

    三行搞定！

    train_dl, valid_dl = get_data(train_ds, valid_ds, bs)
model, opt = get_model()
fit(25, model, loss_func, opt, train_dl, valid_dl)
    当前step:0 验证集损失：2.2796445930480957
当前step:1 验证集损失：2.2440698066711424
当前step:2 验证集损失：2.1889826164245605
当前step:3 验证集损失：2.0985311767578123
当前step:4 验证集损失：1.9517273582458496
当前step:5 验证集损失：1.7341805934906005
当前step:6 验证集损失：1.4719875366210937
当前step:7 验证集损失：1.2273896869659424
当前step:8 验证集损失：1.0362271406173706
当前step:9 验证集损失：0.8963696184158325
当前step:10 验证集损失：0.7927186088562012
当前step:11 验证集损失：0.7141492074012756
当前step:12 验证集损失：0.6529350900650024
当前step:13 验证集损失：0.60417300491333
当前step:14 验证集损失：0.5643046331882476
当前step:15 验证集损失：0.5317994566917419
当前step:16 验证集损失：0.5047958114624024
当前step:17 验证集损失：0.4813900615692139
当前step:18 验证集损失：0.4618900228500366
当前step:19 验证集损失：0.4443243554592133
当前step:20 验证集损失：0.4297310716629028
当前step:21 验证集损失：0.416976597738266
当前step:22 验证集损失：0.406348459148407
当前step:23 验证集损失：0.3963301926612854
当前step:24 验证集损失：0.38733808159828187https://gitee.com/code-wenjiahao/neural-network-practical-classification-and-regression-tasks/tree/master


     
    ​
     











本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/122750.html


如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！











相关文章










使用 Nacos 在 Spring Boot 项目中实现服务注册与配置管理








使用 Nacos 在 Spring Boot 项目中实现服务注册与配置管理




🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…




阅读更多...

















每日刷题（回溯法经典问题之子集）








每日刷题（回溯法经典问题之子集）




食用指南：本文为作者刷题中认为有必要记录的题目 前置知识：回溯法经典问题之组合 ♈️今日夜电波：想着你—郭顶 1:09 ━━━━━━️💟──────── 4:15                                                                  …




阅读更多...

















jmeter setUp Thread Group








jmeter setUp Thread Group




SetUp Thread Group 是一种特殊类型的线程组，它用于在主测试计划执行之前执行一些初始化任务。 SetUp Thread Group 通常用于以下几种情况： 用户登录：在模拟用户执行实际测试之前，模拟用户登录到系统以获取访问权限。  创建会话&a…




阅读更多...

















freertos之资源管理








freertos之资源管理




中断屏蔽 
屏蔽中断函数 
在任务中使用 
taskENTER_CRITICA()/taskEXIT_CRITICAL()  
在中断中使用 
taskENTER_CRITICAL_FROM_ISR()/taskEXIT_CRITICAL_FROM_ISR()  
功能介绍 
使用上述函数，进入临界中断，任务不会切换，且中断优先级处于con…




阅读更多...

















Ubuntu入门04——目录与文件








Ubuntu入门04——目录与文件




目录 
1.显示当前工作目录 
2.更改目录 
3.创建工作目录 
4.删除工作目录 
5.移动文件或者文件夹 
6.文件夹and文件查看命令 
7. 回到根目录，回到上一级 
8.删除工作目录 
9.查看目录和文件 
10.以树状图列出目录内容 11.文件查找   
12.在数据库中查找文件或目录 1…




阅读更多...

















【大数据】Apache Iceberg 概述和源代码的构建








【大数据】Apache Iceberg 概述和源代码的构建




Apache Iceberg 概述和源代码的构建 1.数据湖的解决方案 - Iceberg1.1 Iceberg 是什么1.2 Iceberg 的 Table Format 介绍1.3 Iceberg 的核心思想1.4 Iceberg 的元数据管理1.5 Iceberg 的重要特性1.5.1 丰富的计算引擎1.5.2 灵活的文件组织形式1.5.3 优化数据入湖流程1.5.4 增量…




阅读更多...

















[移动通讯]【Carrier Aggregation-3】【5G】








[移动通讯]【Carrier Aggregation-3】【5G】




前言： 参考： 5G Mobile Communications：《Carrier Aggregation in 5G》 
目录： 1： carrier Allocation Schemes 2： 网络结构 3： LTE CA 4:   5G CA 一  Carrier Allocation Schemes CA  主要作用…




阅读更多...

















数学建模--非整数规划求解的Python实现








数学建模--非整数规划求解的Python实现




目录 
1.算法流程简介 
2.算法核心代码 
3.算法效果展示 1.算法流程简介 
#非线性规划模型求解:
#我们采用通用的minimize函数来求解
#minimize(f,x,method,bounds,contrains)
#f是待求函数
#x是代求的自变量
#method是求解方法
#bounds是取值范围边界
#contrains是约束条件
&q…




阅读更多...

















Java HashMap








Java HashMap




简介 
HashMap 是一个散列表，它存储的内容是键值对(key-value)映射。 
HashMap 实现了 Map 接口，根据键的 HashCode 值存储数据，具有很快的访问速度，最多允许一条记录的键为 null，不支持线程同步。 
HashMap 是无序的&…




阅读更多...

















新材料行业CRM客户管理系统的选择








新材料行业CRM客户管理系统的选择




新材料行业虽属小众细分市场，但其应用极广。更广阔的市场也意味着更激烈的竞争。新材料行业巨头林立，企业如何能脱颖而出？这里有一个适合新材料行业CRM系统推荐—Zoho CRM，帮助新材料企业推动业务高效运转的新模式。 
数字化是企业…




阅读更多...

















Python爬虫乱码问题之encoding和apparent_encoding的区别








Python爬虫乱码问题之encoding和apparent_encoding的区别




encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文，这是乱码的原因 
apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encodi…




阅读更多...

















Ubuntu之apt-get系列--apt-get安装软件的方法/教程








Ubuntu之apt-get系列--apt-get安装软件的方法/教程




原文网址：Ubuntu之apt-get系列--apt-get安装软件的方法/教程_IT利刃出鞘的博客-CSDN博客 
简介 
本文介绍Ubuntu使用apt-get安装软件的方法。 
安装软件 
先更新列表 
sudo apt-get update 
安装软件  
sudo apt-get install <package name>[<version>]…




阅读更多...

















windows查看端口占用，通过端口找进程号（查找进程号），通过进程号定位应用名（查找应用）（netstat、tasklist）








windows查看端口占用，通过端口找进程号（查找进程号），通过进程号定位应用名（查找应用）（netstat、tasklist）




文章目录 通过端口号查看进程号netstat通过进程号定位应用程序tasklist 通过端口号查看进程号netstat 
在Windows系统中&#xff0c;可以使用 netstat 命令来查看端口的占用情况。以下是具体的步骤&#xff1a; 打开命令提示符&#xff08;CMD&#xff09;&#xff1a;按WinR组…




阅读更多...

















绘制钻头芯厚变化图








绘制钻头芯厚变化图




import numpy as np
import matplotlib.pyplot as plt
posnp.array([0.05,0.5,0.97,3])
data_m1np.array([0.088,0.093,0.098,0.116])
data_m2data_m1-0.01
data_m3data_m1-0.02
fig  plt.figure(figsize(5, 4))
plt.rcParams[xtick.direction]  in  # 将x周的刻度线方向设置向…




阅读更多...

















向量数据库Annoy和Milvus








向量数据库Annoy和Milvus




Annoy 和 Milvus 都是用于向量索引和相似度搜索的开源库&#xff0c;它们可以高效地处理大规模的向量数据。 
Annoy&#xff08;Approximate Nearest Neighbors Oh Yeah&#xff09;&#xff1a; 
Annoy 是一种近似最近邻搜索算法&#xff0c;它通过构建一个树状结构来加速最近…




阅读更多...

















并行和并发的区别








并行和并发的区别




从操作系统的角度来看&#xff0c;线程是CPU分配的最小单位。 
并行就是同一时刻&#xff0c;两个线程都在执行。这就要求有两个CPU去分别执行两个线程。并发就是同一时刻&#xff0c;只有一个执行&#xff0c;但是一个时间段内&#xff0c;两个线程都执行了。并发的实现依赖于…




阅读更多...

















旅游APP外包开发注意事项








旅游APP外包开发注意事项




旅游类APP通常具有多种功能&#xff0c;以提供给用户更好的旅行体验。以下分享常见的旅游类APP功能以及在开发和使用这些APP时需要注意的问题&#xff0c;希望对大家有所帮助。北京木奇移动技术有限公司&#xff0c;专业的软件外包开发公司&#xff0c;欢迎交流合作。 常见功能…




阅读更多...

















【HCIE】01.IGP高级特性








【HCIE】01.IGP高级特性




高级特性&#xff1a;一条命令解决一个问题 
OSPF快速收敛机制 
发生故障重新计算拓扑的过程叫做收敛&#xff0c;设备现在本身就是PRC算法和I-SPF算法 
PRC&#xff08;针对叶子节点&#xff0c;叶子代表路由&#xff09; 
不需要命令配置&#xff0c;就是ospf的特性&#xff…




阅读更多...

















LeetCode —— 复写零(双指针)








LeetCode —— 复写零(双指针)




题目链接 
力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 题目解析 
将数组中出现的每个零复写一遍&#xff0c;然后将其他元素向右平移&#xff0c;数组长度不能改变。 
法一&#xff1a;使用额外空间的做法 class Solution 
{
public:void duplica…




阅读更多...

















Redis7入门概述








Redis7入门概述




✅作者简介&#xff1a;大家好&#xff0c;我是Leo&#xff0c;热爱Java后端开发者&#xff0c;一个想要与大家共同进步的男人&#x1f609;&#x1f609; &#x1f34e;个人主页&#xff1a;Leo的博客 &#x1f49e;当前专栏&#xff1a; Java从入门到精通 ✨特色专栏&#xf…




阅读更多...


















最新文章












推荐文章


















Copyright @ 2022~2023