1.2 波士顿房价预测(飞桨版)

文章目录

  • 一、框架加载
  • 二、数据处理
  • 三、模型设计
  • 四、训练配置
  • 五、训练过程
  • 六、保存并测试模型
    • 6.1 保存模型
    • 6.2 测试模型

一、框架加载

在数据处理之前,需要先加载飞桨框架的相关类库。

#加载飞桨、NumPy和相关类库
import paddle
from paddle.nn import Linear
import paddle.nn.functional as F
import numpy as np
import os
import random

代码中参数含义如下:

  • paddle:飞桨的主库,paddle 根目录下保留了常用API的别名,当前包括:paddle.tensor、paddle.framework、paddle.device目录下的所有API;
  • Linear:神经网络的全连接层函数,包含所有输入权重相加的基本神经元结构。在房价预测任务中,使用只有一层的神经网络(全连接层)实现线性回归模型。
  • paddle.nn:组网相关的API,包括 Linear、卷积 Conv2D、循环神经网络LSTM、损失函数CrossEntropyLoss、激活函数ReLU等;
  • paddle.nn.functional:与paddle.nn一样,包含组网相关的API,如:Linear、激活函数ReLU等,二者包含的同名模块功能相同,运行性能也基本一致。 差别在于**paddle.nn目录下的模块均是类,每个类自带模块参数;paddle.nn.functional目录下的模块均是函数,需要手动传入函数计算所需要的参数。**在实际使用时,卷积、全连接层等本身具有可学习的参数,建议使用paddle.nn;而激活函数、池化等操作没有可学习参数,可以考虑使用paddle.nn.functional。

说明:

飞桨支持两种深度学习建模编写方式,更方便调试的动态图模式和性能更好并便于部署的静态图模式。

  • 动态图模式(命令式编程范式,类比Python):解析式的执行方式。用户无需预先定义完整的网络结构,每写一行网络代码,即可同时获得计算结果;
  • 静态图模式(声明式编程范式,类比C++):先编译后执行的方式。用户需预先定义完整的网络结构,再对网络结构进行编译优化后,才能执行获得计算结果。

飞桨框架2.0及之后的版本,默认使用动态图模式进行编码,同时提供了完备的动转静支持,开发者仅需添加一个装饰器( to_static ),飞桨会自动将动态图的程序转换为静态图的program,并使用该program训练并可保存静态模型以实现推理部署。

二、数据处理

数据处理的代码不依赖框架实现,与使用Python构建房价预测任务的代码相同

def load_data():# 从文件导入数据datafile = './work/housing.data'data = np.fromfile(datafile, sep=' ', dtype=np.float32)# 每条数据包括14项,其中前面13项是影响因素,第14项是相应的房屋价格中位数feature_names = [ 'CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', \'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV' ]feature_num = len(feature_names)# 将原始数据进行Reshape,变成[N, 14]这样的形状data = data.reshape([data.shape[0] // feature_num, feature_num])# 将原数据集拆分成训练集和测试集# 这里使用80%的数据做训练,20%的数据做测试# 测试集和训练集必须是没有交集的ratio = 0.8offset = int(data.shape[0] * ratio)training_data = data[:offset]# 计算train数据集的最大值,最小值maximums, minimums = training_data.max(axis=0), training_data.min(axis=0)# 记录数据的归一化参数,在预测时对数据做归一化global max_valuesglobal min_valuesmax_values = maximumsmin_values = minimums# 对数据进行归一化处理for i in range(feature_num):data[:, i] = (data[:, i] - min_values[i]) / (maximums[i] - minimums[i])# 训练集和测试集的划分比例training_data = data[:offset]test_data = data[offset:]return training_data, test_data# 验证数据集读取程序的正确性
training_data, test_data = load_data()
print(training_data.shape)
print(training_data[1,:])

三、模型设计

模型定义的实质是定义线性回归的网络结构,飞桨建议通过创建Python类的方式完成模型网络的定义,该类需要继承paddle.nn.Layer父类,并且在类中定义init函数和forward函数。forward函数是框架指定实现前向计算逻辑的函数,程序在调用模型实例时会自动执行,forward函数中使用的网络层需要在init函数中声明。

  • 定义init函数:在类的初始化函数中声明每一层网络的实现函数。在房价预测任务中,只需要定义一层全连接层。
  • 定义forward函数:构建神经网络结构,实现前向计算过程,并返回预测结果,在本任务中返回的是房价预测结果。
class Regressor(paddle.nn.Layer):# self代表类的实例自身def __init__(self):# 初始化父类中的一些参数super(Regressor, self).__init__()# 定义一层全连接层,输入维度是13,输出维度是1self.fc = Linear(in_features=13, out_features=1)# 网络的前向计算def forward(self, inputs):x = self.fc(inputs)return x

四、训练配置

训练配置过程如 图2 所示:


图2:训练配置流程示意图
  • 本教程默认使用AI Studio训练模型,因此无需指定机器资源;
  • 声明定义好的回归模型实例为Regressor,并将模型的状态设置为train
  • 使用load_data函数加载训练数据和测试数据;
  • 设置优化算法和学习率,优化算法采用随机梯度下降SGD,学习率设置为0.01。
# 声明定义好的线性回归模型
model = Regressor()
# 开启模型训练模式
model.train()
# 加载数据
training_data, test_data = load_data()
# 定义优化算法,使用随机梯度下降SGD
# 学习率设置为0.01
opt = paddle.optimizer.SGD(learning_rate=0.01, parameters=model.parameters())

说明:

**模型实例有两种状态:训练状态.train()和预测状态.eval()。**训练时要执行正向计算和反向传播梯度两个过程,而预测时只需要执行正向计算,为模型指定运行状态,有两点原因:

  1. 部分高级的算子在两个状态执行的逻辑不同,如:Dropout和BatchNorm(在后续的“计算机视觉”章节会详细介绍);
  2. 从性能和存储空间的考虑,预测状态时更节省内存(无需记录反向梯度),性能更好。

在“基于Python实现神经网络模型”的章节中,我们已经为实现梯度下降编写了大量代码,而使用飞桨框架只需要设置SGD函数的参数并调用,即可实现优化器设置,大大简化了这个过程。

五、训练过程

训练过程采用二层循环嵌套方式:

  • 内层循环: 负责整个数据集的一次遍历,采用分批次方式(batch)。假设数据集样本数量为1000,一个批次有10个样本,则遍历一次数据集的批次数量是1000/10=100,即内层循环需要执行100次。

    for iter_id, mini_batch in enumerate(mini_batches):
    
  • 外层循环: 定义遍历数据集的次数,通过参数EPOCH_NUM设置。

    for epoch_id in range(EPOCH_NUM):
    

说明:

batch的取值会影响模型训练效果,batch过大,会增大内存消耗和计算时间,且训练效果并不会明显提升(每次参数只向梯度反方向移动一小步,因此方向没必要特别精确);batch过小,每个batch的样本数据没有统计意义,计算的梯度方向可能偏差较大。由于房价预测模型的训练数据集较小,因此将batch设置为10。


每次内层循环都需要执行如 图3 所示的步骤,计算过程与使用Python编写模型完全一致。


图3:内循环计算过程
  • 数据准备:将一个批次的数据先转换成nparray格式,再转换成Tensor格式;
  • 前向计算:将一个批次的样本数据灌入网络中,计算输出结果;
  • 计算损失函数:以前向计算结果和真实房价作为输入,通过损失函数square_error_cost API计算出损失函数值(Loss)。飞桨所有的API接口都有完整的说明和使用案例,可以登录飞桨官网API文档获取;
  • 反向传播:执行梯度反向传播backward函数,即从后到前逐层计算每一层的梯度,并根据设置的优化算法更新参数(opt.step函数)。
EPOCH_NUM = 10   # 设置外层循环次数
BATCH_SIZE = 10  # 设置batch大小# 定义外层循环
for epoch_id in range(EPOCH_NUM):# 在每轮迭代开始之前,将训练数据的顺序随机的打乱np.random.shuffle(training_data)# 将训练数据进行拆分,每个batch包含10条数据mini_batches = [training_data[k:k+BATCH_SIZE] for k in range(0, len(training_data), BATCH_SIZE)]# 定义内层循环for iter_id, mini_batch in enumerate(mini_batches):x = np.array(mini_batch[:, :-1]) # 获得当前批次训练数据y = np.array(mini_batch[:, -1:]) # 获得当前批次训练标签(真实房价)# 将numpy数据转为飞桨动态图tensor的格式house_features = paddle.to_tensor(x)prices = paddle.to_tensor(y)# 前向计算predicts = model(house_features)# 计算损失loss = F.square_error_cost(predicts, label=prices)avg_loss = paddle.mean(loss)if iter_id%20==0:print("epoch: {}, iter: {}, loss is: {}".format(epoch_id, iter_id, avg_loss.numpy()))# 反向传播,计算每层参数的梯度值avg_loss.backward()# 更新参数,根据设置好的学习率迭代一步opt.step()# 清空梯度变量,以备下一轮计算opt.clear_grad()

这个实现过程令人惊喜,前向计算、计算损失和反向传播梯度,每个操作只需要1~2行代码即可实现!飞桨已经帮助我们自动实现了反向梯度计算和参数更新的过程,不再需要逐一编写代码,这就是使用飞桨框架的威力!

六、保存并测试模型

6.1 保存模型

使用paddle.save API将模型当前的参数数据 model.state_dict() 保存到文件中,用于模型预测或校验的程序调用。

# 保存模型参数,文件名为LR_model.pdparams
paddle.save(model.state_dict(), 'LR_model.pdparams')
print("模型保存成功,模型参数保存在LR_model.pdparams中")

说明:

为什么要执行保存模型操作,而不是直接使用训练好的模型进行预测?理论而言,直接使用模型实例即可完成预测,但是在实际应用中,训练模型和使用模型往往是不同的场景。模型训练通常使用大量的线下服务器(不对外向企业的客户/用户提供在线服务);模型预测则通常使用线上提供预测服务的服务器实现或者将已经完成的预测模型嵌入手机或其他终端设备中使用。因此本教程中“先保存模型,再加载模型”的讲解方式更贴合真实场景的使用方法。


6.2 测试模型

下面选择一条数据样本,测试下模型的预测效果。测试过程和在应用场景中使用模型的过程一致,主要可分成如下三个步骤:

  1. 配置模型预测的机器资源。本案例默认使用本机,因此无需写代码指定。
  2. 将训练好的模型参数加载到模型实例中。由两个语句完成,第一句是从文件中读取模型参数;第二句是将参数内容加载到模型。加载完毕后,需要将模型的状态调整为eval()(校验)。上文中提到,训练状态的模型需要同时支持前向计算和反向传导梯度,模型的实现较为臃肿,而校验和预测状态的模型只需要支持前向计算,模型的实现更加简单,性能更好。
  3. 将待预测的样本特征输入到模型中,打印输出的预测结果。

通过load_one_example函数实现从数据集中抽一条样本作为测试样本,具体实现代码如下所示。

def load_one_example():# 从上边已加载的测试集中,随机选择一条作为测试数据idx = np.random.randint(0, test_data.shape[0])one_data, label = test_data[idx, :-1], test_data[idx, -1]# 修改该条数据shape为[1,13]one_data =  one_data.reshape([1,-1])return one_data, label# 从文件中读取模型参数
model_dict = paddle.load('LR_model.pdparams')
# 将参数内容加载到模型。加载完毕后,需要将模型的状态调整为 eval()(校验)。
model.load_dict(model_dict)
model.eval()# 参数为数据集的文件地址
one_data, label = load_one_example()
# 将数据转为动态图的variable格式 
one_data = paddle.to_tensor(one_data)
predict = model(one_data)# 对结果做反归一化处理
predict = predict * (max_values[-1] - min_values[-1]) + min_values[-1]
# 对label数据做反归一化处理
label = label * (max_values[-1] - min_values[-1]) + min_values[-1]print("Inference result is {}, the corresponding label is {}".format(predict.numpy(), label))

通过比较“模型预测值”和“真实房价”可见,模型的预测效果与真实房价接近。房价预测仅是一个最简单的模型,使用飞桨编写均可事半功倍。那么对于工业实践中更复杂的模型,使用飞桨节约的成本是不可估量的。同时飞桨针对很多应用场景和机器资源做了性能优化,在功能和性能上远强于自行编写的模型。

从下一章开始,我们将通过“手写数字识别”的案例,完整掌握使用飞桨编写模型的方方面面。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/51685.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

志强预测中国房价到2020年以后才可能会下降

志强预测中国房价到2020年以后才可能会下降 焦点房地产网 house.focus.cn 2007年09月05日07:17 千龙网 在日前由全国工商联房地产商会主办的一个论坛上,华远集团总裁任志强(任志强博客,任志强新闻,任志强说吧)认为,中国的房价到2020年以后才可能会下降。…

注册vmvare账号验证码问题

在下载vmvare虚拟机的时候,需要注册vmvare账号,但是在填写这个验证码的时候出现了问题,一直验证不成功。如图: 这是因为中文不兼容的问题。 解决办法就是使用英文界面。最简单就是使用Chrome(谷歌)浏览器来…

Unity实现账号登录,注册功能

制作了用户登录界面 关于弹窗使用了DOTween插件,实现渐隐渐显效果。 关于账号使用了本地Json读取, 默认账号:YSQS/YSQS1 密码:admin/admin1 注册功能其实应该重构的因为有二次读流的问题存在。 账号注册加入了邀请码&#xff…

2022年MathorCup A题资料汇总

今年MathorCup比赛共四个题,其中研究生组只能选A,B,其他组别四个题目选择没有限制。比赛一共四天,时间适中,因此对于大家选题,构建思路,建立模型,论文写作时间都会较为宽裕。我认为较为合理的时…

2023mathorcupA题B题C题D题思路

大家好呀,mathorcup开赛了,题目已经发布,我会在本文章进行实时的更新,首先进行选题建议及初步的思路。 个人角度而言,本次题目难度上: 研究生组中,B<A,本科生组中&…

2020年mathorcup数模A题总结回顾

记录一下研究生第一次参加数模的心路和思路历程 比赛时间: 5月21日8:00-5月25日9:00 赛前准备: 本科期间只参加过校级比赛,数模基础很差。疫情结束返校是5月17日,所以这次比赛属于边赛边准备&#xff0…

怎么利用计算机出数学卷子,怎样在电脑中编写数学试卷?

2018-11-03 什么时候运用条形统计图,复式条形统计图,单式折线统计图 概念:是利用点、线、面、体等绘制成几何图形,以表示各种数量间的关系及其变动情况的工具。 表现统计数字大小和变动的各种图形总称。其中有条形统计图、扇形统计图、折线统计图、象形图…

如何快速剪辑每段视频,添加多种特效

怎么给视频添加特效呢?有时候我们需要对一段或者多段视频进行简单的剪辑,比如添加光晕效果、渐入效果、随机转场等,该如何实现呢?下面随小编一起来试试,希望能给大家带来帮助。 需要哪些工具? 视频剪辑高手…

moviepy音视频开发:使用credits1给视频加片头片尾字幕

☞ ░ 前往老猿Python博文目录 ░ 一、概述 在《moviepy音视频剪辑:视频基类VideoClip子类DataVideoClip、UpdatedVideoClip、ImageClip、ColorClip、TextClip类详解》介绍了TextClip生成文本剪辑的方法,文本剪辑可以用于制作字幕,作为片头…

如何做短视频剪辑?分享三个小技巧,帮你迅速剪辑短视频

如何做短视频剪辑?分享三个小技巧,帮你迅速剪辑短视频 我们在做短视频的时候,经常需要进行剪辑,有的人就是单纯的剪辑出来几秒钟或者几分钟的素材,但是这种短视频是很难获得流量的。真正的短视频剪辑,还需…

剪映,最简单的PC端视频处理工具,大厂出品必属精品~

相信在座的小伙伴都用过抖音app,看的多了难免也有想要发视频的冲动。 这时我们就会想到诸如Ae、Pr之类的视频制作工具,但他们都有一定的上手难度…… 好在抖音霸霸很早就推出了免费的官方全能剪辑工具,也就是剪映。说实话,剪映使…

短视频剪辑怎么做?分享几款好用的软件工具给大家

近几年来短视频应用发展迅速,抖音、快手等平台已快速获取数亿用户,大量新人不断涌入短视频赛道发展。人人都想做自媒体,可是又不知道如何去做。今天张三火了,明天李四又火了,我什么时候也可以靠自媒体赚钱呀&#xff1…

视频拼接剪辑怎么弄?分享三个小妙招给你们

近期有很多朋友都在问我,自己录了几段视频,想把它们拼接起来,但又怕随意拼接会让视频看起来不连贯、混乱。其实将视频自然拼接起来非常简单,只需要借助软件就可以轻松完成这样的操作。下面我就来分享好用的视频拼接免费软件给你们…

新手如何写新闻稿?一文带你了解记者稿的写作步骤与技巧

作为一名新手记者,写稿件是必须掌握的基本技能。记者稿的写作方式有很多种,但基本的步骤和技巧是相同的。在这篇文章中,我将向大家介绍记者稿的写作步骤和技巧,希望能对想要成为一名优秀记者的你有所帮助。 一、确定新闻价值 在写…

进行海外媒体发稿的稿件撰写技巧和方法

第 1 步:目标受众 在您开始撰写实际的外媒通稿之前,最重要的事情是选择对目标受众重要的角度。 请记住,专业杂志的读者感兴趣的角度(换句话说,故事将采取的视角)与当地报纸会有很大的不同。事实上&#x…

英伟达CEO黄仁勋对话OpenAI首席科学家,谈GPT-4及未来大模型

来源:机器之心 在今年的 GTC 上,NVIDIA 创始人兼首席执行官黄仁勋与 OpenAI 联合创始人、首席科学家 Ilya Sutskever 进行了一场深度对话,讨论了 GPT-4、ChatGPT 背后的故事,也聊了下深度学习的未来。 如今,OpenAI 可以…

震惊!英伟达 4 月的发布会全部是合成的

本文转载自IT之家 8 月 12 日消息 英伟达今年 4 月份那场发布会,你曾看出什么不对劲的地方吗? 你品,你细品: 刚刚,在计算机图形学顶会 SIGGRAPH 2021 上,英伟达通过一部纪录片自曝:那场发布会…

最「难搞」的英伟达也开源了,下一个会是谁?

5 月 11 日,英伟达 NVIDIA 发文宣布,正式将其 Linux GPU 内核驱动模块开源,以 MIT 和 GPLv2 双许可的形式发布在 GitHub 上。短短 2 天,该项目已收获 8.6k Star(临发布前又涨了 200)。 开源的消息一出&…

微软提出AIGC新“玩法”,图灵奖得主Yoshua Bengio也来了!

在AIGC取得举世瞩目成就的背后,基于大模型、多模态的研究范式也在不断地推陈出新。微软研究院作为这一研究领域的佼佼者,与图灵奖得主、深度学习三巨头之一的Yoshua Bengio一起提出了AIGC新范式——Regeneration Learning。这一新范式究竟会带来哪些创新…