波士顿房价数据集—

文章目录

- - 1.数据集及问题简介
  - 2.加载数据集并探索数据
  - 3.准备输入的数据
  - 4.构建网络并编译网络
  - 6.从训练集中留出验证集（K折验证法），初步训练模型
  - 7.根据训练数据，重新训练模型并测试
  - 8.画出训练数据
  - 9.调参完成后，在所有训练集上训练生产模型
  - 总结

1.数据集及问题简介

20 世纪70 年代中期波士顿郊区房屋价格数据集，它包含的数据点相对较少，只有506 个，分为404 个训练样本和102 个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特性是比例，取值范围为0-1；有的取值范围为1-12；还有的取值范围为0~100，等等。

我们将要预测当时该地区房屋价格的中位数，这是一个回归问题。

分类问题，其目标是预测输入数据点所对应的单一离散的标签。另一种常见的机器学习问题是回归问题，它预测一个连续值而不是离散的标签，例如，根据气象数据预测明天的气温，或者根据软件说明书预测完成软件项目所需要的时间。

2.加载数据集并探索数据

from keras.datasets import boston_housing(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()print(train_data.shape) # (404, 13)
print(test_data.shape) #(102, 13)
print(train_targets) #array([ 15.2, 42.3, 50. ... 19.4, 19.4, 29.1])#【房价大都在 10000~50000 美元】

简单了解各属性的意义：

import pandas as pdtrain = pd.DataFrame(train_data)
train.columns=['crim','zn','indus','chas','nox','rm','age','dis','rad','tax','ptratio','b','lstat']
train.columns=['人均犯罪','用地','非商业地','河','环保指标','房间数','老房子比例','dis','交通便利','税率','教师学生比','黑人比','低收入房东比']
train

在这里插入图片描述

3.准备输入的数据

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自动适应这种取值范围不同的数据，但学习肯定变得更加困难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化，即对于输入数据的每个特征（输入数据矩阵中的列），减去特征平均值，再除以标准差，这样得到的特征平均值为0，标准差为1。用Numpy 可以很容易实现标准化。

#【1】求每一列的平均值
mean = train_data.mean(axis=0) 
#【2】减去平均值
train_data -= mean
#【3】求每一列的标准差
std = train_data.std(axis=0)
#【4】除以标准差
train_data /= stdtest_data -= mean
test_data /= std

注意，用于测试数据标准化的均值和标准差都是在训练数据上计算得到的。在工作流程中，你不能使用在测试数据上计算得到的任何结果，即使是像数据标准化这么简单的事情也不行。

4.构建网络并编译网络

由于样本数量很少，我们将使用一个非常小的网络，其中包含两个隐藏层，每层有64 个单元。一般来说，训练数据越少，过拟合会越严重，而较小的网络可以降低过拟合。

from keras import models
from keras import layersdef build_model():model = models.Sequential()model.add(layers.Dense(64, activation='relu', input_shape=(train_data.shape[1],)))model.add(layers.Dense(64, activation='relu'))model.add(layers.Dense(1))model.compile(optimizer='rmsprop', loss='mse', metrics=['mae'])return model

网络的最后一层只有一个单元，没有激活，是一个线性层。这是标量回归（标量回归是预测单一连续值的回归）的典型设置。添加激活函数将会限制输出范围。例如，如果向最后一层添加sigmoid 激活函数，网络只能学会预测0~1 范围内的值。这里最后一层是纯线性的，所以网络可以学会预测任意范围内的值。

注意，编译网络用的是mse 损失函数，即均方误差（MSE，mean squared error），预测值与目标值之差的平方。这是回归问题常用的损失函数。在训练过程中还监控一个新指标：平均绝对误差（MAE，mean absolute error）。它是预测值与目标值之差的绝对值。比如，如果这个问题的MAE 等于0.5，就表示你预测的房价与实际价格平均相差500 美元。

6.从训练集中留出验证集（K折验证法），初步训练模型

由于数据点很少，验证集会非常小（比如大约100 个样本）。因此，验证分数可能会有很大波动，这取决于你所选择的验证集和训练集。也就是说，验证集的划分方式可能会造成验证分数上有很大的方差，这样就无法对模型进行可靠的评估。

在这种情况下，最佳做法是使用K 折交叉验证。这种方法将可用数据划分为K个分区（K 通常取4 或5），实例化K 个相同的模型，将每个模型在K-1 个分区上训练，并在剩下的一个分区上进行评估。模型的验证分数等于K 个验证分数的平均值。

在这里插入图片描述

这种方法的代码实现很简单。

import numpy as npk = 4 # 4折
num_val_samples = len(train_data) // k  #分成4份，每份的数据大小
num_epochs = 100
all_scores = []
for i in range(k):print('processing fold #', i)#【1】准备验证集val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples]val_targets = train_targets[i * num_val_samples: (i + 1) * num_val_samples]#【2】准备训练集partial_train_data = np.concatenate([train_data[:i * num_val_samples],train_data[(i + 1) * num_val_samples:]],axis=0)partial_train_targets = np.concatenate([train_targets[:i * num_val_samples],train_targets[(i + 1) * num_val_samples:]],axis=0)#【3】创建模型实例model = build_model()#【4】训练模型 (in silent mode, verbose=0)model.fit(partial_train_data, partial_train_targets,epochs=num_epochs, batch_size=1, verbose=0)#【5】在验证集上验证val_mse, val_mae = model.evaluate(val_data, val_targets, verbose=0)#【6】保存每一次训练的MAE误差all_scores.append(val_mae)print(all_scores) #[1.9296772480010986, 2.4259424209594727, 2.429856300354004, 2.5913355350494385]
print(np.mean(all_scores)) # 2.3837935992396706

每次运行模型得到的验证分数有很大差异，从1.9到2.6不等。平均分数（2.38）是比单一分数更可靠的指标——这就是K 折交叉验证的关键。在这个例子中，预测的房价与实际价格平均相差2380美元，考虑到实际价格范围在10000~50000 美元，这一差别还是很大的。

7.根据训练数据，重新训练模型并测试

我们让训练时间更长一点，达到500 个轮次。为了记录模型在每轮的表现，我们需要修改训练循环，以保存每轮的验证分数记录。

from keras import backend as K# Some memory clean-up
K.clear_session()num_epochs = 500
all_mae_histories = []
for i in range(k):print('processing fold #', i)val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples]val_targets = train_targets[i * num_val_samples: (i + 1) * num_val_samples]partial_train_data = np.concatenate([train_data[:i * num_val_samples],  train_data[(i + 1) * num_val_samples:]],axis=0)partial_train_targets = np.concatenate([train_targets[:i * num_val_samples],train_targets[(i + 1) * num_val_samples:]],axis=0)model = build_model()history = model.fit(partial_train_data, partial_train_targets,validation_data=(val_data, val_targets),epochs=num_epochs, batch_size=1, verbose=0)mae_history = history.history['val_mae']all_mae_histories.append(mae_history)average_mae_history = [np.mean([x[i] for x in all_mae_histories]) for i in range(num_epochs)]

在这里插入图片描述

8.画出训练数据

import matplotlib.pyplot as plt
plt.plot(range(1, len(average_mae_history) + 1), average_mae_history)
plt.xlabel('Epochs')
plt.ylabel('Validation MAE')
plt.show()

因为纵轴的范围较大，且数据方差相对较大，所以难以看清这张图的规律。我们来重新绘制一张图。

删除前 10 个数据点，因为它们的取值范围与曲线上的其他点不同。
将每个数据点替换为前面数据点的指数移动平均值，以得到光滑的曲线。

def smooth_curve(points, factor=0.9):smoothed_points = []for point in points:if smoothed_points:previous = smoothed_points[-1]smoothed_points.append(previous * factor + point * (1 - factor))else:smoothed_points.append(point)return smoothed_pointssmooth_mae_history = smooth_curve(average_mae_history[10:])plt.plot(range(1, len(smooth_mae_history) + 1), smooth_mae_history)
plt.xlabel('Epochs')
plt.ylabel('Validation MAE')
plt.show()

在这里插入图片描述

从上图可以看出，验证MAE 在80 轮后不再显著降低，之后就开始过拟合。

9.调参完成后，在所有训练集上训练生产模型

# Get a fresh, compiled model.
model = build_model()
# Train it on the entirety of the data.
model.fit(train_data, train_targets,epochs=80, batch_size=16, verbose=0)
test_mse_score, test_mae_score = model.evaluate(test_data, test_targets)print(test_mae_score) #2.7805774211883545