工业蒸汽量预测（速通三）

工业蒸汽量预测（三）

特征优化
- 1特征优化的方法
- - 1.1合成特征
  - 1.2特征的简单变换
  - 1.3用决策树创造新特征
  - 1.4特征组合
模型融合
- 1模型优化
- - 1.1模型学习曲线
  - 1.2模型融合提升技术
  - 1.3预测结果融合策略
  - 1.4其他提升方法

特征优化

1特征优化的方法

可以通过合成特征、对特征做简单变换、用决策树创造新特征、特征组合等方法对特征进行优化。

1.1合成特征

合成特征是指不在输入特征之列，而是丛一个或多个输入特征衍生而来的特征。通过标准化或缩放单独创建的特征不属于合成特征。

合成特征包括以下类型:

(1)将一个特征与其本身或其他特征相乘(称为特征组合)。

(2)两个特征相除。

(3)对连续特征进行分桶(分箱)，以分为多个区间分箱。

1.2特征的简单变换

数值特征的变换和组合：

任何针对单独特征列的单调变换(如对数),都不适用于决策树类算法。

特征的线性组合(linear combination)仅适用于决策树以及基于决策树的集成学习算法(如Gradient Boosting,随机森林)，因为树模型不擅长捕获不同特征之间的相关性。而SVM、线性回归、神经网络等模型自身可以线性组合。

常用的数值特征的变换和组合如下:
在这里插入图片描述
类别特征与数值特征的组合：

在这里插入图片描述

仅仅将已有的类别特征和数值特征进行以上的有效组合，就能增加大量优秀的可用特征。如果将这种方法和线性组合等基础特征工程方法结合(仅用于决策树)，则可以得到更多有意义的特征，如下:

在这里插入图片描述

//特征构造
epsilon = 1e-5
func_dict = {'add':lambda x,y:x + y,'mins':lambda x,y:x - y,'div':lambda x,y:x/(y+epsilon),'multi':lambda x,y:x * y,
}def auto_features_make(train_data, test_data,func_dict, col_list):train_data, test_data = train_data.copy(),test_data.copy()for col_i in col_list:for col_j in col_list:for func_name,func in func_dict.items():for data in [train_data,test_data]:func_features = func(data[col_i], data[col_j])col_func_features = '-'.join([col_i, func_name, col_j])data[col_func_features] = func_featuresreturn train_data, test_data

1.3用决策树创造新特征

在这里插入图片描述

1.4特征组合

特征组合是指通过将单独的特征进行组合(相乘或求笛卡儿积)而形成的合成特征，其有助于表示非线性关系。

对非线性规律进行编码：

在这里插入图片描述

组合独热矢量：

在这里插入图片描述

使用分桶特征列训练模型：

分桶特征:是以一定方式将连续型数值特征划分到不同的桶(箱)中，可以理解为是对连续型特征的一种离散化处理方式。

举例说明，我们可以将某地的人口(population) 特征分为以下3个分桶:

bucket_ 0 (< 5000):对应人口分布较少的街区。
bucket_ 1 (5000~ 25000):对应人口分布适中的街区。
bucket 2 (> 25000):对应人口分布较多的街区。

在这里插入图片描述

模型融合

1模型优化

在选择一个模型进行训练后，如何判断模型的优劣及优化模型的性能呢?

一般可以从以下几方面进行优化:研究模型学习曲线，判断模型是否过拟合或者欠拟合并做出相应的调整;对模型权重参数进行分析，对于权重绝对值高或低的特征，可以进行更细化的工作，也可以进行特征组合:进行Bad-Case分析，针对错误的例子确定是否还有地方可以修改挖掘:进行模型融合。

1.1模型学习曲线

出现高偏差，表明模型太过简单，没有能力学习到样本的底层规律，此时训练集和验证集的准确率都会很低。

出现高方差，表明模型太过复杂，学习太过，在训练集上的准确率较好，但是在验证集上的泛化能力较差，验证集的准确率较低，两个准确率相差较大。

在这里插入图片描述

1.2模型融合提升技术

模型融合，即先产生一组个体学习器，再用某种策略将它们结合起来，以加强模型效果。

按照个体学习器的关系，模型融合提升技术可以分为两类:

(1)个体学习器间不存在强依赖关系可同时生成的并行化方法，代表是Bagging 方法和随机森林。

(2)个体学习器间存在强依赖关系必须串行生成的序列化方法，代表是Boosting方法。

Bagging 方法和随机森林：

Bagging方法是从训练集中抽样得到每个基模型所需要的子训练集,然后对所有基模型预测的结果进行综合，产生最终的预测结果，如图1-7-3所示。

在这里插入图片描述

Bagging方法采用的是自助采样法( Bootstrap sampling),即对于m个样本的原始训练集，每次先随机采集一个样本放入采样集，接着把该样本放回，也就是说下次采样时该样本仍有可能被采集到，这样采集m次，最终可以得到m个样本的采样集。由于是随机采样，因此每次的采样集和原始的训练集不同，和其他采样集也不同，这样就可以得到多个不同的弱学习器。

随机森林是对Bagging方法的改进，其改进之处有两点:基本学习器限定为决策树;除了在Bagging的样本上加上扰动，在属性上也加上扰动，相当于在决策树学习的过程中引入了随机属性选择。对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含 k个属性的子集，然后从这个子集中选择一个最优属性用于划分。

#将LinearRegression，LGB，RandomForestRegressor三个模型融合
# 3个模型融合
def model_mix(pred_1, pred_2, pred_3):result = pd.DataFrame(columns=['LinearRegression', 'LGB', 'RandomForestRegressor', 'Combine'])for a in range(10):for b in range(10):for c in range(1,10):test_pred = (a * pred_1 + b * pred_2 + c * pred_3) / (a + b + c)mse = mean_squared_error(test_target, test_pred)result = result.append([{'LinearRegression': a,'LGB': b,'RandomForestRegressor': c,'Combine': mse}],ignore_index=True)return resultmodel_combine = model_mix(linear_predict, LGB_predict, RandomForest_predict)model_combine.sort_values(by='Combine', inplace=True)
print(model_combine.head())

Boosting方法：

Boosting方法的训练过程为阶梯状，即基模型按次序一一进行训练(实现上可以做到并行)，基模型的训练集按照某种策略每次进行一定的转换，然后对所有基模型预测的结果进行线性综合，产生最终的预测结果，如图1-7-4所示。

在这里插入图片描述

Boosting方法中著名的算法有AdaBoost算法和提升树(Boosting Tree)系列算法。在提升树系列算法中，应用最广泛的是梯度提升树(Gradient Boosting Tree)，下面逐一简要介绍。

(1) AdaBoost算法:是加法模型、损失函数为指数函数、学习算法为前向分布算法时的
二分类算法。

(2)提升树:是加法模型、学习算法为前向分布算法时的算法，基本学习器限定为决策树。对于二分类问题，损失函数为指数函数，就是把AdaBoost算法中的基本学习器限定为二叉决策树:对于回归问题，损失函数为平方误差，此时拟合的是当前模型的残差。

(3)梯度提升树:是对提升树算法的改进。提升树算法只适合于误差函数为指数函数和平方误差，而对于一般的损失函数，梯度提升树算法可以将损失函数的负梯度在当前模型的值作为残差的近似值。

在这里插入图片描述

model = 'GradientBoosting'
metal_models[model] = GradientBoostingRegressor()param_grid = {'n_estimators':[150,250,350],'max_depth':[1,2,3],'min_samples_split':[5,6,7]}metal_models[model], cv_score, grid_results = train_model(metal_models[model], param_grid=param_grid, X=metal_x_train,y=metal_y_train,splits=splits, repeats=1)cv_score.name = model
score_models = score_models.append(cv_score)

model = 'XGB'
metal_models[model] = XGBRegressor()param_grid = {'n_estimators':[100,200,300,400,500],'max_depth':[1,2,3],}metal_models[model], cv_score,grid_results = train_model(metal_models[model], param_grid=param_grid, X=metal_x_train,y=metal_y_train,splits=splits, repeats=1)cv_score.name = model
score_models = score_models.append(cv_score)