1 集成学习分类

1.1 Boosting

训练基分类器时采用串行的方式， 各个基分类器之间有依赖。每一层在训练的时候， 对前一层基分类器分错的样本， 给予更高的权重。 测试时， 根据各层分类器的结果的加权得到最终结果。

1.2 Bagging

各基分类器之间无强依赖， 可以进行并行训练。 很著名的算法之一是基于决策树基分类器的随机森林（Random Forest） 。为了让基分类器之间互相独立， 将训练集分为若干子集（当训练样本数量较少时， 子集之间可能有交叠） 。 Bagging方法更像是一个集体决策的过程， 每个个体都进行单独学习， 学习的内容可以相同， 也可以不同， 也可以部分重叠。 但由于个体之间存在差异性， 最终做出的判断不会完全一致。 在最终做决策时， 每个个体单独作出判断， 再通过投票的方式做出最后的集体决策。

1.3 基分类器的错误

基分类器的错误，有偏差和方差两种。 偏差主要是由于分类器的表达能力有限导致的系统性错误， 表现在训练误差不收敛。 方差是由于分类器对于样本分布过于敏感， 导致在训练样本数较少时， 产生过拟合。
在有监督学习中， 模型的泛化误差来源于两个方面——偏差和方差， 具体来讲偏差和方差的定义如下：

偏差：偏差指的是由所有采样得到的大小为m的训练数据集训练出的所有模型的输出的平均值和真实模型输出之间的偏差。
方差：方差指的是由所有采样得到的大小为m的训练数据集训练出的所有模型的输出的方差。

Boosting方法是通过逐步聚焦于基分类器分错的样本， 减小集成分类器的偏差。在训练好一个弱分类器后， 我们需要计算弱分类器的错误或者残差， 作为下一个分类器的输入。 这个过程本身就是在不断减小损失函数， 来使模型不断逼近“靶心”， 使得模型偏差不断降低。

Bagging方法则是采取分而治之的策略， 通过对训练样本多次采样， 并分别训练出多个不同模型， 然后做综合， 来减小集成分类器的方差。对n个独立不相关的模型的预测结果取平均，方差是原来单个模型的1/n。

模型复杂度与偏差和方差的关系：

2 集成学习的步骤

（1） 找到误差互相独立的基分类器。
（2） 训练基分类器。
（3） 合并基分类器的结果。

3 基分类器

最常用的基分类器是决策树， 主要有以下3个方面的原因。
（1） 决策树可以较为方便地将样本的权重整合到训练过程中， 而不需要使用过采样的方法来调整样本权重。
（2） 决策树的表达能力和泛化能力， 可以通过调节树的层数来做折中。
（3） 数据样本的扰动对于决策树的影响较大， 因此不同子样本集合生成的决策树基分类器随机性较大， 这样的“不稳定学习器”更适合作为基分类器。 此外，在决策树节点分裂的时候， 随机地选择一个特征子集， 从中找出最优分裂属性，很好地引入了随机性。
除了决策树外， 神经网络模型也适合作为基分类器， 主要由于神经网络模型也比较“不稳定”， 而且还可以通过调整神经元数量、 连接方式、 网络层数、 初始权值等方式引入随机性。

4 梯度提升决策树

4.1 GBDT基本思想

GBDT其基本思想是根据当前模型损失函数的负梯度信息来训练新加入的弱分类器， 然后将训练好的弱分类器以累加的形式结合到现有模型中。采用决策树作为基分类器，使用的决策树通常为CART。
由于GBDT是利用残差训练的， 在预测的过程中， 我们也需要把所有树的预测值加起来， 得到最终的预测结果。

4.2 梯度提升与梯度下降

梯度提升和梯度下降有什么关系？

在梯度下降中， 模型是以参数化形式表示， 从而模型的更新等价于参数的更新。 而在梯度提升中， 模型并不需要进行参数化表示， 而是直接定义在函数空间中。

4.3 GBDT优缺点

优点：
计算速度快；在分布稠密的数据集上， 泛化能力和表达能力都很好；采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系， 并且也不需要对数据进行特殊的预处理如归一化等。
缺点：
在高维稀疏的数据集上， 表现不如支持向量机或者神经网络；在处理文本分类特征问题上， 相对其他模型的优势不如它在处理数值特征时明显；训练过程需要串行训练， 只能在决策树内部采用一些局部并行的手段提高训练速度。

5 XGBoost

与GBDT不同的是，XGBoost在决策树构建阶段就加入了正则项， 即

关于树结构的正则项定义为：

从所有的树结构中寻找最优的树结构是一个NP-hard问题， 因此在实际中往往采用贪心法来构建出一个次优的树结构， 基本思想是从根节点开始， 每次对一个叶子节点进行分裂， 针对每一种可能的分裂， 根据特定的准则选取最优的分裂。 不同的决策树算法采用不同的准则， 如IC3算法采用信息增益， C4.5算法为了克服信息增益中容易偏向取值较多的特征而采用信息增益比， CART算法使用基尼指数和平方误差， XGBoost也有特定的准则来选取最优分裂。
分裂前后损失函数的差值为：

XGBoost采用最大化这个差值作为准则来进行决策树的构建， 通过遍历所有特征的所有取值， 寻找使得损失函数前后相差最大时对应的分裂方式。

（1） GBDT是机器学习算法， XGBoost是该算法的工程实现
（2）在使用CART作为基分类器时， XGBoost显式地加入了正则项来控制模型的复杂度， 有利于防止过拟合， 从而提高模型的泛化能力
（3）GBDT在模型训练时只使用了代价函数的一阶导数信息， XGBoost对代价函数进行二阶泰勒展开， 可以同时使用一阶和二阶导数
（4） 传统的GBDT采用CART作为基分类器， XGBoost支持多种类型的基分类器， 比如线性分类器。
（5） 传统的GBDT在每轮迭代时使用全部的数据， XGBoost则采用了与随机森林相似的策略， 支持对数据进行采样。
（6） 传统的GBDT没有设计对缺失值进行处理， XGBoost能够自动学习出缺失值的处理策略