集成学习(上):Bagging集成方法

一、什么是集成学习?

在机器学习的世界里,没有哪个模型是完美无缺的。就像古希腊神话中的"盲人摸象",单个模型往往只能捕捉到数据特征的某个侧面。但当我们把多个模型的智慧集合起来,就能像拼图一样还原出完整的真相,接下来我们就来介绍一种“拼图”算法——集成学习。

集成学习是一种机器学习技术,它通过组合多个模型(通常称为“弱学习器”或“基础模型”)的预测结果,构建出更强、更准确的学习算法。这种方法的主要思想是利用群体智慧的概念——即整体性能优于单个个体。

1.1 集成学习的核心机制

集成学习大体分为三种序列集成方法(Boosting)、并行集成方法(Bagging)、堆叠集成方法(Stacking):
在这里插入图片描述

  1. Bagging(Bootstrap Aggregating)
    • 原理:通过自助采样法(Bootstrap Sampling)生成多个子数据集,分别训练基学习器,最终通过投票(分类)或平均(回归)结合结果。

    • 算法流程

原始数据集
Bootstrap采样
子数据集1
子数据集2
...
子数据集N
模型1训练
模型2训练
模型3训练
模型N训练
聚合预测
最终结果
  • 数学表达
    自助采样时,每个样本未被选中的概率为
    P = ( 1 − 1 m ) m ≈ 1 e ≈ 36.8 % , P = \left(1 - \frac{1}{m}\right)^m \approx \frac{1}{e} \approx 36.8\%, P=(1m1)me136.8%,
    其中 m m m为原始数据集大小。
  • 代表算法:随机森林(Random Forest)。
  1. Boosting

    • 原理:基学习器按顺序训练,后续模型重点关注前序模型的错误样本,最终加权结合所有模型的预测结果。
    • 算法流程
      在这里插入图片描述
    • 关键步骤
      • 计算基学习器的加权错误率 ϵ t \epsilon_t ϵt
      • 调整样本权重,使错误样本在下一轮训练中更受关注;
      • 最终预测结果为各模型的加权投票。
    • 代表算法:AdaBoost、GBDT、XGBoost。
  2. Stacking(堆叠泛化)

    • 原理:将多个基学习器的输出作为“元特征”,训练一个元学习器(Meta-Learner)进行最终预测。

    • 算法流程
      在这里插入图片描述

    • 实现步骤

      1. 基学习器在训练集上通过交叉验证生成元特征;
      2. 元学习器基于这些特征进行训练。

1.2 集成学习的优势

  1. 降低方差(Bagging):通过平均多个高方差模型(如决策树)的预测,减少过拟合。
  2. 降低偏差(Boosting):通过逐步修正错误,提升模型对复杂模式的拟合能力。
  3. 提高泛化能力:结合不同模型的优势,增强对未知数据的适应性。

1.3 局限性

  1. 计算成本高:需训练多个模型,时间和资源消耗较大。
  2. 可解释性差:模型复杂度高,难以直观理解预测逻辑。
  3. 过拟合风险:若基学习器本身过拟合,集成后可能加剧这一问题(尤其是Boosting)。

二、Bagging方法的革命性突破

在了解了集成学习之后,我们先来学习集成学习算法中的 Bagging 集成学习方法:

Bagging(Bootstrap Aggregating)作为集成学习三剑客之首,由Leo Breiman于1996年提出,其核心思想通过三个颠覆性创新彻底改变了机器学习实践:

  1. Bootstrap采样:有放回抽样生成多样性训练集
  2. 并行训练机制:基模型独立训练实现高效并行
  3. 民主投票策略:平等加权聚合降低预测方差
# Bootstrap采样可视化示例
import numpy as np
import matplotlib.pyplot as pltoriginal_data = np.arange(100)
bootstrap_samples = [np.random.choice(original_data, 100, replace=True) for _ in range(5)]plt.figure(figsize=(10,6))
for i, sample in enumerate(bootstrap_samples[:3]):plt.scatter([i]*100, sample, alpha=0.5)
plt.title("Bootstrap采样分布可视化")
plt.ylabel("样本索引")
plt.xlabel("采样批次")
plt.show()

三、算法原理深度剖析

3.1 数学本质

设基模型为 h i ( x ) h_i(x) hi(x),Bagging的预测结果为:
H ( x ) = 1 N ∑ i = 1 N h i ( x ) H(x) = \frac{1}{N}\sum_{i=1}^N h_i(x) H(x)=N1i=1Nhi(x)

方差分解公式:
Var ( H ) = ρ σ 2 + 1 − ρ N σ 2 \text{Var}(H) = \rho\sigma^2 + \frac{1-\rho}{N}\sigma^2 Var(H)=ρσ2+N1ρσ2
其中 ρ \rho ρ 为模型间相关系数, σ 2 \sigma^2 σ2 为单个模型方差

3.2 关键技术创新

技术维度传统方法Bagging创新
数据使用全量数据有放回抽样
模型关系串行依赖完全独立
预测聚合加权平均平等投票
特征选择全特征随机子空间

3.3 算法演进路线

1996原始Bagging
2001随机森林
2004Extra-Trees
2012深度森林
2020在线Bagging

四、六大核心实现技术

4.1 双重随机性设计

from sklearn.ensemble import RandomForestClassifier# 同时启用样本随机和特征随机
rf = RandomForestClassifier(max_samples=0.8,        # 样本随机采样率max_features='sqrt',    # 特征随机选择bootstrap=True
)

4.2 OOB(Out-of-Bag)估计

内置交叉验证通过 OOB 样本实现免交叉验证评估:

# OOB评分自动计算
rf = RandomForestClassifier(oob_score=True)
rf.fit(X_train, y_train)
print(f"OOB准确率:{rf.oob_score_:.4f}")

4.3 特征重要性分析

可视化关键影响因子:

import matplotlib.pyplot as pltfeatures = ["年龄", "收入", "负债率", "信用分"]
importances = forest.feature_importances_plt.barh(features, importances)
plt.title('特征重要性分析')
plt.show()

特征重要性可视化

4.4 并行化加速

from joblib import Parallel, delayeddef train_tree(data):X_sample, y_sample = bootstrap_sample(data)return DecisionTree().fit(X_sample, y_sample)# 并行训练100棵树
trees = Parallel(n_jobs=8)(delayed(train_tree)(data) for _ in range(100))

4.5 概率校准

from sklearn.calibration import CalibratedClassifierCVcalibrated_rf = CalibratedClassifierCV(rf, method='isotonic', cv=5)
calibrated_rf.fit(X_train, y_train)

4.6 异常值鲁棒性

# 使用绝对误差替代平方误差
from sklearn.ensemble import RandomForestRegressorrobust_rf = RandomForestRegressor(criterion='absolute_error',max_samples=0.632,min_samples_leaf=10
)

五、实战指南

案例1:金融反欺诈系统

  • 数据集:50万条交易记录
  • 特征维度:128维(包含时序特征、设备指纹、交易模式等)
  • 类别比例:正常交易98.7%,欺诈交易1.3%
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report# 加载百万级交易数据
X, y = load_fraud_transactions()# 构建随机森林模型
fraud_model = RandomForestClassifier(n_estimators=500,max_depth=10,class_weight="balanced"
)# 训练与评估
fraud_model.fit(X_train, y_train)
y_pred = fraud_model.predict(X_test)
print(classification_report(y_test, y_pred))

案例2:医疗影像诊断

import joblib
from skimage.feature import hog# 提取HOG特征
def extract_features(images):return np.array([hog(img) for img in images])# 训练癌症诊断模型
X_features = extract_features(medical_images)
cancer_model = RandomForestClassifier()
cancer_model.fit(X_features, labels)# 保存诊断系统
joblib.dump(cancer_model, "cancer_diagnosis.model")

案例3:电商推荐系统

from sklearn.ensemble import RandomForestRegressor# 用户行为特征矩阵
user_features = generate_user_vectors()# 预测购买概率
purchase_model = RandomForestRegressor()
purchase_model.fit(user_features, purchase_labels)# 实时推荐
live_user = get_live_data()
pred_score = purchase_model.predict([live_user])

案例4:工业设备预测性维护

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler# 构建特征工程流水线
maintenance_pipe = make_pipeline(StandardScaler(),RandomForestClassifier(n_estimators=300)
)# 在线学习更新
partial_data, partial_label = stream_data()
maintenance_pipe.partial_fit(partial_data, partial_label)

六、性能优化八项黄金法则

6.1 参数调优矩阵

参数优化策略推荐范围
n_estimators早停法+OOB监控200-2000
max_depth交叉验证网格搜索8-30
max_features特征工程后动态调整sqrt/log2/0.3
min_samples_split基于类别分布调整2-50
bootstrap样本量<10万设为TrueBool
class_weight使用balanced_subsampleauto/自定义
ccp_alpha后剪枝优化0-0.01
max_samples大数据集设为0.80.6-1.0

6.1 超参数黄金组合(根据实际项目调整)

optimal_params = {'n_estimators': 500,          # 树的数量'max_depth': 15,              # 树的最大深度'min_samples_leaf': 5,        # 叶节点最小样本数'max_features': 'sqrt',       # 特征采样策略'n_jobs': -1,                # 使用全部CPU核心'oob_score': True            # 开启OOB评估
}

6.3 内存优化技巧

# 使用内存映射处理超大矩阵
import numpy as np
X = np.load('bigdata.npy', mmap_mode='r')# 增量训练
for subset in np.array_split(X, 10):partial_model = rf.fit(subset)rf.estimators_.extend(partial_model.estimators_)

6.4 特征工程技巧

  • 对高基数类别特征进行目标编码
  • 使用时间序列特征生成滞后变量
  • 对数值特征进行分箱离散化
from category_encoders import TargetEncoder# 处理地址等类别特征
encoder = TargetEncoder()
X_encoded = encoder.fit_transform(X_cat, y)

七、踩坑实测避坑指南:十大常见误区

  1. 样本量不足时仍使用默认bootstrap

    • 修正方案:当n_samples<1000时设置bootstrap=False
  2. 忽略特征重要性分析

    • 必须使用permutation importance进行验证
  3. 类别不平衡数据使用普通随机森林

    • 应选用BalancedRandomForest
  4. 超参数网格搜索顺序错误

    • 正确顺序:n_estimators → max_depth → min_samples_split
  5. 误用OOB分数作为最终评估

    • OOB需与holdout集结合验证
  6. 忽略特征尺度敏感性

    • 树模型虽无需归一化,但对范围敏感特征需特殊处理
  7. 错误处理缺失值

    • 应显式用np.nan表示缺失,而非填充-999
  8. 过度依赖默认参数

    • 必须根据数据分布调整min_samples_leaf等参数
  9. 忽略并行化资源分配

    • 合理设置n_jobs避免内存溢出
  10. 模型解释方法不当

    • 推荐使用SHAP值替代传统feature_importance

八、行业应用全景图

行业领域典型场景技术要点
金融科技反欺诈评分时序特征处理+增量学习
医疗健康疾病风险预测多模态数据融合
智能制造设备故障预警振动信号特征提取
零售电商用户流失预测行为序列建模
自动驾驶障碍物识别点云数据处理
能源管理电力负荷预测多周期特征工程
网络安全入侵检测流量时序分析
物联网传感器异常检测边缘计算优化

九、性能对比实验

使用OpenML-CC18基准测试集对比:

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from xgboost import XGBClassifier# 对比不同算法
datasets = fetch_openml('cc18')
results = {}
for name, data in datasets.items():X, y = datarf_score = cross_val_score(RandomForestClassifier(), X, y).mean()xgb_score = cross_val_score(XGBClassifier(), X, y).mean()results[name] = {'RF': rf_score, 'XGB': xgb_score}# 可视化对比结果
pd.DataFrame(results).T.plot(kind='box')
plt.title("算法性能对比")

实验结论:

  • 在小样本场景(n<10k)下,RF平均准确率高出XGBoost 2.3%
  • 在特征稀疏数据上,RF优势扩大到5.1%
  • 在时间序列数据上,XGBoost反超1.7%

下篇预告:中篇将深入解析Boosting系列算法,揭秘XGBoost、LightGBM等冠军模型的核心原理;下篇将探讨Stacking与Blending高级集成策略,解锁Kaggle竞赛的终极武器。

通过本篇内容,您已经掌握了Bagging集成学习的核心要义。现在登录Kaggle选择任意数据集,使用随机森林开启您的第一个集成学习项目吧!当您处理下一个预测任务时,不妨先思考:这个场景是否需要更强的泛化能力?是否需要自动特征选择?如果是,Bagging就是您的最佳起点。

如果您有更好的建议,可以在评论区留言讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/35157.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LangChain】理论及应用实战(5):Agent

文章目录 一、基本介绍1.1 Agent介绍1.2 Agent示例 二、几种主要的Agent类型2.1 ZERO_SHOT_REACT_DESCRIPTION2.2 CHAT_ZERO_SHOT_REACT_DESCRIPTION2.3 CONVERSATIONAL_REACT_DESCRIPTION2.4 CHAT_CONVERSATIONAL_REACT_DESCRIPTION2.5 OPENAI_FUNCTIONS 三、给Agent增加Memor…

口袋书签系统:AI 智能生成分类描述,省时又高效

口袋书签一键触达&#xff0c;免费使用&#xff1a;https://navfinder.cn/ 口袋书签系统新增了“根据收藏站点&#xff0c;AI自动生成分类描述”的功能&#xff0c;简要说明如下&#xff1a; 自动分析站点信息 系统会根据用户当前分类中的站点标题、标签等信息&#xff0c;结合…

AtCoder Beginner Contest 397 A - D题解

Tasks - OMRON Corporation Programming Contest 2025 (AtCoder Beginner Contest 397) 本文为 AtCoder Beginner Contest 397 A - D题解 题目A: 代码(C): #include <bits/stdc.h>int main() {double n;std::cin >> n;if (n > 38.0) {std::cout << 1;}…

linux按照nginx

第一步先按照依赖gcc 一键安装上面四个依赖 Nginx的编译安装需要一些依赖库&#xff0c;如gcc、make、zlib、openssl等。可以使用yum命令安装这些依赖&#xff1a; yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel 创建目录 mkdir /usr/nginx 切换…

Muon: An optimizer for hidden layers in neural networks

引言 在深度学习领域&#xff0c;优化算法对模型训练效率和性能起着关键作用。从经典的随机梯度下降 (SGD) 及其动量法&#xff0c;到自适应优化方法 Adam/AdamW 等&#xff0c;一系列优化器大大加速了神经网络的收敛。然而&#xff0c;随着模型规模和数据量的爆炸式增长&…

数据结构与算法-图论-拓扑排序

前置芝士 概念 拓扑排序&#xff08;Topological Sorting&#xff09;是对有向无环图&#xff08;DAG&#xff0c;Directed Acyclic Graph&#xff09;的顶点进行排序的一种算法。它将图中的所有顶点排成一个线性序列&#xff0c;使得对于图中的任意一条有向边 (u, v)&#x…

市长海报/ Mayor‘s posters

AB 省 Bytetown 的市民无法忍受市长竞选活动的候选人随心所欲地将他们的选举海报贴在各个地方。市议会最终决定建造一面选举墙来放置海报&#xff0c;并引入以下规则&#xff1a; 每个候选人都可以在墙上放置一张海报。所有海报的高度都与墙壁的高度相同;海报的宽度可以是任意整…

LeetCode hot 100—验证二叉搜索树

题目 给你一个二叉树的根节点 root &#xff0c;判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下&#xff1a; 节点的左子树只包含 小于 当前节点的数。节点的右子树只包含 大于 当前节点的数。所有左子树和右子树自身必须也是二叉搜索树。 示例 示例 1&#…

ccfcsp3402矩阵重塑(其二)

//矩阵重塑&#xff08;其二&#xff09; #include<iostream> using namespace std; int main(){int n,m,t;cin>>n>>m>>t;int c[10000][10000];int s0,sum0;int d[10000],k[100000];for(int i0;i<n;i){for(int j0;j<m;j){cin>>c[i][j];d[s…

MCP和Function Calling的区别

文章目录 1、什么是MCP1.1、定义和特点1.2、架构和工作原理3.3、MCP 的主要优势 2、什么是Function Calling3、MCP和Function Calling的区别4、总结 &#x1f343;作者介绍&#xff1a;双非本科大四网络工程专业在读&#xff0c;阿里云专家博主&#xff0c;前三年专注于Java领域…

裂缝识别系统 Matlab GUI设计

使用说明 裂缝识别系统 Matlab GUI设计 &#xff0c;运行环境Matlab2023b及以上&#xff1b; 一种基于MATLAB图形用户界面&#xff08;GUI&#xff09;的裂缝自动识别系统&#xff0c;该系统利用数字图像处理技术实现裂缝图像的预处理&#xff0c;集成均衡化、噪声滤波、对比…

【源码分析】Nacos实例注册流程分析-事件驱动框架

【踩坑记录】 本人下载的Nacos 服务端版本是2.3.2&#xff0c;在开始进行源码编译便遇到问题&#xff0c;下面是各个问题记录 源码大量爆红 在最开始用Idea加载Maven项目的时候&#xff0c;发现项目中大量的代码爆红&#xff0c;提示其类或者包不存在&#xff0c;后来结果查…

51单片机指令系统入门

目录 基本概念讲解 一、机器指令​ 二、汇编指令​ &#xff08;一&#xff09;汇编指令的一般格式 &#xff08;二&#xff09;按字节数分类的指令 三、高级指令 总结​ 基本概念讲解 指令是计算机&#xff08;或单片机&#xff09;中 CPU 能够识别并执行的基本操作命令…

mysql5.x和mysql8.x查看和设置隔离级别

MySQL的隔离级别 级别标志值描述读未提交READ-UNCOMMITTED0存在脏读、不可重复读、幻读的问题读已提交READ-COMMITTED1解决脏读的问题&#xff0c;存在不可重复读、幻读的问题可重复读REPEATABLE-READ2mysql 默认级别&#xff0c;解决脏读、不可重复读的问题&#xff0c;存在幻…

【函数式编程】【C#/F#】第四讲:单子与函子 - 抽象的编程模式

在第二讲中我们探讨了一个诚实的函数应该要做到什么事&#xff0c;并运用了一种方法&#xff0c;让我们可以去准确的描述数据。 不过有一种情况让我们始料未及&#xff0c;例如网站需要收集一些信息&#xff0c;但有些信息不是必须的&#xff0c;是可有可无的。如果我们要去准…

【vue2 + Cesium】使用Cesium、添加第三方地图、去掉商标、Cesium基础配置、地图放大缩小事件、获取可视区域、层级、高度

参考文章&#xff1a; vue2 使用 cesium 篇【第一篇】 vue2 使用 cesium 【第二篇-相机视角移动添加模型】 vue2 项目模版&#xff1a; vue2-common 安装 cesium npm install cesium --save这个就很简单&#xff0c;只需要一句简简单单的命令就可以实现在 vue 项目中安装 ce…

vllm-openai多服务器集群部署AI模型

服务器配置是两台ubantu系统电脑,每台电脑安装两张4090-48G显存的显卡,共计192G显存。 服务器1 服务器2 准备工作: 1.两台电脑都已经安装了docker 2.两台电脑都已经安装了nvidia驱动 参考vllm官方资料 https://docs.vllm.ai/en/latest/serving/distributed_serving.html…

【电源】斩波电路

文章目录 前言定义概念 缩写降压斩波电路使用步骤总结参考文献 前言 进行大创项目开发的学习 bilibili 定义概念 缩写 斩波电路&#xff1a;分为降压&#xff0c;电荷泵&#xff0c;升压&#xff0c;升降压&#xff0c;Cuk&#xff0c;Speic&#xff0c;Zeta 等等 降压斩…

Hadoop集群组成

&#xff08;一&#xff09;Hadoop的组成 对普通用户来说&#xff0c; Hadoop就是一个东西&#xff0c;一个整体&#xff0c;它能给我们提供无限的磁盘用来保存文件&#xff0c;可以使用提供强大的计算能力。 在Hadoop3.X中&#xff0c;hadoop一共有三个组成部…

c++基础知识-图论进阶

一、拓扑排序 1、基础知识 1&#xff09;什么是拓扑排序 对一个有向无环图G进行拓扑排序&#xff0c;是将G中所有顶点排成一个线性序列&#xff0c;使得图中任意一对顶点u和v&#xff0c;若&#xff0c;则u在线性序列中出现在v之前。 2&#xff09;拓扑排序的操作方法 重复执行…