《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析

本文是将文章《XGBoost算法的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。


我们定义一颗树的复杂度 Ω Ω Ω,它由两部分组成:

  • 叶子结点的数量;
  • 叶子结点权重向量的 L 2 L2 L2范数;
    在这里插入图片描述

公式(12-14)是:

Ω ( f t ) = γ T + 1 2 λ ∑ j = 1 T w j 2 \Omega(f_t) = \gamma T + \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 Ω(ft)=γT+21λj=1Twj2

是在 XGBoost 中用于正则化的公式,它描述了第 t t t 轮生成的树 f t f_t ft 的复杂度惩罚项。XGBoost 的正则化项通过控制树的复杂度来防止过拟合,从而提高模型的泛化能力。

公式中的符号解释

  1. Ω ( f t ) \Omega(f_t) Ω(ft):表示第 t t t 轮生成的树 f t f_t ft 的正则化项,作为模型复杂度的惩罚。XGBoost 的目标函数包含损失项和正则化项,正则化项的目的是控制树的复杂度。

  2. T T T:树的叶子节点总数。树的复杂度通常与叶子节点数量直接相关,更多的叶子节点通常意味着更复杂的树结构。

  3. γ \gamma γ:控制叶子节点数的正则化参数。它决定了树的叶子节点数对模型复杂度的影响。较大的 γ \gamma γ 值会增加每增加一个叶子节点的成本,从而限制树的生长。

  4. w j w_j wj:第 j j j 个叶子节点的权重值。每个叶子节点都有一个预测值(权重),用于预测所有落入该节点的样本的值。

  5. λ \lambda λ:控制叶子节点权重大小的正则化参数。它用于限制叶子节点权重的大小,防止权重过大导致模型对训练数据的过拟合。

公式的分解与理解

公式可以分为两个部分:

第一部分:叶子节点数量惩罚项

γ T \gamma T γT

  • 这一部分表示树中叶子节点数量的惩罚, γ \gamma γ 是正则化参数,控制每增加一个叶子节点的复杂度成本。
  • 树的叶子节点越多,模型的表达能力越强,但也更容易出现过拟合。因此,通过增加叶子节点的成本,XGBoost 可以有效地限制树的复杂度。
  • 较大的 γ \gamma γ 值会让树的叶子节点数量减少,从而使模型更加简单,增强泛化能力。
第二部分:叶子节点权重惩罚项

1 2 λ ∑ j = 1 T w j 2 \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 21λj=1Twj2

  • 这一部分是对叶子节点权重的正则化,通过惩罚权重的平方和来限制权重的大小。
  • λ \lambda λ 是控制权重大小的正则化参数。较大的 λ \lambda λ 值会对权重 w j w_j wj 施加更大的惩罚,从而抑制每个叶子节点的输出值。
  • 权重 w j w_j wj 的平方和表示所有叶子节点的权重复杂度。通过限制权重的大小,XGBoost 可以防止某些叶子节点权重过大,以避免模型对训练样本的过拟合。

正则化项的作用

  1. 防止过拟合:正则化项通过限制叶子节点数量 T T T 和叶子节点权重 w j w_j wj 的大小,来控制树的复杂度,从而减少模型的过拟合风险。
  2. 增强泛化能力:通过控制模型的复杂度,XGBoost 可以更好地在新数据上表现。正则化项让模型不再过于依赖训练数据中的特定模式,而是更关注数据的整体结构。
  3. 控制模型复杂度 γ \gamma γ λ \lambda λ 参数为用户提供了控制模型复杂度的手段,用户可以通过调整这两个超参数,来选择合适的树结构和节点权重,找到泛化能力和训练精度之间的最佳平衡。

总结

公式(12-14)

Ω ( f t ) = γ T + 1 2 λ ∑ j = 1 T w j 2 \Omega(f_t) = \gamma T + \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 Ω(ft)=γT+21λj=1Twj2

是 XGBoost 的正则化项,用于控制树的复杂度。第一部分 γ T \gamma T γT 惩罚树的叶子节点数量,防止模型过于复杂;第二部分 1 2 λ ∑ j = 1 T w j 2 \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 21λj=1Twj2 惩罚叶子节点权重的大小,防止某些节点权重过大而导致的过拟合。通过正则化项,XGBoost 可以有效地控制模型的复杂度,从而在训练精度和泛化能力之间取得平衡。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/467137.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

算法练习:1004. 最大连续1的个数 III

题目链接:1004. 最大连续1的个数 III。 题目要求,给定一个数组,这个数组里面只有0或1,然后计算有多少个连续的1的最大长度,同时给了一个条件就是,可以把k个0变成1,然后来计算长度。 暴力解法&a…

CCS下载安装(以12.3.0版本为例)

Code Composer Studio 是一个集成开发环境 (IDE),简称CCS软件。支持 TI 的微控制器和嵌入式处理器产品的开发。Code Composer Studio 包含一整套用于开发和调试嵌入式应用程序的工具。 CCS9.3.0及以上版本不需要License文件,但是CCS旧版本比如CCS5.5.0需…

串口接收,不定长数据接收

###1.CUBE-MX配置串口 2.我采用串口中断接收,打开中断接口 3.时钟同样8倍频,1分频,使用内部时钟 打开串口中断 main() { __HAL_UART_ENABLE_IT(&huart1, UART_IT_IDLE); // 启用空闲中断__HAL_UART_ENABLE_IT(&huart1, UART_IT_R…

密码学知识点整理二:常见的加密算法

常用的加密算法包括对称加密算法、非对称加密算法和散列算法。 对称加密算法 AES:高级加密标准,是目前使用最广泛的对称加密算法之一,支持多种密钥长度(128位、192位、256位),安全性高,加密效率…

MongoDB Shell 基本命令(三)聚合管道

管道含义 类似Linux中的管道,前一个命令的输出作为后一个命令的输入。 显示网络连接、路由表和网络接口统计信息 netstat -ano -netstat:network statistics 网络统计 -a:显示所有连接和监听端口,包括所有活动的TCP和UDP连接。 -n:以数字形式显示地址…

OpenCV相机标定与3D重建(1)概述

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 本节中的函数使用所谓的针孔相机模型。通过使用透视变换将场景中的3D点 P w P_w Pw​ 投影到图像平面上,从而获得场景的视图&#x…

Docker部署Oracle 11g

1,拉取镜像: sudo docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11gsudo docker images 2,启动一个临时容器,用于拷贝数据库文件,挂载到宿主主机,使数据持久化: sudo docke…

【Linux系统】—— 基本指令(二)

【Linux系统】—— 基本指令(二) 1 「alias」命令1.1 「ll」命令1.2 「alias」命令 2 「rmdir」指令与「rm」指令2.1 「rmdir」2.2 「rm」2.2.1 「rm」 删除普通文件2.2.2 「rm」 删除目录2.2.3 『 * 』 通配符 3 「man」 指令4 「cp」 指令4.1 拷贝普通…

从单层到 MVC,再到 DDD:架构演进的思考与实践

引言 在日常开发中,我们之前工作中经常接手的大多数都是传统 MVC 架构体系的项目。然而,随着现在分布式和微服务架构的普及,越来越多的项目开始重构、拆分,传统的 MVC 架构也逐渐向 DDD 架构演进。为什么需要将传统架构重构为 DD…

贝式计算的 AI4S 观察:使用机器学习对世界进行感知与推演,最大魅力在于横向扩展的有效性

「传统研究方法高度依赖于科研人员自身的特征和问题定义能力,通常采用小数据,在泛化能力和拓展能力上存疑。而 AI 研究方法则需要引入大规模、高质量数据,并采用机器学习进行特征抽取,这使得产生的科研结果在真实世界的问题中非常…

[产品管理-58]:安索夫矩阵矩阵帮助创业者确定研发出来的产品在市场中定位策略

目录 一、提出背景 二、核心思想与结构 三、应用背景与领域 四、实践案例 安索夫矩阵(Ansoff Matrix),也被称为产品/市场方格或成长矢量矩阵,其应用背景可以从以下几个方面进行详细阐述: 一、提出背景 安索夫矩阵…

安当ASP系统:适合中小企业的轻量级Radius认证服务器

安当ASP(Authentication Service Platform)身份认证系统是一款功能强大的身份认证服务平台,特别适用于中小企业。其中,简约型Radius认证服务器是安当ASP系统中的一个重要组成部分。以下是对该系统的详细介绍: 一、主要…

uniapp配置h5路由模式为history时404

为了不让URL中出现#,让uniapp项目配置h5路由模式为hisory 然而本地好好的,放到服务器上却404了。 解决方法是给nginx配置一个伪静态: location /xxx-html/ {alias /home/nginx_web/xxx_new_html/;try_files $uri $uri/ /xxx-html/index.ht…

Go-HTTP框架设计实现概述

1.再谈HTTP协议 第一个大规模使用:HTTP0.9 三十多年了 HTTP:超文本传输协议(Hypertext Transfer Protocal) 为什么是超文本:因为图片、音乐、视频是文本的扩充 为什么需要协议:约定俗称的规则(像说话&…

使用Matlab建立决策树

综述 除了神经网络模型以外,树模型及基于树的集成学习模型是较为常用的效果较好的预测模型。我们以下先构建一个决策树模型。 决策树算法的优点如下:1、 决策树易于理解和实现,用户在学习过程中不需要了解过多的背景知识,其能够…

【JavaSE】(3)数组

目录 一、数组的定义和初始化 1. 什么是数组 2. 数组的定义 3. 数组的初始化 4. 操作数组的工具包 二、数组的使用 三、引用类型 1. JVM内存分布 2. 引用变量 3. 默认值 null 四、二维数组 1. 二维数组的定义和初始化 2. 不规则的二维数组 一、数组的定义和初始化…

uniapp—android原生插件开发(3Android真机调试)

本篇文章从实战角度出发,将UniApp集成新大陆PDA设备RFID的全过程分为四部曲,涵盖环境搭建、插件开发、AAR打包、项目引入和功能调试。通过这份教程,轻松应对安卓原生插件开发与打包需求! 一、打包uniapp资源包: 打包…

【 AI写作鹅-注册安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 1. 暴力破解密码,造成用户信息泄露 2. 短信盗刷的安全问题,影响业务及导致用户投诉 3. 带来经济损失,尤其是后付费客户,风险巨大,造…

esp32学习:利用虫洞ESP32开发板,快速实现无线图传

我们的虫洞开发板,能够完美运行esp who AI代码,所以实现无线图传那是非常容易的,我们先看看examples目录: 里面有比较多的web例程,在这些例程下,稍作修改,就可以快速实现我的图传无线功能&#…

Docker网络概述

1. Docker 网络概述 1.1 网络组件 Docker网络的核心组件包括网络驱动程序、网络、容器以及IP地址管理(IPAM)。这些组件共同工作,为容器提供网络连接和通信能力。 网络驱动程序:Docker支持多种网络驱动程序,每种驱动程…