机器学习---Boosting

1. Boosting算法

Boosting思想源于三个臭皮匠,胜过诸葛亮。找到许多粗略的经验法则比找到一个单一的、高度预

测的规则要容易得多,也更有效。

预测明天是晴是雨?传统观念:依赖于专家系统(A perfect Expert)

以“人无完人”为基础,结合普通reporter,获得完美专家。

弱学习机(weak learner):  对一定分布的训练样本给出假设(仅仅强于随机猜测),根据有云猜测

可能会下雨。强学习机(strong learner): 根据得到的弱学习机和相应的权重给出假设(最大程度上

符合实际情况:almost perfect expert),根据CNN、ABC、CBS以往的预测表现及实际天气情况作

出综合准确的天气预测。

 

 

Boosting算法流程:

①原始训练集输入,带有原始分布

②给出训练集中各样本的权重

③将改变分布后的训练集输入已知的弱学习机,弱学习机对每个样本给出假设

④对此次的弱学习机给出权重

⑤转到②, 直到循环到达一定次数或者某度量标准符合要求

⑥将弱学习机按其相应的权重加权组合形成强学习机

样本的权重:没有先验知识的情况下,初始的分布应为等概分布,也就是训练集如果有N个样本,

每个样本的分布概率为1/N,每次循环一后提高错误样本的分布概率,分错样本在训练集中所占权

重增大, 使得下一次循环的弱学习机能够集中力量对这些错误样本进行判断。

弱学习机的权重:准确率越高的弱学习机权重越高。

循环控制:损失函数达到最小,在强学习机的组合中增加一个加权的弱学习机,使准确率提高,损

失函数值减小。

2. 算法思想

训练集

Dt为第t次循环时的训练样本分布(每个样本在训练集中所占的概率, Dt总和应该为1)。

ht:X∈{-1,+1} 为第t次循环时的Weak learner,对每个样本给出相应的假设,应该满足强于随机猜

测:

wtht的权重,t次循环得到的Strong learner。

思想:提高分错样本的权重

反映了strong learner对样本的假设是否正确。

      采用什么样的函数形式?

思想:错误率越低,该学习机的权重应该越大

为学习机的错误概率,采用什么样的函数形式?

和指数函数遥相呼应:

算法伪代码:

3. 理论分析 

如何求弱学习机的权重?

最基本的损失函数表达形式:

为了便于计算,采用以下的目标函数:

Boosting的循环过程就是沿着损失函数的负梯度方向进行最优化的过程。通过调整样本分布Dt和选

择弱学习机权重wt来达到这个目的。每循环一次,增加一项,使损失函数以最快速度下降。

给定当前分布和选定的弱学习机,如何求下一次的分布? 

Boosting的设计思想:

改变分布,提高错误样本概率,使下一次的弱学习机能够集中精力针对那些困难样本。

调整分布后的训练集对当前学习机具有最大的随机性,正确率50%(恰好为随机猜测)。

相对熵原理(最小鉴别信息原理):

已知随机变量X(样本集)的先验分布(Dt),并且已知所求未知分布Dt+1满足条件

,那么所求得的未知分布估计值具有如下形式:

 。

物理意义:在只掌握部分信息的情况下要对分布作出判断时,应该选取符合约束条件但熵值取得最

大概率分布。从先验分布到未知分布的计算应该取满足已知条件,不确定度(熵)变化最小的解。

人脸识别方面的应用:

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/218527.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习git后,真正在项目中如何使用?

文章目录 前言下载和安装Git克隆远程仓库PyCharm链接本地Git创建分支修改项目工程并提交到本地仓库推送到远程仓库小结 前言 网上学习git的教程,甚至还有很多可视化很好的git教程,入门git也不是什么难事。但我发现,当我真的要从网上克隆一个…

2044回文字符串(C语言)

目录 一:题目 二:思路分析 1.什么是回文? 2.判断回文: 三:代码 一:题目 二:思路分析 1.什么是回文? 最简单的理解方式就是一个字符串正着写和倒着写一样 2.判断回文&#xff1…

leetcode砍竹子1

现需要将一根长为正整数 bamboo_len 的竹子砍为若干段,每段长度均为正整数。请返回每段竹子长度的最大乘积是多少。 1.根据公式看出取等是在所有n相等的情况,可以得出只有均分 乘积最大 2.转为求下面的最大值 3.求导,得出驻点为e2.7左右 …

百度地图中显示红点

initMap(longitude, latitude) {var map new BMapGL.Map("container");// 创建地图实例if (longitude null || latitude null) {var point new BMapGL.Point(111.1480354849708, 37.5262978563336);var marker new BMapGL.Marker(point);map.addOverlay(marker)…

ubuntu如何远程ssh登录Windows环境并执行测试命令

ubuntu如何远程ssh登录Windows环境并执行测试命令 1 paramiko模块简介1.1 安装paramiko1.2 paramiko基本用法1.2.1 创建SSHClient实例1.2.2 设置主机密钥策略1.2.3 连接SSH服务器1.2.4 执行命令1.2.5 关闭SSH连接1.2.6 异常处理 2 windows的配置2.1 启动OpenSSH服务2.2 配置防火…

【Spark精讲】Spark与MapReduce对比

目录 对比总结 MapReduce流程 ​编辑 MapTask流程 ReduceTask流程 MapReduce原理 阶段划分 Map shuffle Partition Collector Sort Spill Merge Reduce shuffle Copy Merge Sort 对比总结 Map端读取文件:都是需要通过split概念来进行逻辑切片&…

多任务学习(Multi-Task Learning)和迁移学习(Transfer Learning)的详细解释以及区别(系列1)

文章目录 前言一、多任务学习(Multi-Task Learning)是什么?二、多任务学习(Multi-Task Learning)对数据的要求三、迁移学习是什么?四,迁移学习对数据的要求五,多任务学习与迁移学习的…

设计模式——外观模式(结构型)

引言 外观模式是一种结构型设计模式, 能为程序库、 框架或其他复杂类提供一个简单的接口。 ​ 问题 假设你必须在代码中使用某个复杂的库或框架中的众多对象。 正常情况下, 你需要负责所有对象的初始化工作、 管理其依赖关系并按正确的顺序执行方法等。…

超详细的80个Python入门实例,附源码,大学装逼必备!

对于大部分Python学习者来说,核心知识基本已经掌握了,但"纸上得来终觉浅,绝知此事要躬行",要想完全掌握Python,还得靠实践应用。 今天给大家分享80个Python入门实例,都是基础实例,经典实用&…

在datagridview列显示下拉操作

DataGridViewComboBoxExColumn 设定好类型 需要设置的地方是: 绑定数据的操作: 因为此处绑定数据实际为数据 参数 显示的操作,不影响datasource的数据绑定 下一步 数据绑定: DGVCOrderZhuangtai.ValueType typeof(EOrderZhuan…

数据结构 | 查漏补缺之顺式存储和链式存储、如何评价哈希函数的好坏、链地址法、树的遍历、关键路径、完全图、连通图、迪杰斯特拉、b树

目录 顺式存储和链式存储 优缺点比较 顺序存储 ​编辑 链式存储 如何评价哈希函数的好坏 简述哈希查找中链地址法解决冲突的方法 树的遍历 关键路径 完全图 连通图 迪杰斯特拉 b树 特点: 插入(索引不能大于:最大为 M-1 个&#…

C程序添加ASAN编译选项

目录 选项说明 环境变量配置 环境变量说明 示例 C程序代码 Cmakelist.txt 测试结果 选项说明 选项说明-fsanitizeaddress开启内存越界检测-fsanitizeleak开启内存泄漏检测-fsanitize-recoveraddress一般后台程序为保证稳定性,不能遇到错误就简单退出&#x…

案例精选|聚铭综合日志分析系统助力长房集团“智慧房产”信息化建设

长沙房产(集团)有限公司(简称“长房集团”)始创于2004年3月,是一家由长沙市人民政府授权组建的国有独资企业。截至2021年底,企业总资产逾452亿元,总开发面积1300多万平方米,已开发项…

c语言->浅学结构体

系列文章目录 文章目录 前言 ✅作者简介:大家好,我是橘橙黄又青,一个想要与大家共同进步的男人😉😉 🍎个人主页:橘橙黄又青_C语言,函数,指针-CSDN博客 目的:学习结构体基础内容&am…

云仓酒庄的品牌雷盛红酒分享红酒里加二氧化硫有害吗?

雷盛葡萄酒是广州万豪酒业有限公司旗下主力葡萄酒品牌,该品牌由云仓酒庄负责全国运营。雷盛(LEESON)品牌系列葡萄酒有幸邀请著名导演张纪中先生担任品牌代言人。采用多国家采购、多葡萄酒品种、多价位区间的全系列整体品牌形式,让…

轻量封装WebGPU渲染系统示例<46>- 材质组装管线(MaterialPipeline)灯光、阴影、雾以及多Pass(源码)

当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/material/src/voxgpu/sample/MaterialPipelineMultiPasses.ts 当前示例运行效果: 此示例基于此渲染系统实现,当前示例TypeScript源码如下: export class MaterialPipelin…

Jmeter+Maven+jenkins+eclipse搭建自动化测试平台

背景: 首先用jmeter录制或者书写性能测试的脚本,用maven添加相关依赖,把性能测试的代码提交到github,在jenkins配置git下载性能测试的代码,配置运行脚本和测试报告,配置运行失败自动发邮件通知&#xff0c…

后端打印不了trace等级的日志?-SpringBoot日志打印-Slf4j

在调用log变量的方法来输出日志时,有以上5个级别对应的方法,从不太重要,到非常重要 调用不同的方法,就会输出不同级别的日志。 trace:跟踪信息debug:调试信息info:一般信息warn:警告…

在非联网、无网络环境下,fpm的安装和生成RPM包的使用案例

文章目录 前言1、安装fpm1.1、安装Ruby环境1.2、gem 安装 fpm 2、fpm使用2.1、fpm常用参数2.2、fpm使用案例2.2.1、fpmFirstDemo文件夹2.2.3、编写脚本文件2.2.4、生成RPM包2.2.5、RPM安装与卸载测试 前言 由于fpm采用Ruby语言开发,因此在使用之前需要先在您的虚拟…