机器学习(一)——基本概念、模型的评估与选择

目录

  • 1 关于
  • 2 概念
    • 2.1 基础概念
    • 2.2 学习过程
    • 2.3 预测与评估
    • 2.4 标记与分类
      • 2.4.1 标记
      • 2.4.2 分类
    • 2.5 回归分析
    • 2.6 聚类分析
    • 2.7 学习类型
    • 2.8 泛化能力
    • 2.9 统计学概念
  • 3 模型评估与选择
    • 3.1 经验误差与过拟合
    • 3.2 评估方法
      • 3.2.1 留出法
      • 3.2.2 交叉验证法
      • 3.2.3 自助法
      • 3.2.4 调参与最终模型
    • 3.3 性能度量


1 关于

本文是基于西瓜书(第一、二章)的学习记录。提供了机器学习领域的基础知识和概念的概述、模型评估与选择等内容。
西瓜书电子版:百度网盘分享链接


2 概念

2.1 基础概念

  • 记录:一组相关数据项的集合,描述了一个对象或实体的特定信息。
  • 数据集(data set):一组记录的集合,每条记录描述一个事件或对象。
  • 示例(instance)或样本(sample):数据集中的每条记录,代表一个具体的事件或对象。
  • 属性(attribute)或特征(feature):反映事件或对象在某方面的表现或性质的事项。
  • 属性值(attribute value):属性上的取值,例如“青绿”、“乌黑”。
  • 属性空间(attribute space)、样本空间(sample space)或输入空间:由属性张成的空间,用于描述对象。
  • 特征向量(feature vector):属性空间中的每个点对应一个坐标向量,因此一个示例也可以被称为一个特征向量。

2.2 学习过程

  • 学习(learning)或训练(training):从数据中学得模型的过程。
  • 学习算法(learning algorithm):执行学习或训练过程的算法。
  • 训练数据(training data):训练过程中使用的数据。
  • 训练样本(training sample):训练数据中的每个样本。
  • 训练集(training set):由训练样本组成的集合。
  • 假设(hypothesis):学得的模型,对应了关于数据的某种潜在规律。
  • 真相(ground-truth)或真实:潜在规律自身,学习过程的目的是找出或逼近真相。
  • 学习器(learner):有时将模型称为学习器,可看作学习算法在给定数据和参数空间上的实例化。

2.3 预测与评估

  • 预测(prediction):建立模型以帮助判断未剖开的西瓜是否为“好瓜”。
  • 测试(testing):使用学得的模型进行预测的过程。
  • 测试样本(testing sample):被预测的样本。

2.4 标记与分类

2.4.1 标记

  • 标记(label):关于示例结果的信息,如“好瓜”。
  • 样例(example):拥有标记信息的示例。
  • 样本:有时也将标记看作对象本身的一部分,此时“样例”也称为“样本”。

2.4.2 分类

  • 分类(classification):预测离散值的任务,例如“好瓜”“坏瓜”。
    • 二分类(binary classification):涉及两个类别的分类任务。
    • 多分类(multi-class classification):涉及多个类别的分类任务。
    • 正类(positive class):在二分类任务中,通常指定的一个类别。
    • 负类(negative class):在二分类任务中,非正类的类别。

2.5 回归分析

  • 回归(regression):预测连续值的任务,例如西瓜成熟度。

2.6 聚类分析

  • 聚类(clustering):将训练集中的西瓜分成若干组的过程,每组称为一个“簇”。
  • 簇(cluster):聚类过程中形成的组。

2.7 学习类型

  • 监督学习(supervised learning):基于训练数据拥有标记信息的学习任务。
  • 无监督学习(unsupervised learning):基于训练数据不拥有标记信息的学习任务。

2.8 泛化能力

  • 泛化(generalization)能力:学得模型适用于新样本的能力。
  • 新样本:未在训练集中出现的样本。

2.9 统计学概念

  • 分布(distribution):样本空间中全体样本服从的未知分布。
  • 独立同分布(independent and identically distributed, i.i.d.):每个样本都是独立地从分布上采样获得的。

3 模型评估与选择

3.1 经验误差与过拟合

  • 错误率:分类错误的样本数占样本总数的比例
  • 精度:精度= 1-错误率
  • 误差:学习器的实际预测输出与样本的真实输出之间的差异
  • 训练误差:学习器在训练集上的误差
  • 泛化误差:在新样本上的误差
  • 过拟合:当学习器把训练样本学得“太好” 了的时候,很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化性能下降.
  • 欠拟合:指对训练样本的一般性质尚未学好.

3.2 评估方法

  • 通常,我们可通过实验测试来对学习器的泛化误差进行评估并进而做出选择.为此 需使用一个“测试集”(testing set)来测试学习器对新样本的判别能力,然后以测试集上的“测试误差”(testing error)作为泛化误差的近似。测试集应该尽可能与训练集互斥,即测试样本尽量不在训练集中出现、未在训练过程中使用过。

3.2.1 留出法

直接将数据集。划分为两个互斥的集合,其中一个集合作为训练集S ,另一个作为测试集T

  • 需注意的是,训练/测试集的划分要尽可能保持数据分布的一致性,避免因数据划分过程引入额外的偏差而对最终结果产生影响,例如在分类任务中至少要保持样本的类别比例相似
  • 单次使用留出法得到的估计结果往往不够稳定可靠,在使用留出法时,一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果
  • 常见做法是将大约2/3〜 4/5的样本用于训练,剩余样本用于测试.

3.2.2 交叉验证法

先将数据集D 划分为k个大小相似的互斥子集,然后,每次用k - 1 个子集的并集作为训练集,余下的那个子集作为测试集;这样就可获得k组训练/测试集,从而可进行k次训练和测试,最终返回的是这k个测试结果的均值

  • 交叉验证法评估结果的稳定性和保真性在很大程度上取决于k的取值,为强调这一点,通常把交叉验证法称为“ k 折交叉验证”(k-fold cross validation), k最常用的取值是10 ,此时称为10折交叉验证
  • 示意图

3.2.3 自助法

每次随机从。中挑选一个样本,将其拷贝放入少 ,然后再将该样本放回初始数据集D 中,使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后,我们就得到了包含m个样本的数据集D

3.2.4 调参与最终模型

  • 除了要对适用学习算法进行选择,还需对算法参数进行设定,这就是通常所说的“参数调节”或简称“调参 "(parameter tuning).
  • 通常把学得模型在实际使用中遇到的数据称为测试数据,为了加以区分,模型评估与选择中用于评估测试的数据集常称为“验证集 "(validation set)。).例如,在研究对比不同算法的泛化性能时,我们用测试集上的判别效果来估计模型在实际使用时的泛化能力,而把训练数据另外划分为训练集和验证集,基于验证集上的性能来进行模型选择和调参.

3.3 性能度量

  • 均方误差(回归任务最常用)

  • 错误率:分类错误的样本数占样本总数的比例
  • 精度:是分类正确的样本数占样本总数的比例
  • 查准率:检索出的信息中有多少比例是用户感兴趣的。即预测为正类的样本中,实际为正类的比例
  • 查全率:用户感兴趣的信息中有多少被检索出来了。即在所有实际为正类的样本中,模型预测为正类的比例。
  • F1:查准率和查全率的调和平均数,它试图在两者之间找到一个平衡。
  • 一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低
  • P-R 曲线:根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,排在最后的则是学习器认为“最不可能”是正例的样本.按此顺序逐个把样本作为正例进行预测,则每次可以计算出当前的查全率、查准率.以查准率为纵轴、查全率为横轴作图,就得到了查准率-查全率曲线,简称 P-R曲线
    • 若一个学习器的P -R 曲线被另一个学习器的曲线完全“包住”,则可断言后者的性能优于前者
    • 比较P -R 曲线下面积的大小,它在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例.

  • ROC 与 AUC:我们根据学习器的概率预测结果对样例进行排序,按此顺序逐个把样本作为正例进行预测,每次计算出两个重要量的值,分别以它们为横、纵坐标作图,就得到了 “ROC曲线”.ROC 曲线的纵轴是“真正例率”(True Positive Rate ,简称 TPR ) , 横轴是“假正例率”
    • 若一个学习器的ROC曲线被另一个学习器的曲线完全“包住"则可断言后者的性能优于前者;若两个学习器的ROC曲线发生交叉,则难以一般性地断言两者孰优孰劣.此时如果一定要进行比较,则较为合理的判据是比较ROC曲线下的面积,即AUC

  • 代价敏感错误:为权衡不同类型错误所造成的不同损失,可为错误赋予“非均等代价”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/467954.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

小白docker入门简介

Dockerfile入门使用分享 一、docker是啥二、镜像仓库三、自定义镜像四、动手做机甲玩偶五、帮我做数学题六、计算功能的写法七、咒语翻译器八、放屁九、解决问题 一、docker是啥 最开始我和你一样,围着镜像、容器、docker的名词团团转,其实没那么复杂。…

gitlab无法创建合并请求是所有分支都不显示

点击Merge Requests ------> New merge request 创建新的合并请求时,在Source branch和Target branch中一个分支都不显示 排查思路: 1.怀疑是权限问题。 发现只有我的一个账号出现,检查了账号的权限,尝试了master、develop角色…

macOS15.1及以上系统bug:开发者证书无法打开,钥匙串访问无法打开一直出现图标后立马闪退

团队紧跟苹果最新系统发现bug:今日设备信息如下,希望能带给遇到这个问题的开发者一点帮助。 错误图如下: 点击证书文件后,先出现钥匙串访问图标,后立马闪退消失 中间试过很多方法,都是一样的表现,最后好在解决了,看网上也没有相关的帖子,这里直接写解决办法和导致原因…

python实战案例——爬取A站视频,m3u8格式视频抓取(内含完整代码!)

1、任务目标 目标网站:A站视频(https://www.acfun.cn/v/ac40795151) 要求:抓取该网址下的视频,将其存入本地,视频如下: 2、网页分析 进入目标网站,打开开发者模式,我们发…

【基于轻量型架构的WEB开发】课程 12.4 页面跳转 Java EE企业级应用开发教程 Spring+SpringMVC+MyBatis

12.4 页面跳转 12.4.1 返回值为void类型的页面跳转 返回值为void类型的页面跳转到默认页面 当Spring MVC方法的返回值为void类型,方法执行后会跳转到默认的页面。默认页面的路径由方法映射路径和视图解析器中的前缀、后缀拼接成,拼接格式为“前缀方法…

濮良贵《机械设计》第十版课后习题答案全解PDF电子版

《机械设计》(第十版)是“十二五”普通高等教育本科国家级规划教材, 是在《机械设计》(第九版)的基础上修订而成的。本次修订主要做了以下几项工作: 1. 内容的适当更新——自本书第九版出版以来, 机械工程及相关领域的新理论、新技术和新标准…

【Unity基础】Unity中如何导入字体?

在Unity中,不能像其他软件一样直接使用字体文件,需要通过FontAssetCreator将其转换成Texture的Asset文件,然后才能使用。 本文介绍了使用FontAssetCreator导入字体的过程,并对其参数设置进行了说明。 Font Asset Creator 是 Uni…

2024年11月8日上海帆软用户大会

2024年11月8日上海帆软用户大会 2024年11月8日,上海成功举办了帆软用户大会,主题为“数字聚力,绽放新机”。大会汇聚了众多行业专家和企业代表,共同探讨数字化转型和商业智能领域的最新趋势和实践。 大会亮点: 专家…

注意力机制的目的:理解语义;编码器嵌入高纬空间计算;注意力得分“得到S*V”;解码器掩码和交叉注意力层用于训练;最终的编码器和输出实现大模型

目录 注意力机制的目的:理解语义中的它是小白兔 词编码器嵌入高纬空间 计算注意力得分“得到S*V” 权重QKV:连接权重 训练阶段使用解码器:翻译后的语句 解码器掩码和交叉注意力层用于训练 最终的编码器和输出实现大模型 Transformer模型中,QKV QKV的作用 举例说明…

纯前端实现在线预览excel文件(插件: LuckyExcel、Luckysheet)

概述 在实际开发中,遇到需要在线预览各种文件的需求,最近遇到在线预览excel文件的需求,在此记录一下!本文主要功能实现,用于插件 LuckyExcel ,Luckysheet!废话不多说,上代码&#xf…

WPF自定义翻页控件

XAML文件如下&#xff1a; <UserControlx:Class"CTMVVMDemo.View.UserControls.DataPager"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://s…

Linux中.NET读取excel组件,不会出现The type initializer for ‘Gdip‘ threw an exception异常

组件&#xff0c;可通过nuget安装&#xff0c;直接搜名字&#xff1a; ExcelDataReader using ConsoleAppReadFileData.Model; using ExcelDataReader; using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Task…

qt QColorDialog详解

1、概述 QColorDialog是Qt框架中的一个对话框类&#xff0c;专门用于让用户选择颜色。它提供了一个标准的颜色选择界面&#xff0c;其中包括基本的颜色选择器&#xff08;如调色板和颜色轮&#xff09;、自定义颜色输入区域以及预定义颜色列表。QColorDialog支持RGB、HSV和十六…

使用Python实现音频降噪

在音频处理领域&#xff0c;背景噪声是一个常见的问题。为了提高音频的质量&#xff0c;我们需要对音频进行降噪处理。本文将介绍如何使用 Python 实现音频降噪。 依赖库安装 在开始之前&#xff0c;我们需要安装以下依赖库&#xff1a; pydub&#xff1a;用于音频文件的读取…

【WRF模拟】全过程总结:WPS预处理及WRF运行

【WRF模拟】全过程总结:WPS预处理及WRF运行 1 数据准备1.1 嵌套域设置(Customize domain)-基于QGis中gis4wrf插件1.2 静态地理数据1.2.1 叶面积指数LAI和植被覆盖度Fpar(月尺度)1.2.2 地面反照率(月尺度)1.2.3 土地利用类型+不透水面积1.2.4 数据处理:geotiff→tiff(W…

【react】Redux基础用法

1. Redux基础用法 Redux 是一个用于 JavaScript 应用的状态管理库&#xff0c;它不依赖于任何 UI库&#xff0c;但常用于与 React 框架配合使用。它提供了一种集中式的状态管理方式&#xff0c;将应用的所有状态保存在一个单一的全局 Store&#xff08;存储&#xff09;中&…

DevCheck Pro手机硬件检测工具v5.33

前言 DevCheck Pro是一款手机硬件和操作系统信息检测查看工具&#xff0c;该软件的功能非常强大&#xff0c;为用户提供了系统、硬件、应用程序、相机、网络、电池等一系列信息查看功能 安装环境 [名称]&#xff1a;DevCheckPro [版本]&#xff1a;5.33 [大小]&a…

Docker的轻量级可视化工具Portainer

docker目录 1 Portainer官方链接2 是什么&#xff1f;3 下载安装4 跑通一次5 后记 1 Portainer官方链接 这里给出portainer的官方链接&#xff1a;https://www.portainer.io/ portainer安装的官方链接&#xff1a;https://docs.portainer.io/start/install-ce/server/docker/l…

IoTDB 与 HBase 对比详解:架构、功能与性能

五大方向&#xff0c;洞悉 IoTDB 与 HBase 的详尽对比&#xff01; 在物联网&#xff08;IoT&#xff09;领域&#xff0c;数据的采集、存储和分析是确保系统高效运行和决策准确的重要环节。随着物联网设备数量的增加和数据量的爆炸式增长&#xff0c;开发者和决策者们需要选择…

【c++丨STL】vector模拟实现

&#x1f31f;&#x1f31f;作者主页&#xff1a;ephemerals__ &#x1f31f;&#x1f31f;所属专栏&#xff1a;C、STL 目录 前言 一、vector底层刨析 二、模拟实现 1. 属性、迭代器以及函数声明 2. 功能实现 交换两个容器的内容 构造函数 拷贝构造 赋值重载 析构…