机器学习---概述(二)

文章目录

  • 1.模型评估
      • 1.1 分类模型评估
      • 1.2 回归模型评估
  • 2. 拟合
      • 2.1 欠拟合
      • 2.2 过拟合
      • 2.3 适当拟合
      • 总结:
  • 3.深度学习
      • 3.1层次(Layers):
      • 3.2 神经元(Neurons):
      • 3.3 总结

1.模型评估

模型评估是机器学习中一个重要的步骤,它用于 确定训练好的机器学习模型的性能和准确性。 当我们训练一个机器学习模型时,我们希望它能在未见过的新数据上表现良好。

模型评估帮助我们估计模型在未知数据上的泛化能力,即它对新样本的预测能力。

1.1 分类模型评估

在这里插入图片描述
评估指标:准确率,即预测正确的数占样本总数的比例。
其他评估指标:精确率、召回率、F1-score、AUC指标等

1.2 回归模型评估

在这里插入图片描述
评估指标:均方根误差(Root Mean Squared Error,RMSE),RMSE是一个衡量回归模型误差率的常用公式。 不过,它仅能比较误差是相同单位的模型。
在这里插入图片描述

例如:
假设上面的房价预测,只有五个样本,对应的
真实值为:100,120,125,230,400
预测值为:105,119,120,230,410
那么使用均方根误差求解得:在这里插入图片描述

其他评价指标:相对平方误差(Relative Squared Error,RSE)、平均绝对误差(Mean Absolute Error,MAE)、相对绝对误差(Relative Absolute Error,RAE)

2. 拟合

在机器学习中,拟合(Fitting)是指通过构建一个模型,使其在训练数据上尽可能地拟合已知的输入与输出之间的关系。当我们说一个模型"拟合"数据时,意味着该模型能够通过学习训练数据中的模式和规律,对未见过的数据做出准确的预测。

拟合的目标是找到一个能够最好地概括数据集特征的模型,以便在新数据上表现良好。这通常涉及选择合适的模型和调整模型的参数,以使模型能够捕捉数据中的结构和趋势。拟合的程度可以通过多种指标来衡量,如均方误差(Mean Squared Error)、交叉熵(Cross Entropy)等。

模型评估用于评价训练好的的模型的表现效果,其表现效果大致可以分为两类:过拟合、欠拟合。

2.1 欠拟合

**欠拟合指模型在训练数据上表现较差,不能很好地捕捉数据中的模式和结构。**通常,欠拟合发生在模型过于简单或不够复杂,无法很好地拟合数据。这样的模型在训练数据和测试数据上都表现不佳,可能由于模型没有充分学习数据中的关键特征。
在这里插入图片描述
因为机器学习到的天鹅特征太少了,导致区分标准太粗糙,不能准确识别出天鹅。
欠拟合(under-fitting):模型学习的太过粗糙,连训练集中的样本数据特征关系都没有学出来。

2.2 过拟合

过拟合指模型在训练数据上表现非常好,但在测试数据上表现较差。这意味着模型在训练数据中学到了数据中的噪声和细微差异,导致其对未知数据的预测性能下降。过拟合通常发生在模型过于复杂或训练数据不足的情况下。
在这里插入图片描述
机器已经基本能区别天鹅和其他动物了。然后,很不巧机器已学到的天鹅图片全是白天鹅的,会认为天鹅的羽毛都是白的,以后看到羽毛是黑的天鹅就会认为那不是天鹅。
所以过拟合(over-fitting)为
所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在测试数据集中表现不佳。

2.3 适当拟合

**适当拟合指模型在训练数据上表现良好,并且在测试数据上也能够表现较好。**这样的模型能够捕捉到数据中的关键模式和趋势,能够很好地泛化到未见过的数据。

总结:

欠拟合

学习到的东西太少 模型学习的太过粗糙

过拟合

学习到的东西太多 学习到的特征多,不好泛化

3.深度学习

问题:什么是深度学习

深度学习是机器学习的一种分支,它是建立在人工神经网络(Artificial NeuralNetworks)的基础上,通过多层次的非线性变换来对数据进行建模和学习的一种算法技术。

深度学习的核心思想是模仿人脑的神经网络结构和工作原理。它由多个称为"层"的神经网络组成,每一层都包含许多神经元,这些神经元相互连接并传递信息。信息从输入层经过隐藏层,最终到达输出层,形成了一个端到端的数据处理流程。

在训练阶段,深度学习模型通过输入训练数据,并通过反向传播算法来不断调整网络的参数,以最小化预测结果与真实标签之间的误差(损失函数)。这个过程被称为"训练"模型,其目的是使得模型能够对未见过的数据进行准确预测。

深度学习在机器学习领域取得了很大的成功,尤其是在视觉、语音和自然语言处理等领域。深度学习的强大之处在于它能够自动从原始数据中学习特征表示,不需要手动提取特征。这种自动化的特征学习使得深度学习模型能够处理非常复杂的任务,如图像识别、语音识别、机器翻译等。

深度学习的发展受益于计算能力的提升和大规模数据集的可用性,特别是图形处理单元(GPU)的广泛应用和云计算技术的普及。这些技术为深度学习的训练提供了高效的计算平台,并促进了深度学习在各个领域的应用和研究。

在这里插入图片描述

深度学习演示 链接:http://playground.tensorflow.org

在这里插入图片描述

在深度学习中,网络结构由多个层次组成,每个层次包含许多神经元。这些层次是深度学习模型的核心组件,负责对输入数据进行处理和转换,最终得到输出结果。

3.1层次(Layers):

在深度学习中,层次是神经网络的基本组成单位。每个层次由若干神经元组成,并负责执行特定的数据转换操作。常见的层次类型包括:

输入层(Input Layer):接收原始输入数据,通常是特征向量或图像数据。
隐藏层(Hidden Layer):位于输入层和输出层之间的层次,用于进行非线性变换和特征提取。深度学习中的"深度"即指隐藏层的层数。
输出层(Output Layer):输出模型的预测结果,通常对于分类任务是类别的概率分布,对于回归任务是实数值。

3.2 神经元(Neurons):

神经元是构成神经网络的基本单元,也被称为"节点"或"单元"。每个神经元接收一组输入,并通过权重和偏置进行计算,然后将结果传递给下一层的神经元。神经元之间的连接权重和偏置是模型的学习参数,通过训练数据进行优化。

3.3 总结

通过层次之间的连接和神经元之间的计算,深度学习模型能够自动从数据中学习特征表示,并用于各种任务,如分类、回归、语义分割、图像生成等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/79254.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Python】Locust持续优化:InfluxDB与Grafana实现数据持久化与可视化分析

目录 前言 influxDB 安装运行InfluxDB 用Python 上报数据到influxdb ocust 数据写入到 influx Locust的生命周期 上报数据 优化升级 配置Grafana 总结 资料获取方法 前言 在进行性能测试时,我们需要对测试结果进行监控和分析,以便于及时发现问…

项目实战 — 消息队列(4){消息持久化}

目录 一、消息存储格式设计 🍅 1、queue_data.txt:保存消息的内容 🍅 2、queue_stat.txt:保存消息的统计信息 二、消息序列化 三、自定义异常类 四、创建MessageFileManger类 🍅 1、约定消息文件所在的目录和文件名…

迅为全国产龙芯3A5000电脑运行统信UOS、银河麒麟、loongnix系统

iTOP-3A5000开发板采用全国产龙芯3A5000处理器,基于龙芯自主指令系统 (LoongArch) 的LA464微结构,并进一步提升频率,降低功耗,优化性能。在与龙芯3A4000处理器保持引脚兼容的基础上,频率提升至2.5GHZ,功耗降…

谷粒商城第九天-解决商品品牌问题以及前后端使用检验框架检验参数

目录 一、总述 二、商品分类问题 三、前端检验 四、后端检验 五、总结 一、总述 在完成完商品分类的时候,后来测试的时候还是发现了一些问题,现在将其进行解决,问题如下: 1. 取消显示的时候,如果取消了显示&…

九度OJ → 题目1368:二叉树中和为某一值的路径 ← DFS

【题目来源】 由于九度OJ(http://ac.jobdu.com/)已经永久关闭,故无法在其上进行在线提交代码。 幸运的是,在AcWing上有此题目“二叉树中和为某一值的路径”,但描述有些不同。可详见:https://www.acwing.com…

redis 集群 1:李代桃僵 —— Sentinel

目前我们讲的 Redis 还只是主从方案,最终一致性。读者们可思考过,如果主节点凌晨 3 点突发宕机怎么办?就坐等运维从床上爬起来,然后手工进行从主切换,再通知所有的程序把地址统统改一遍重新上线么?毫无疑问…

绿色项目管理:为环境和效益双赢

绿色项目管理:为环境和效益双赢 在21世纪的今天,我们正面临着各种全球性的环境问题,从气候变化到资源枯竭。作为项目经理,我们有责任和机会确保我们的项目对环境的影响最小,并在可能的情况下为环境做出积极的贡献。 …

P9503 『MGOI』Simple Round I | B. 魔法照相馆

题目背景 照片留下了值得留恋的瞬间,但对于魔法士来说最重要的是向前看。——殿堂魔法士 W 题目描述 小 M 正在准备入学所必需的魔法士证件,因此他来到了纵深巷的魔法照相馆。 在等待的时候,小 M 注意到魔法照相馆有三个幕布,颜…

建筑行业是不是一个夕阳产业?一建值得考吗?

建筑行业行业是不是夕阳产业,提出这个问题的人已经了解了现在建筑行业的不景气,从3年疫情到放开疫情管控,2023年是疫情放开后最好的一年。 建筑上下游各产业链行业失业率攀升,房屋建筑土地没人卖,多修建公共建筑&…

RISC-V公测平台发布:如何在SG2042上玩转OpenMPI

About HS-2 HS-2 RISC-V通用主板是澎峰科技与合作伙伴共同研发的一款专为开发者设计的标准mATX主板,它预装了澎峰科技为RISC-V高性能服务器定制开发的软件包,包括各种标准bencmark、支持V扩展的GCC编译器、计算库、中间件以及多种典型服务器应用程序。…

音频客观感知MOS对比,对ViSQOL、PESQ、MosNet(神经网络MOS分)和polqa一致性对比和可信度验证

原创:转载需附链接: https://blog.csdn.net/qq_37100442/article/details/132057139?spm1001.2014.3001.5502 一、背景 Mos分评价音质重要指标,最近也有很多机构和公司在研究适合自己的评价体系。目前Mos分主要分为主观评测和客观感知评价。…

6.6 实现卷积神经网络LeNet训练并预测手写体数字

模型架构 代码实现 import torch from torch import nn from d2l import torch as d2lnet nn.Sequential(nn.Conv2d(1,6,kernel_size5,padding2),nn.Sigmoid(),#padding2补偿5x5卷积核导致的特征减少。nn.AvgPool2d(kernel_size2,stride2),nn.Conv2d(6,16,kernel_size5),nn.S…

黑马大数据学习笔记5-案例

目录 需求分析背景介绍目标需求数据内容DBeaver连接到Hive建库建表加载数据 ETL数据清洗数据问题需求实现查看结果扩展 指标计算需求需求指标统计 可视化展示BIFineBI的介绍及安装FineBI配置数据源及数据准备 可视化展示 P73~77 https://www.bilibili.com/video/BV1WY4y197g7?…

宋浩概率论笔记(三)随机向量/二维随机变量

第三更:本章的内容最重要的在于概念的理解与抽象,二重积分通常情况下不会考得很难。此外,本次暂且忽略【二维连续型随机变量函数的分布】这一章节,非常抽象且难度较高,之后有时间再更新。

回归决策树模拟sin函数

# -*-coding:utf-8-*- import numpy as np from sklearn import tree import matplotlib.pyplot as pltplt.switch_backend("TkAgg") # 创建了一个随机数生成器对象 rng rngnp.random.RandomState(1) print("rng",rng) #5*rng.rand(80,1)生成一个80行、1列…

恒盛策略:上交所过户费收费标准?

随着我国股市的发展,股票买卖所的过户费成为了广阔投资者关注的焦点之一。在我国股票商场中,上交所是最重要的买卖所之一,因而上交所过户费的收费规范备受到了广泛关注。那么,上交所过户费的收费规范究竟怎么拟定?对投…

【Docker】Docker私有仓库的使用

目录 一、搭建私有仓库 二、上传镜像到私有仓库 三、从私有仓库拉取镜像 一、搭建私有仓库 首先我们需要拉取仓库的镜像 docker pull registry 然后创建私有仓库容器 docker run -it --namereg -p 5000:5000 registry 这个时候我们可以打开浏览器访问5000端口看是否成功&…

python-opencv对极几何 StereoRectify

OpenCV如何正确使用stereoRectify函数 函数介绍 用于双目相机的立体校正环节中,这里只谈谈这个函数怎么使用,参数具体指哪些函数参数 随便去网上一搜或者看官方手册就能得到参数信息,但是!!相对关系非常容易出错&…

【MySQL】事务的多版本并发控制(MVCC)

目录 一、数据库并发的三种场景二、MVCC2.1 三个记录隐藏字段2.2 undo log(撤销日志)2.3 模拟MVCC2.3.1 模拟更新(update)2.3.1 模拟删除(delete)2.3.1 模拟插入(insert)2.3.1 模拟查…

maven中常见问题

文章目录 一、配置项提示二、父子打包三、打包之后不显示target四、自定义打包之后的jar包名称五、整个项目打包5.1、父项目管理插件和微服务打包 一、配置项提示 SpringBoot中提示错误信息 表示的是SpringBoot中的注释提示没有配置!那么可以来使用一下springboot官…