【小白学机器学习8】统计里的自由度DF=degree of freedom, 以及关于df=n-k, df=n-k-1, df=n-1 等自由度公式

目录

1 自由度 /degree of freedom / df

1.1 物理学的自由度

1.2 数学里的自由度

1.2.1 数学里的自由度

1.2.2 用线性代数来理解自由度(需要补充)

1.2.3 统计里的自由度

1.3 统计学里自由度的定义

2 不同对象的自由度

2.1 纯公式的自由度:纯公式,没采样无样本时

2.2 抽样分析时:纯样本的自由度

2.3 公式里某个特定变量的自由度

3 自由度的公式

3.1 自由度的基础公式 df=n-k

3.2 ESS 残差平方和的误差 df=n-k-1

3.3  回归方程的自由度,  df=n-k-1=n-1

3.3.1 一元线性回归

3.3.2 多元线性回归

4 参考

5 其他(未完成)


1 自由度 /degree of freedom / df

1.1 物理学的自由度

理论力学:(下面这段摘自网上)

  • 确定物体的位置所需要的独立坐标数称作物体的自由度,当物体受到某些限制时——自由度减少。
  • 一个质点在空间自由运动,它的位置由三个独立坐标就可以确定,所以质点的运动有三个自由度。
  • 假如将质点限制在一个平面或一个曲面上运动,它有两个自由度。
  • 假如将质点限制在一条直线或一条曲线上运动,它只有一个自由度。
  • 刚体在空间的运动既有平动也有转动,其自由度有六个,即三个平动自由度x、y、z和三个转动自由度a、b、q。如果刚体运动存在某些限制条件,自由度会相应减少。

1.2 数学里的自由度

1.2.1 数学里的自由度

  • 数学上,自由度是一个随机向量的维度数
  • 也就是一个向量能被完整描述所需的最少单位向量数

1.2.2 用线性代数来理解自由度需要补充

  • 从线性代数的角度理解
  • 自由度就是向量/矩阵/张量的维度,秩。最少需要用几个维度来现实就是自由度.

1.2.3 统计里的自由度

  • 样本容量越大,自由度就越高,就越趋近于正态分布,实验就更加合理
  • 下图时转载的,文章链接附在最后

1.3 统计学里自由度的定义

自由度通常用于抽样分布中。

统计学中:在统计模型中,自由度指样本中可以自由变动的独立不相关的变量的个数,当有约束条件时,自由度减少。

  • 样本中独立或能自由变化的数据的个数,称为该统计量的自由度。
  • 自由度指的是计算某一统计量时,取值不受限制的变量个数。

2 不同对象的自由度

  • 通用的自由度公式,都是n-k。但是不同对象下的DF的意义不同
    • 如果讲的是公式的自由度,是自变量的个数  df=n
    • 如果讲的是样本的自由度,是样本的数量减去约束条件个数,df=n-k
    • 如果讲的是某个公式里某个特定变量的自由度,是样本的数量减去约束条件个数,df=n-k

2.1 纯公式的自由度:纯公式,没采样无样本时

  • 抽象的公式的自由度:不受约束自变量的个数
  • 不受约束的自变量个数就是公式的自由度。

举例:

  • 一元线性回归:y=ax+b
    • x是自变量,自由度1
    • y是因变量,没有自由度
    • 总自由度1
  • 多元线性回归:y=a1X1+a2X2+......anXn
    • x是自变量,自由度n
    • y是因变量,没有自由度
    • 总自由度n

2.2 抽样分析时:纯样本的自由度

  • 样本的自由度=n-k
  • 样本数量n
  • 关于样本的约束条件k,比如用到了样本的均值,就少1个自由度

举例

  • a+b=1,其中a,b都是变量,那么总自由度为1,因为若a为变量,b会受到1-a的约束,所以不自由。自由度=2个自变量-1被限制的自变量=1
  • 总体平均数,u=average(x)。因为总体内,每个样本都是独立的,所以自由度就是总体的容量n
  • 样本平均数,average(xi) ,假设有10个样本,平均数=1,那只有前9个数可以自由取值,第10个数,一定得受到平均值得约束,因此自由度=n-1=10-1=9
  •  总体方差,公式为
  • 样本方差,公式为,因为本身是一个样本的约束,所以自由度=n-1

2.3 公式里某个特定变量的自由度

  • 如果讲的是公式里某个特定变量的自由度,是样本的数量减去约束条件个数,df=n-k
  • 通用的公式都是这个,df=n-k
  • 但是还可以细分,下面详细展开

3 自由度的公式

3.1 自由度的基础公式 df=n-k

自由度计算公式:自由度=样本个数-样本数据受约束条件的个数,即df = n - k(df自由度,n样本个数,k约束条件个数)

  • df=n-k。
  • 自由度df:
    • 不受限制的变量个数 
    • 不受限制的样本个数
  • n:
    • 自变量个数 
    • 样本数量
  • k:
    • 被限制的条件数或变量个数
    • 或计算某一统计量时用到其它独立统计量的个数。
    • 这些变量之间的有公式关系等形成的约束个数(应该要减掉一些线性相关的约束)

3.2 ESS 残差平方和的误差 df=n-k-1 (比n-k多出的-1是指那个截距参数)

  • 需要考虑2方面
  • 模型中自变量的个数,+自由度
  • 模型中有几个未知数就要消耗几个自由度,-自由度

举例

  • 观测值y
  • 预测值y^
  • 一元线性回归模型 y=b0+b1X+ε,因为每个y^都是用这个模型估算出来的
  • y^-y的误差就是残差,也就是ε
  • b0 常数,截距
  • b1 自变量x的参数,未知,需要求
  • ε   残差,残差的均值=0

  • 另外,我们心中有一个理想模型y=b0+b1X (虽然不一定存在,不能能找到),但是我们相信我们的观测值符合一个这样的理想直线模型(否则我们也不会用线性回归,而是用曲线或者其他了^ ^)
  • y^观测值,记录下来
  • 理想模型的y观测值:y=b0+b1X 
  • ESS=Σ(y^-y)**2 =Σ(y^-b0+b1X)**2

  • 残差平方和  ESS 的自由度 
  • 残差平方和  ESS=Σ(y^-y)**2,因为因为每个y^=b0+b1X,包含2个参数b0,b1 因此需要确定这2个参数,就需要2个约束才能算出来
  • 为什么2个参数需要2个约束:因为解方程的需要,而且这2个约束还不能是线性相关的才行。因此有几个未知参数就消耗几个自由度
  • 所以:
    • 一元线性回归的ESS的自由度df = n-k-1=n-1-1=n-2
    • 多元线性回归的ESS的自由度 df =n-k-1
    • 其中k 是变量个数,1是截距常量个数。

3.3  回归方程的自由度,  df=n-k-1=n-1

3.3.1 一元线性回归

  • 回归方程 y=b0+b1X
  • 其中自变量X,只有1个,自由度+1
  • 而参数是2个,也就是2个未知数,b0 和b1,自由度-2
  • 如果有n个样本
  • 那么回归方程的自由度= n-2+1=n-1

3.3.2 多元线性回归

  • 回归方程 y=b0+b1X+b2X+....+bkX,
  • 其中自变量X,有k个自变量,自由度+k
  • 而参数是k+1个,所有x的参数,还一个一个截距。这些都是未知数。
  • 如果有n个样本
  • 那么回归方程的自由度= n+k-(k+1)=n-1


4 参考

【弱鸡版】什么回归中自由度(degrees of freedom),就是这么简单! - 知乎自由度是什么?我们先来百度一下: “自由度(degree of freedom, df)指的是计算某一统计量时,取值不受限制的变量个数。通常df=n-k。 其中n为样本数量,k为被限制的条件数或变量个数,或计算某一统计量时用到其它…icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/607458488

一元线性回归模型中残差平方和的自由度为什么是n-2 - 爱问频道 - 经管之家(原人大经济论坛)一元线性回归模型中残差平方和的自由度为什么是n-2,一元线性回归模型中残差平方和的自由度为什么是n-2?,经管之家(原人大经济论坛)icon-default.png?t=N7T8https://bbs.pinggu.org/thread-640905-1-1.html

下面这个解释了多种DF的定义,可惜我还没仔细看~~ 

统计学“自由度”详解 - 知乎本文皆为个人看法,才疏学浅,如果有不妥不准确的对方,还请指正。有些数学推导可能显得不严谨,主要是为了数学基础薄弱的同学能看懂。 “自由度”是统计学中一个很不好懂的概念,因为它的定义有好几个,而每个定…icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/81099139

5 其他(未完成)

当想知道适不适合用回归分析时,最简单的方法是做散点图,对于方差分析则做箱线图或是条形图。

均方差:标准差SD

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/276904.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

idea:忽略不要搜索unpackage文件夹

开发vue时搜索关键字,会搜索到编译后的文件,如unpackage。(注意这个是idea工具,和Git忽略是有区别的) File->Settings->Editor->File Types

【C++ 设计模式】策略模式与简单工厂模式的结合

文章目录 前言一、为什么需要策略模式简单工厂模式二、策略模式简单工厂模式实现原理三、UML图四、示例代码总结 前言 在软件设计中,常常会遇到需要根据不同情况选择不同算法或行为的情况。策略模式和简单工厂模式是两种常见的设计模式,它们分别解决了对…

.Net Core 中间件验签

文章目录 为什么是用中间件而不是筛选器?代码实现技术要点context.Request.EnableBuffering()指针问题 小结 为什么是用中间件而不是筛选器? 为什么要用中间件验签,而不是筛选器去验签? 1、根据上图我们可以看到,中间件在筛选器之…

专业无网设备如何远程运维?向日葵远程控制能源场景案例解析

清洁能源领域,拥有庞大的上下游产业链,涉及的相关工业设备门类多、技术覆盖全、行业应用广。在这一领域内,相关专业设备的供应商的核心竞争力除了本身产品的技术能力之外,服务也是重要的一环。 某企业作为致力于节能环保方向的气…

spy分析文件另存为弹框【selenium】

有时需要下载多个文件,但是不想保存在同一个目录下,需要做两步 selenium设置浏览器默认下载路径,这个路径需要是个不存在的路径操作文件另存为弹框 文章目录 selenium设置浏览器默认下载路径操作文件另存为弹框 selenium设置浏览器默认下载路…

使用docker-compose管理freeswitch容器

概述 之前的文章我们介绍过如何将freeswitch做成docker镜像,也使用命令行模式正常启动了fs的docker容器。 但是当我们需要同时管理多个docker容器的时候,还是使用docker-compose更简单。 环境 CENTOS 7 docker engine:Version 25.0.3 D…

【快捷部署】002_Flink(1.17.2)

📣【快捷部署系列】002期信息 编号选型版本操作系统部署形式部署模式002Flink1.17.2CentOS 7.Xtgz包单机 👉 演示视频 Flink一键安装(本地模式) install-flink.sh 脚本内容 #!/bin/bash ####变量 ###执行脚本的当前目录 mydir$…

使用IDEA2023创建传统的JavaWeb项目并运行与调试

日期:2024-0312 作者:dusuanyun 文档环境说明: OS:Deepin 20.9(Linux) JDK: OpenJDK21 Tomcat:10.1.19 IDEA: 2023.3.4 (Ultimate Edition) 本文档默认已经安装JDK及环境变量的配置。 关键词…

景联文科技:提供通用多模态数据,助力AI多模态领域实现飞跃式发展

回顾2023年,以ChatGPT为代表的通用人工智能大模型在全球范围内掀起了新一轮人工智能产业发展浪潮,我国人工智能大模型市场呈现百“模”争鸣、日新月异的迅猛发展态势。 根据大模型之家、钛媒体数据,2023年中国大模型市场规模达到147亿人民币&…

几何造型库 - osgModeling

基于osg的几何造型库(osgModeling-0.1.1)的编译成果和示例: basic: boolean: bsp-tree:

bash: mysqldump: command not found

问题:在linux上执行mysql备份的时候,出现此异常 mysqldump命令找不到 解决: 1、找到mysql目录(找到mysql可执行命令目录) which mysql 有图可知,mysql安装在: /usr1/local/java/mysql 2、my…

Seata 2.x 系列【11】多数据源分布式事务

有道无术,术尚可求,有术无道,止于术。 本系列Seata 版本 2.0.0 本系列Spring Boot 版本 3.2.0 本系列Spring Cloud 版本 2023.0.0 源码地址:https://gitee.com/pearl-organization/study-seata-demo 文章目录 1. 概述2. 多数据…

linux下重启ORACLE

切换到oracle用户 su - oracle 登录oracle sqlplus / as sysdba 启动数据库 startup 退出数据库 exit 启动监听 lsnrctl start FINISH

老电脑装什么系统流畅

对于一些老旧电脑来说,重装系统是提升电脑性能的最佳选择。那么,老电脑装什么系统流畅呢?推荐Windows 7系统,它对硬件的需求相对较低。配置较低的电脑运行Windows 7可以更好地利用系统资源,提高电脑的运行速度和响应能…

57、服务攻防——应用协议RsyncSSHRDP漏洞批扫口令猜解

文章目录 口令猜解——Hydra-FTP&RDP&SSH配置不当——未授权访问—Rsync文件备份协议漏洞——应用软件-FTP&Proftpd搭建 口令猜解——Hydra-FTP&RDP&SSH FTP:文本传输协议,端口21;RDP:windows上远程终端协议…

WRF模型运行教程(ububtu系统)--III.运行WRF模型(官网案例)

零、创建DATA目录 # 1.创建一个DATA目录用于存放数据(一般为fnl数据,放在Build_WRF目录下)。 mkdir DATA # 2.进入 DATA cd DATA 一、WPS预处理 在模拟之前先确定模拟域(即模拟范围),并进行数据预处理&#xff08…

【计算机网络】UDP/TCP 协议

TCP 协议 一、传输层1. 再谈端口号2. 端口号范围划分3. 进程和端口号4. netstat5. pidof 二、UDP 协议1. UDP 协议端格式(报文)2. UDP 的特点3. 面向数据报4. UDP 的缓冲区 三、TCP 协议1. 认识 TCP2. TCP 协议段格式(1)4 位首部长度(2&#…

论文阅读:Editing Large Language Models: Problems, Methods, and Opportunities

Editing Large Language Models: Problems, Methods, and Opportunities 论文链接 代码链接 摘要 由于大语言模型(LLM)中可能存在一些过时的、不适当的和错误的信息,所以有必要纠正模型中的相关信息。如何高效地修改模型中的相关信息而不影…

MySQL--深入理解MVCC机制原理

什么是MVCC? MVCC全称 Multi-Version Concurrency Control,即多版本并发控制,维持一个数据的多个版本,主要是为了提升数据库的并发访问性能,用更高性能的方式去处理数据库读写冲突问题,实现无锁并发。 什…

Mac上使用M1或M2芯片的设备安装Node.js时遇到一些问题,比如卡顿或性能问题

对于Mac上使用M1或M2芯片的设备可能会遇到在安装Node.js时遇到一些问题,比如卡顿或性能问题。这可能是因为某些软件包或工具在M1或M2芯片上的兼容性不佳。为了解决这个问题,您可以尝试以下方法: 1. 使用Rosetta模式 对于一些尚未适配M1或M2…