矩估计与最大似然估计的通俗理解

点估计与区间估计

矩估计与最大似然估计都属于点估计,也就是估计出来的结果是一个具体的值。对比区间估计,通过样本得出的估计值是一个范围区间。例如估计馒头店每天卖出的馒头个数,点估计就是最终直接估计每天卖出10个,而区间估计是最终估计的结果是每天卖出7到12个。

矩估计

矩估计就是直接用样本替代总体,所以样本均值 x ‾ \overline{x} x等于总体均值 E ( x ) E(x) E(x),样本平方的均值 x 2 ‾ \overline{x^2} x2等于总体均值 E ( x 2 ) E(x^2) E(x2)
例如要估计馒头店每天卖出的馒头个数,我们可以记录30天卖出的馒头数量并除以30平均得到一天卖出的馒头数量并作为估计结果。所以矩估计非常简单易懂,但是受到取样和异常值的影响也比较大。

利用数学语言描述如下:
A k A_{k} Ak x x x k k k阶原点矩。
A k = 1 n ∑ i = 1 n x i k A_{k} = \dfrac{1}{n}\sum_{i=1}^{n}x_{i}^{k} Ak=n1i=1nxik

期望估计(一阶原点矩)
A 1 = E ( x ) = x ‾ A_{1} = E(x) = \overline{x} A1=E(x)=x

方差估计(二阶原点距)
A 2 = E ( x 2 ) = D ( x ) + [ E ( x ) ] 2 A_{2} = E(x^{2}) = D(x) + \left[E(x)\right]^{2} A2=E(x2)=D(x)+[E(x)]2
在实际应用中可以通过样本算出样本的一阶矩和二阶矩,从而得到方差的估计值
D ( x ) = x 2 ‾ − ( x ‾ ) 2 D(x)=\overline{x^2}-(\overline{x})^2 D(x)=x2(x)2

最大似然估计

最大似然估计认为我们既然已经抽取得到了样本结果,那么就认为这个样本结果就是所有情况、所有样本结果中出现概率最大的那一个。考虑到这个样本中每次的取样都是独立同分布的,所以将每一个取值对应的概率相乘就是这一个样本结果出现的概率(也就是似然函数),那么只要让这一个结果出现的概率(似然函数)最大就可以估算出每个值对应的概率
例如要估计馒头店每天卖出的馒头个数是否大于5,最大似然估计就是抽出10天卖出的馒头数,假设现在抽出的结果中有7天是卖出超过了5个馒头,有3天是卖出了少于5馒头,那么直觉告诉我们馒头店每天卖出的馒头个数大于5的概率很大可能为0.7,这样才最可能出现我们现在得到的抽样结果。

所以最大似然估计的一般步骤为:

  1. 写出似然函数(也就是样本结果出现的概率)。对于离散型变量是将对应概率相乘,连续型变量就是概率密度函数相乘。分别有:
    离散型:
    L ( θ ) = ∏ i = 1 n P θ ( X i = x i ) L(\theta)=\prod \limits_{i=1}^n P_\theta(X_i=x_i) L(θ)=i=1nPθ(Xi=xi)
    连续型:
    L ( θ ) = ∏ i = 1 n f ( x i ) L(\theta)=\prod \limits_{i=1}^n f(x_i) L(θ)=i=1nf(xi)
  2. 求似然函数最大时的 θ \theta θ的值。一般为了简化计算,首先对等式两边取对数,将相乘改为相加减,然后对 θ \theta θ求导,求得导数为0时 θ ^ \hat \theta θ^的取值即为最大似然估计值

最大似然估计(MLE)是用来解决“模型已定,参数未知”的问题,在一元线性回归,逻辑回归等众多模型中都会涉及到

实际应用

假设总体 X X X的概率分布为
在这里插入图片描述
其中 θ ( 0 < θ < 1 2 ) \theta(0<\theta<\frac{1}{2}) θ0<θ<21是未知参数,利用总体 X X X的如下样本值1,2,1,0,1,0,1,2,1,2,求 θ \theta θ的矩估计与最大似然估计值。

矩估计:
E ( X ) = ( θ 2 ) × 0 + 2 θ ( 1 − θ ) × 1 + ( 1 − θ ) 2 × 2 = 2 − 2 θ E(X)=(\theta^2) \times 0+2\theta(1-\theta) \times 1 +(1-\theta)^2 \times 2=2-2\theta E(X)=(θ2)×0+2θ(1θ)×1+(1θ)2×2=22θ
样本均值 X ‾ = 11 10 样本均值 \overline X=\frac{11}{10} 样本均值X=1011
根据 E ( X ) = X ‾ E(X)=\overline X E(X)=X可解得 θ ^ = 9 20 \hat \theta=\frac{9}{20} θ^=209

最大似然估计:
设似然函数为 L ( θ ) L(\theta) L(θ),根据样本有2个0值,5个1值,3个2,则有:
L ( θ ) = ( θ 2 ) 2 [ 2 θ ( 1 − θ ) ] 5 ( 1 − θ ) 6 = 2 5 θ 9 ( 1 − θ ) 11 L(\theta)=(\theta^2)^2[2\theta(1-\theta)]^5(1-\theta)^6=2^5\theta^9(1-\theta)^{11} L(θ)=(θ2)2[2θ(1θ)]5(1θ)6=25θ9(1θ)11
对式子两边取对数,有:
l n L ( θ ) = 5 l n 2 + 9 l n θ + 11 l n ( 1 − θ ) ln L(\theta)=5ln2+9ln\theta+11ln(1-\theta) lnL(θ)=5ln2+9lnθ+11ln(1θ)
θ \theta θ求导并令导数为0,有:
d [ l n L ( θ ) ] d θ = 9 θ − 11 ( 1 − θ ) = 0 \frac{d[lnL(\theta)]}{d\theta}=\frac{9}{\theta}-\frac{11}{(1-\theta)}=0 dθd[lnL(θ)]=θ9(1θ)11=0
θ ^ = 9 20 \hat \theta=\frac{9}{20} θ^=209

在本例中,矩估计和最大似然估计的值求出来时一致的,有的情况下两种办法求出来的估计值并不一致

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/387896.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习基础】机器学习的数学基础

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈Python机器学习 ⌋ ⌋ ⌋ 机器学习是一门人工智能的分支学科&#xff0c;通过算法和模型让计算机从数据中学习&#xff0c;进行模型训练和优化&#xff0c;做出预测、分类和决策支持。Python成为机器学习的首选语言&#xff0c;…

鸿蒙(HarmonyOS)DatePicker+TimePicker时间选择控件

一、操作环境 操作系统: Windows 11 专业版、IDE:DevEco Studio 3.1.1 Release、SDK:HarmonyOS 3.1.0&#xff08;API 9&#xff09; 二、效果图 可实现两种选择方式&#xff0c;可带时分选择&#xff0c;也可不带&#xff0c;使用更加方便。 三、代码 SelectedDateDialog…

2024下半年,前端的技术风口来了

“ 你近期有体验过哪些大模型产品呢&#xff1f; 你有使用大模型API做过一些实际开发吗&#xff1f; 在你日常开发中&#xff0c;可以与大模型相关应用结合来完成工作吗&#xff1f; ” **最近&#xff0c;一直在和同事聊&#xff0c;关于前端可以用大模型干点啥&#xff…

实战:安装ElasticSearch 和常用操作命令

概叙 科普文&#xff1a;深入理解ElasticSearch体系结构-CSDN博客 Elasticsearch各版本比较 ElasticSearch 单点安装 1 创建普通用户 #1 创建普通用户名&#xff0c;密码 [roothlink1 lyz]# useradd lyz [roothlink1 lyz]# passwd lyz#2 然后 关闭xshell 重新登录 ip 地址…

Nat Med·UNI:开启计算病理学新篇章的自监督基础模型|顶刊精析·24-07-31

小罗碎碎念 本期推文主题 这一期推文是病理AI基础模型UNI的详细介绍&#xff0c;原文如下。下期推文会介绍如何使用这个模型&#xff0c;为了你能看懂下期的推文&#xff0c;强烈建议你好好看看今天这期推文。 看完这篇推文以后&#xff0c;你大概就能清楚这个模型对自己的数据…

卷积神经网络(六)---实现 cifar10 分类

cifar10 数据集有60000张图片&#xff0c;每张图片的大小都是 32x32 的三通道的彩色图&#xff0c;一共是10种类别、每种类别有6000张图片&#xff0c;如图4.27所示。 图 4.27 cifar数据集 使用前面讲过的残差结构来处理 cifar10 数据集&#xff0c;可以实现比较高的准确率。 …

麦田物语第十五天

系列文章目录 麦田物语第十五天 文章目录 系列文章目录一、构建游戏的时间系统二、时间系统 UI 制作总结 一、构建游戏的时间系统 在该游戏中我们要构建年月日天时分秒等时间的概念&#xff0c;从而实现季节的更替&#xff0c;昼夜的更替等&#xff08;不同的季节可以播种不同…

【MATLAB源码】机器视觉与图像识别技术实战示例文档---鱼苗面积预测计数

系列文章目录 第一篇文章&#xff1a;【MATLAB源码】机器视觉与图像识别技术—视觉系统的构成(视频与图像格式转换代码及软件下载) 第二篇文章&#xff1a;【MATLAB源码】机器视觉与图像识别技术(2)—图像分割基础 第三篇文章&#xff1a;【MATLAB源码】机器视觉与图像识别技术…

提交高通量测序处理数据到 GEO --- 操作流程

❝ 写在前面 由于最近在提交课题数据到 NCBI 数据库&#xff0c;整理了相关笔记。本着自己学习、分享他人的态度&#xff0c;分享学习笔记&#xff0c;希望能对大家有所帮助。推荐先按顺序阅读往期内容&#xff1a; 1. 提交高通量测序数据到 GEO --- 说明书 2. 提交高通量测序原…

jQuery前端网页制作

1、Jquery的概述 1.1JavaScript库 JavaScript 高级程序设计(特别是对浏览器差异的复杂处理),通常很困难也很耗时。 为了应对这些调整,许多的 JavaScript (helper) 库应运而生。 这些 JavaScript 库常被称为 JavaScript 框架。 市面上一些广受欢迎的 JavaScript 框架:…

基于Docker搭建ELK

目录 1.系统操作 2.搭建es 3.kibana(新起终端跟es一起启动) 4.logstash&#xff08;新起终端和es一起启动&#xff09; 5.修改logstash配置文件 6. 创建索引 7. exit #退出容器 8. 在logstash节点插入数据&#xff0c;测试是否能拿取到&#xff08;下面如果本身有数据…

基于多种机器学习的豆瓣电影评分预测与多维度可视化【可加系统】

有需要本项目的代码或文档以及全部资源&#xff0c;或者部署调试可以私信博主 在本研究中&#xff0c;我们采用Python编程语言&#xff0c;利用爬虫技术实时获取豆瓣电影最新数据。通过分析豆瓣网站的结构&#xff0c;我们设计了一套有效的策略来爬取电影相关的JSON格式数据。…

[FBCTF2019]RCEService (PCRE回溯绕过和%a0换行绕过)

json格式输入ls出现index.php 这道题原本是给了源码的&#xff0c;BUUCTF没给 源码&#xff1a; <?phpputenv(PATH/home/rceservice/jail);if (isset($_REQUEST[cmd])) {$json $_REQUEST[cmd];if (!is_string($json)) {echo Hacking attempt detected<br/><br/…

ElasticSearch学习篇15_《检索技术核心20讲》进阶篇之TopK检索

背景 学习极客实践课程《检索技术核心20讲》https://time.geekbang.org/column/article/215243&#xff0c;文档形式记录笔记。 相关问题&#xff1a; ES全文检索是如何进行相关性打分的&#xff1f;ES中计算相关性得分的时机?如何加速TopK检索&#xff1f;三种思路 精准To…

eclipse ui bug

eclipse ui bug界面缺陷&#xff0c;可能项目过多&#xff0c;特别maven项目过多&#xff0c;下载&#xff0c;自动编译&#xff0c;加载更新界面异常 所有窗口死活Restore不回去了 1&#xff09;尝试创建项目&#xff0c;还原界面&#xff0c;失败 2&#xff09;关闭所有窗口&…

Python写UI自动化--playwright(pytest.ini配置)

在 pytest.ini 文件中配置 playwright 的选项可以更好地控制测试执行的过程。 在终端输入pytest --help&#xff0c;可以找到playwright的配置参数 目录 1. --browser{chromium,firefox,webkit} 2. --headed 3. --browser-channelBROWSER_CHANNEL 4. --slowmoSLOWMO 5. …

Photos框架 - 自定义媒体选择器(UI列表)

​​​​​​​Photos框架 - 自定义媒体资源选择器&#xff08;数据部分&#xff09; Photos框架 - 自定义媒体选择器&#xff08;UI列表&#xff09;​​​​​​​ Photos框架 - 自定义媒体选择器&#xff08;UI预览&#xff09; Photos框架 - 自定义媒体选择器&#xff0…

规划决策算法(四)---Frenet坐标系

知乎&#xff1a;坐标系转换 1.Frenet 坐标系 什么是 Frenet 坐标系&#xff1a; 为什么使用 Frenet 坐标系&#xff1a; 通常情况&#xff0c;我们只会关注车辆当前距离左右车道线的距离&#xff0c;来判断是否偏离车道&#xff0c;是否需要打方向盘进行方向微调。而不是基于…

【YashanDB知识库】yasdb jdbc驱动集成BeetISQL中间件,业务(java)报autoAssignKey failure异常

问题现象 BeetISQL中间件版本&#xff1a;2.13.8.RELEASE 客户在调用BeetISQL提供的api向yashandb的表中执行batch insert并将返回sequence设置到传入的java bean时&#xff0c;报如下异常&#xff1a; 问题的风险及影响 影响业务流程正常执行&#xff0c;无法获得batch ins…

matlab仿真 数字信号载波传输(下)

&#xff08;内容源自详解MATLAB&#xff0f;SIMULINK 通信系统建模与仿真 刘学勇编著第七 章内容&#xff0c;有兴趣的读者请阅读原书&#xff09; clear all M8; msg[1 4 3 0 7 5 2 6]; ts0.01; T1; %t0:ts:T; t0:ts:T-ts; %x0:ts:length(msg); x0:ts:length(msg)-ts; f…