机器学习---最大似然估计和贝叶斯参数估计

1. 估计

贝叶斯框架下的数据收集,在以下条件下我们可以设计一个可选择的分类器 :

P(wi) (先验);P(x | wi) (类条件密度)

但是。我们很少能够完整的得到这些信息!

从一个传统的样本中设计一个分类器:

先验估计不成问题

对类条件密度的估计存在两个问题:1)样本对于类条件估计太少了;2 特征空间维数太大

了,计算复杂度太高。

如果可以将类条件密度参数化,则可以显著降低难度。

例如:P(x | wi)的正态性,P(x | wi) ~ N( mi, Si),用两个参数表示,这样就将概率密度估计问题转

化为参数估计问题。

最大似然估计 (ML) 和贝叶斯估计;结果通常很接近, 但是方法本质是不同的。

最大似然估计将参数看作是确定的量,只是其值是未知!  通过最大化所观察的样本概率得到最优的

参数—用分析方法。

贝叶斯方法把参数当成服从某种先验概率分布的随机变量,对样本进行观测的过程,就是把先验概

率密度转化成为后验概率密度,使得对于每个新样本,后验概率密度函数在待估参数的真实值附近

形成最大尖峰。在参数估计完后,两种方法都用后验概率P(wi | x)表示分类准则!

2. 最大似然估计  

最大似然估计的优点:当样本数目增加时,收敛性质会更好; 比其他可选择的技术更加简单。

2.1 基本原理

假设有c类样本,并且每个样本集的样本都是独立同分布的随机变量;P(x | wj) 形式已知但参数未

知,例如P(x | wj) ~ N( mj, Sj);记 P(x | wj) º P (x | wj, qj),其中

使用训练样本提供的信息估计θ = (θ1, θ2, …, θc), 每个 θi (i = 1, 2, …, c) 和每一类相关

假定D包括n个样本, x1, x2,…, xn,

θ的最大似然估计是通过定义最大化P(D | θ)的值θ值与实际观察中的训练样本最相符”

最优估计:令并令为梯度算子,the gradient operator

我们定义 l(θ) 为对数似然函数:l(θ) = ln P(D | θ)

新问题陈述:求解 θ 为使对数似然最大的值    

对数似然函数l(θθ)显然是依赖于样本集D, 有:

最优求解条件如下:

,来求解。

2.2 高斯情况:μ未知

P(xk | μ) ~ N(μ​​​​​​​, Σ):(样本从一组多变量正态分布中提取)

θ = μ,因此:μ的最大似然估计必须满足 

Σ并且重新排序, 我们得到:即训练样本的算术平均值!

结论:如果P(xk | wj) (j = 1, 2, …, c)被假定为维特征空间中的高斯分布;然后我们能够估计向量

 从而得到最优分类!

2.3 高斯情况:μ​​​​​​​和Σ未知

未知 μ​​​​​​​  σ对于单样本xk:θ = (θ1, θ2) = (μ, σ2)

对于全部样本,最后得到:

联合公式 (1) (2), 得到如下结果:

3. 贝叶斯估计 

在最大似然估计中 θ 被假定为固定值;在贝叶斯估计中 θ 是随机变量

3.1 类条件密度

目标: 计算 P(wi | x, D),假设样本为D贝叶斯方程可以写成

先验概率通常可以事先获得,因此

每个样本只依赖于所属的类,有:

即:只要在每类中,独立计算就可以确定x的类别。

因此,核心工作就是要估计

3.2 参数分布

假设  的形式已知, 参数θ的值未知,因此条件概率密度 的函数形式是知道的;假设参

数q是随机变量,先验概率密度函数p(θ)已知,利用贝叶斯公式可以计算后验概率密度函数p(θ|D)

希望后验概率密度函数p(θ | D) 在θ的真实值附件有非常显著的尖峰,则可以使用后验密度p(θ | D)

估计 θ ;注意到:

如果p(θ|D) 在某个值附件有非常显著的尖峰,即如果条件概率密度具有一个已知的形式,则利

用已有的训练样本,就能够通过p(θ | D) 对p(x | D) 进行估计。

 3.3 高斯过程

单变量情形的 p(μ | D)

复制密度:

其中: 

结论:

单变量情形的 p(x|D):

 多变量情形:

复制密度: 

其中:

利用:

得:

利用:,令y=x-μ​​​​​​​。

4. 贝叶斯参数估计一般理论 

p(x | D) 的计算可推广于所有能参数化未知密度的情况中,基本假设如下:

假定 p(x | θ) 的形式未知,但是q的值未知。q被假定为满足一个已知的先验密度 P(θ)。

其余的 θ 的信息包含在集合D中,其中D是由n维随机变量x1, x2, …, xn组成的集合,它们服从于概

率密度函数p(x)

基本的问题是:计算先验密度p(θ | D) ,然后 推导出 p(x | D)。

递归贝叶斯学习:

该过程称为参数估计的递归贝叶斯方法,一种增量学习方法。

唯一性问题:

p(x|θ) 是唯一的:后验概率序列 p(θ|Dn) 收敛到 delta 函数;只要训练样本足够多,则 p(x|θ) 能唯

一确定θ

在某些情况下,不同θ值会产生同一个 p(x|θ) p(θ|Dn) 将在 θ 附近产生峰值,这时不管p(x|θ)

否唯一, p(x|Dn)总会收敛到p(x) 。因此不确定性客观存在。

最大似然估计和贝叶斯参数估计的区别:

最大似然估计

贝叶斯参数估计

计算复杂度

微分

多重积分

可理解性

确定易理解

不确定不易理解

先验信息的信任程度

不准确

准确

例如 p(x|q)

与初始假设一致

与初始假设不一致

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/206750.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Rust的Vec优化

本篇是对Rust编程语言17_Rust的Vec优化[1]学习与记录 MiniVec https://crates.io/crates/minivec enum DataWithVec { // tag,uint64,8字节 I32(i32), // 4字节,但需内存对齐到8字节? F64(f64), // 8字节 Bytes(Vec<u8>), // 24字节}fn main()…

Centos Bind安装与排错

1.配置Centos系统静态IP vi/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTOstaticIPADDR192.168.1.100NETMASK255.255.255.0GATEWAY192.168.1.1DNS18.8.8.8:wqsudo systemctl restart network.service 2.安装BIND&#xff08;需要服务器连接互联网&#xff0c;如果服务…

基于springboot实现班级综合测评管理系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现班级综合测评管理系统演示 摘要 随着互联网技术的高速发展&#xff0c;人们生活的各方面都受到互联网技术的影响。现在人们可以通过互联网技术就能实现不出家门就可以通过网络进行系统管理&#xff0c;交易等&#xff0c;而且过程简单、快捷。同样的&#x…

git的创建以及使用

1、上传本地仓库 首先确定项目根目录中没有.git文件&#xff0c;有的话就删了&#xff0c;没有就下一步。在终端中输入git init命令。注意必须是根目录&#xff01; 将代码存到暂存区 将代码保存到本地仓库 2、创建git仓库 仓库名称和路径&#xff08;name&#xff09;随便写…

基于web宠颐生宠物医院系统设计与实现

基于web宠颐生医院系统开发与实现 摘要&#xff1a;时代飞速发展&#xff0c;网络也飞速发展&#xff0c;互联网许多的行业都可以用互联网实现了&#xff0c;互联网已经成为了人们生活中重要的一部分&#xff0c;或多或少的影响着我们的生活&#xff0c;互联网在给我带了方便的…

2021年8月18日 Go生态洞察:整合Go的网络体验

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

Linux环境下自动化创建大量的账号

参考《鸟哥的Linux私房菜基础篇第四版》13.7.2节微调而成&#xff1a; 下面脚本的目的是为服务器的管理员自动化创建大量的账号&#xff0c;节省生命。 #!/bin/bash # This shell script will create amount of Linux login accounts for you. # 1. check the "accounta…

RevCol实战:使用RevCol实现图像分类任务(二)

文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度&#xff0c;DP多卡&#xff0c;EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…

2023年,再不跳槽,就晚了···

以 BAT 为代表的互联网大厂&#xff0c;无论是薪资待遇、还是平台和福利&#xff0c;都一直是求职者眼中的香饽饽&#xff0c;“大厂经历” 在国内就业环境中无异于一块金子招牌。 很多想进大厂的朋友都在问&#xff0c;该怎么备战 2023年&#xff1f; 为此我专门打造了一份《…

视频监控中的智能算法与计算机视觉技术

智能视频监控是一种基于人工智能技术的监控系统&#xff0c;它能够通过对图像和视频数据进行分析&#xff0c;自动识别目标物体、判断其行为以及进行异常检测等功能&#xff0c;从而实现对场景的智能化监管。以下是常见的一些用于智能视频监控的算法&#xff1a; 1、人脸识别技…

Prometheus环境搭建和认识

Prometheus 环境搭建 1.prometheus 简介 Prometheus是基于go语言开发的一套开源的监控、报警和时间序列数据库的组合&#xff0c;是由SoundCloud公司开发的开源监控系统&#xff0c;Prometheus于2016年加入CNCF&#xff08;Cloud Native Computing Foundation,云原生计算基金…

从微软Cosmos DB浅谈一致性模型

最近回顾了微软的Cosmos DB的提供一致性级别&#xff0c;重新整理下一致性模型的相关内容。 0. Cosmos DB Cosmos DB&#xff08;Azure Cosmos DB&#xff09;是由微软推出的一个支持多模型、多 API 的全球分布式数据库服务。它旨在提供高度可扩展性、低延迟、强一致性和全球…

智能优化算法应用:基于乌鸦算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于乌鸦算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于乌鸦算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.乌鸦算法4.实验参数设定5.算法结果6.参考文献7.MATLAB…

MySQL之JDBC

&#x1f495;"我像离家的孤儿,回到了母亲的怀抱,恢复了青春。"&#x1f495; 作者&#xff1a;Mylvzi 文章主要内容&#xff1a;MySQL之JDBC 一.什么是JDBC? JDBC编程就是通过Java 代码来操纵数据库 数据库编程&#xff0c; 需要数据库服务器提供一些API供程序…

C#常见的设计模式-创建型模式

引言 在软件开发过程中&#xff0c;设计模式是一种被广泛采用的思想和实践&#xff0c;可以提供一种标准化的解决方案&#xff0c;以解决特定问题。设计模式分为三种类型&#xff1a;创建型模式、结构型模式和行为型模式。本篇文章将重点介绍C#中常见的创建型模式。 目录 引言…

JavaScript中数据类型的转换

前端面试大全JavaScript中数据类型的转换 &#x1f31f;经典真题 &#x1f31f;数据类型转换介绍 &#x1f31f;强制转换&#xff08;显式转换&#xff09; Number( ) String( ) Boolean( ) &#x1f31f;自动转换&#xff08;隐式转换&#xff09; 自动转换为布尔值 …

基于SpringBoot房产销售系统

摘 要 随着科学技术的飞速发展&#xff0c;各行各业都在努力与现代先进技术接轨&#xff0c;通过科技手段提高自身的优势&#xff1b;对于房产销售系统当然也不能排除在外&#xff0c;随着网络技术的不断成熟&#xff0c;带动了房产销售系统&#xff0c;它彻底改变了过去传统的…

Go 中切片(Slice)的长度与容量

切片长度与容量在 Go 中很常见。切片长度是切片中可用元素的数量&#xff0c;而切片容量是从切片中第一个元素开始计算的底层数组中的元素数量。 Go 中的开发者经常混淆切片长度和容量&#xff0c;或者对它们不够了解。理解这两个概念对于高效处理切片的核心操作&#xff0c;比…

Linux C/C++高级全栈开发(后端/游戏/嵌入式/高性能网络/存储/基础架构)

Linux C/C高级全栈开发是一个涉及到多个领域的综合性技术要求&#xff0c;需要对Linux系统、C/C编程语言以及各种相关的技术进行深入的理解和应用。 下面是一些涵盖的主要技术领域和技能要点&#xff1a; Linux系统基础&#xff1a;熟悉Linux操作系统的原理和常用命令&#xf…

AIGC 3D即将爆发,混合显示成为产业数字化的生产力平台

2023年&#xff0c;大语言模型与生成式AI浪潮席卷全球&#xff0c;以文字和2D图像生成为代表的AIGC正在全面刷新产业数字化。而容易为市场所忽略的是&#xff0c;3D图像生成正在成为下一个AIGC风口&#xff0c;AIGC 3D宇宙即将爆发。所谓AIGC 3D宇宙&#xff0c;即由文本生成3D…