高斯判别分析(GDA)公式推导

在这里插入图片描述

解:将概率分布代入对数似然函数,

l ( ψ , μ 0 , μ 1 , ∑ ) = ∑ i = 1 m l o g p X ∣ Y ( x ( i ) ∣ y ( i ) ; μ 0 , μ 1 , ∑ ) + ∑ i = 1 m l o g p Y ( y ( i ) ; ψ ) l(\psi,\mu_0,\mu_1,\sum)=\sum^m_{i=1}{log{p_{X|Y}(x^{(i)}|y^{(i)};\mu_0,\mu_1,\sum)}}+\sum^m_{i=1}log{p_Y}(y^{(i)};\psi) l(ψ,μ0,μ1,)=i=1mlogpXY(x(i)y(i);μ0,μ1,)+i=1mlogpY(y(i);ψ)

= ∑ i = 1 m ( 1 − y ( i ) ) l o g 1 ( 2 π ) n / 2 ∣ ∑ ∣ 1 / 2 e x p ( 1 2 ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) ) =\sum^m_{i=1}(1-y^{(i)}){log \frac{1}{(2\pi)^{n/2}|\sum|^{1/2}}exp(\frac{1}{2}(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0))} =i=1m(1y(i))log(2π)n/21/21exp(21(x(i)μ0)T1(x(i)μ0))

+ ∑ i = 1 m y ( i ) l o g 1 ( 2 π ) n / 2 ∣ ∑ ∣ 1 / 2 e x p ( 1 2 ( x ( i ) − μ 1 ) T ∑ − 1 ( x ( i ) − μ 1 ) ) +\sum^m_{i=1}y^{(i)}{log \frac{1}{(2\pi)^{n/2}|\sum|^{1/2}}exp(\frac{1}{2}(x^{(i)}-\mu_1)^T\sum^{-1}(x^{(i)}-\mu_1))} +i=1my(i)log(2π)n/21/21exp(21(x(i)μ1)T1(x(i)μ1))

+ ∑ i = 1 m l o g ψ y ( i ) ( 1 − ψ ) 1 − y ( i ) +\sum^m_{i=1}{log\psi^{y^{(i)}}(1-\psi)^{1-y^{(i)}}} +i=1mlogψy(i)(1ψ)1y(i)

求取 l ( ψ , μ 0 , μ 1 , ∑ ) l(\psi,\mu_0,\mu_1,\sum) l(ψ,μ0,μ1,)的最大值,令

∂ ∂ ψ l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \frac{\partial}{\partial\psi}l(\psi,\mu_0,\mu_1,\sum)=0 ψl(ψ,μ0,μ1,)=0 (1)

∇ μ 0 l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \nabla_{\mu_0}l(\psi,\mu_0,\mu_1,\sum)=0 μ0l(ψ,μ0,μ1,)=0 (2)

∇ μ 1 l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \nabla_{\mu_1}l(\psi,\mu_0,\mu_1,\sum)=0 μ1l(ψ,μ0,μ1,)=0 (3)

∇ ∑ l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \nabla_{\sum}l(\psi,\mu_0,\mu_1,\sum)=0 l(ψ,μ0,μ1,)=0 (4)

对于(1)式:

∂ ∂ ψ ∑ i = 1 m y ( i ) l o g ψ + ( 1 − y ( i ) ) l o g ( 1 − ψ ) = 0 \frac{\partial}{\partial\psi}{\sum^m_{i=1}y^{(i)}log\psi+(1-y^{(i)})log(1-\psi)}=0 ψi=1my(i)logψ+(1y(i))log(1ψ)=0

∑ i = 1 m y ( i ) ψ + 1 − y ( i ) 1 − ψ = 0 {\sum^m_{i=1}\frac{y^{(i)}}{\psi}+\frac{1-y^{(i)}}{1-\psi}}=0 i=1mψy(i)+1ψ1y(i)=0

∑ i = 1 m y ( i ) ( 1 − ψ ) + ( 1 − y ( i ) ) ψ = 0 {\sum^m_{i=1}y^{(i)}{(1-\psi)}+(1-y^{(i)}){\psi}}=0 i=1my(i)(1ψ)+(1y(i))ψ=0

∑ i = 1 m y ( i ) = m ψ {\sum^m_{i=1}y^{(i)}}=m\psi i=1my(i)=mψ

ψ = ∑ i = 1 m 1 { y ( i ) = 1 } m \psi=\frac{\sum^m_{i=1}1\{y^{(i)}=1\}}{m} ψ=mi=1m1{y(i)=1}

对于(2)式:

∇ μ 0 ∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) = 0 \nabla_{\mu_0}\sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)=0 μ0i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) = 0 \sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)=0 i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) [ ∑ − 1 ( x ( i ) − μ 0 ) d ( x ( i ) − μ 0 ) T + ( x ( i ) − μ 0 ) T ∑ − 1 d ( x ( i ) − μ 0 ) ] = 0 \sum^m_{i=1}(1-y^{(i)})[\sum^{-1}(x^{(i)}-\mu_0)d(x^{(i)}-\mu_0)^T+(x^{(i)}-\mu_0)^T\sum^{-1}d(x^{(i)}-\mu_0)]=0 i=1m(1y(i))[1(x(i)μ0)d(x(i)μ0)T+(x(i)μ0)T1d(x(i)μ0)]=0

∑ i = 1 m ( 1 − y ( i ) ) ∑ − 1 ( x ( i ) − μ 0 ) = 0 \sum^m_{i=1}(1-y^{(i)})\sum^{-1}(x^{(i)}-\mu_0)=0 i=1m(1y(i))1(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) = 0 \sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)=0 i=1m(1y(i))(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) x ( i ) = ∑ i = 1 m ( 1 − y ( i ) ) μ 0 \sum^m_{i=1}(1-y^{(i)})x^{(i)}=\sum^m_{i=1}(1-y^{(i)})\mu_0 i=1m(1y(i))x(i)=i=1m(1y(i))μ0

μ 0 = ∑ i = 1 m 1 { y ( i ) = 0 } x ( i ) / ∑ i = 1 m 1 { y ( i ) = 0 } \mu_0=\sum^m_{i=1}1\{y^{(i)}=0\}x^{(i)}/\sum^m_{i=1}1\{y^{(i)}=0\} μ0=i=1m1{y(i)=0}x(i)/i=1m1{y(i)=0}

对于(3)式,类同(2)式:

μ 0 = ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) / ∑ i = 1 m 1 { y ( i ) = 1 } \mu_0=\sum^m_{i=1}1\{y^{(i)}=1\}x^{(i)}/\sum^m_{i=1}1\{y^{(i)}=1\} μ0=i=1m1{y(i)=1}x(i)/i=1m1{y(i)=1}

对于(4)式:

∇ ∑ ( − m 2 l o g ∣ ∑ ∣ ) − 1 2 ∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) − 1 2 ∑ i = 1 m y ( i ) ( x ( i ) − μ 1 ) T ∑ − 1 ( x ( i ) − μ 1 ) = 0 \nabla_{\sum}(-\frac{m}{2}log|\sum|)-\frac{1}{2}\sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)-\frac{1}{2}\sum^m_{i=1}y^{(i)}(x^{(i)}-\mu_1)^T\sum^{-1}(x^{(i)}-\mu_1)=0 (2mlog)21i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)21i=1my(i)(x(i)μ1)T1(x(i)μ1)=0

∇ ∑ ( m l o g ∣ ∑ ∣ ) + ∇ ∑ ∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) + ∇ ∑ ∑ i = 1 m y ( i ) ( x ( i ) − μ 1 ) T ∑ − 1 ( x ( i ) − μ 1 ) = 0 \nabla_{\sum}(mlog|\sum|)+\nabla_{\sum}\sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)+\nabla_{\sum}\sum^m_{i=1}y^{(i)}(x^{(i)}-\mu_1)^T\sum^{-1}(x^{(i)}-\mu_1)=0 (mlog)+i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)+i=1my(i)(x(i)μ1)T1(x(i)μ1)=0

已知协方差矩阵 S i = 1 m ∑ i = 1 m ( x ( i ) − μ i ) ( x ( i ) − μ i ) T S_i=\frac{1}{m}\sum^m_{i=1}(x^{(i)}-\mu_i)(x^{(i)}-\mu_i)^T Si=m1i=1m(x(i)μi)(x(i)μi)T,将通过 S i S_i Si简化表达上式

∇ ∑ ∑ i = 1 m ( x ( i ) − μ i ) T ∑ − 1 ( x ( i ) − μ i ) \nabla_{\sum}\sum^m_{i=1}(x^{(i)}-\mu_i)^T\sum^{-1}(x^{(i)}-\mu_i) i=1m(x(i)μi)T1(x(i)μi)

= ∇ ∑ t r ( ∑ i = 1 m ( x ( i ) − μ i ) T ∑ − 1 ( x ( i ) − μ i ) ) =\nabla_{\sum}tr(\sum^m_{i=1}(x^{(i)}-\mu_i)^T\sum^{-1}(x^{(i)}-\mu_i)) =tr(i=1m(x(i)μi)T1(x(i)μi))

= ∇ ∑ t r ( ∑ i = 1 m ( x ( i ) − μ i ) ( x ( i ) − μ i ) T ∑ − 1 ) =\nabla_{\sum}tr(\sum^m_{i=1}(x^{(i)}-\mu_i)(x^{(i)}-\mu_i)^T\sum^{-1}) =tr(i=1m(x(i)μi)(x(i)μi)T1)

= ∇ ∑ t r ( m i S i ∑ − 1 ) =\nabla_{\sum}tr(m_iS_i\sum^{-1}) =tr(miSi1)

其中 m i = ∑ k = 1 m 1 { y ( k ) = i } m_i=\sum^m_{k=1}1\{y^{(k)}=i\} mi=k=1m1{y(k)=i}

∇ ∑ t r ( m i S i ∑ − 1 ) = − m i S i T ∑ − 2 \nabla_{\sum}tr(m_iS_i\sum^{-1})=-m_iS_i^T\sum^{-2} tr(miSi1)=miSiT2

∇ ∑ ( m l o g ∣ ∑ ∣ ) = m 1 ∣ ∑ ∣ ∣ ∑ ∣ ∑ − 1 = m ∑ − 1 \nabla_{\sum}(mlog|\sum|)=m\frac{1}{|\sum|}|\sum|\sum^{-1}=m\sum^{-1} (mlog)=m11=m1

因此,(4)式可简化为

m ∑ − 1 − ∑ i 2 m i S i T ∑ − 2 = 0 m\sum^{-1}-\sum_i^{2}m_iS_i^T\sum^{-2}=0 m1i2miSiT2=0

∑ = 1 m ∑ i 2 m i S i T \sum=\frac{1}{m}\sum_i^{2}m_iS_i^T =m1i2miSiT

∑ = 1 m ∑ i = 1 m ( x ( i ) − μ y ( i ) ) T ( x ( i ) − μ y ( i ) ) \sum=\frac{1}{m}\sum_{i=1}^{m}(x^{(i)}-\mu_{y^{(i)}})^T(x^{(i)}-\mu_{y^{(i)}}) =m1i=1m(x(i)μy(i))T(x(i)μy(i))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21885.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

算法笔记(六):差分法

(6)差分法 目录 一、差分 1、介绍 2、定义 3、差分与前缀和 二、一维差分 1、定义 2、作用 3、方法 接下来是实战演练!!! 三、二维差分 1、定义 2、作用 3、方法 接下来是实战演练!&#xf…

差分 --算法竞赛专题解析(32)

本系列文章将于2021年整理出版。前驱教材:《算法竞赛入门到进阶》 清华大学出版社 网购:京东 当当   作者签名书:点我 有建议请加QQ 群:567554289 文章目录 1. 一维差分1.1 一维差分的概念1.2 差分的局限性 2. 二维差分2.1 用差…

MiniGPT4,开源了

点击“开发者技术前线”,选择“星标” 让一部分开发者看到未来 量子位 | 公众号 QbitAI GPT-4识图功能迟迟不开放,终于有人忍不住自己动手做了一个。 MiniGPT-4来了,Demo开放在线可玩。 传一张海鲜大餐照片上去,就能直接获得菜谱。…

不愧是微软出品的工具,逆天!

上一篇:逆向了一款涉黄APP,发现了她们的小秘密... 大家好,今天分享一些微软出品的实用小工具,希望对大家有所帮助。 原文链接:https://www.pconline.com.cn/win11/1501/15013664.html 系统增强工具PowerToys 下载地址&…

人工智能AI如何工作及使用

chatgpt聊天软件是一款非常好玩的智能聊天软件,如果你觉得生活非常无趣,或者没有人能诉说烦恼,那么这款软件一定非常适合你。 小凡AI是一款专业的智能助手,可以帮助您快速、高效地处理各种工作任务。它包含强大的语音识别和自然语…

老胡的周刊(第094期)

老胡的信息周刊[1],记录这周我看到的有价值的信息,主要针对计算机领域,内容主题极大程度被我个人喜好主导。这个项目核心目的在于记录让自己有印象的信息做一个留存以及共享。 🎯 项目 qrbtf[2] 艺术二维码生成器: qrb…

两则靠谱的AI招聘信息;长文档阅读的辅助总结神器 Obsidian Copliot;LLM 应用开发全栈指南;重写人工智能时代的创业手册 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 两则靠谱的AI招聘信息:奇绩创坛 & Copilot Hub 6月14日,奇绩创坛在「奇绩大模型日报体验群」发布招聘信息…

比OpenAI更快一步,最新开源的MiniGPT-4模型可让开发者提前感受GPT-4识图能力!...

整理 | 屠敏 出品 | CSDN(ID:CSDNnews) 迄今为止,GPT-4 凭借多模态能力已经成为 AI 领域备受关注的大模型,不过值得注意的是,OpenAI 在推出 GPT-4 时虽然引入了对图像理解的能力,但并没有在除了…

谷歌Bard大升级:支持中文,识图功能上线

出品 | OSC开源社区(ID:oschina2013) 谷歌对话式 AI 产品 Bard 昨日发布了重要更新,现在已支持更多国家 / 地区和更多语言(包括中文)。 此外还添加了 Google Lens 功能 —— 可在 prompt 中使用图像,以及新…

ChatGPT类产品和技术的产生会带来哪些影响?

2023年3月15日,GPT-4的发布再次引爆互联网,原有的自然语言理解、推理和对话能力继续增强,更引入了识图等多模态识别功能,有研究认为可以将其视为“通用性人工智能”的初步阶段。在国内,百度同类产品“文心一言“的发布…

基于GPT-4的 IDEA 神仙插件,无需魔法,亲测好用!

近日,Intellij IDEA的插件商店,悄然上线了一个新的插件——Bito,据说可以基于GPT-4和ChatGPT来写代码。短短几天,已经有50多K的下载量了。 我帮大家试用了一下,亲测好用! 根据插件介绍显示,Bito…

ChatGPT大浪潮下,AIGC已经开始改造时尚行业了

编辑 | 机器之心 点击下方卡片,关注“自动驾驶之心”公众号 ADAS巨卷干货,即可获取 点击进入→自动驾驶之心【AIGC】技术交流群 AIGC 这股风,吹到了时尚行业,会带来哪些生产力革新? 上线五天,用户破百万&am…

硅谷银行一夜倒闭,海量创业公司遭殃,工资房租统统拿不出

金磊 发自 凹非寺量子位 | 公众号 QbitAI 一夜之间,硅谷银行倒闭了。 这家最受科技和生命科学初创公司青睐的金融机构,就这么被美国联邦存款保险公司(FDIC)宣判了“死刑”。 事件影响之大,CNBC甚至这样评价&#xff1a…

让我们一起来看看可爱的猫咪吧

我想喜欢小猫咪的人,一定非常可爱和温柔吧 前言 这个视频中的小猫咪贼可爱,然后下面的那给进度条是只小猫咪走来走去的。 然后我就想可以拿进度条做点事情,一开始想搜一搜借鉴一下,但是根本没有这种高度自定义的。唉 经历 互联…

编写猫咪相册应用 HTML

文章目录 1. 标题元素标签2. p元素用于在网站上创建一段文本3. 注释4. 页面主要部分标识标签5. 通过使用img元素来为你的网站添加图片6. 使用锚点元素(a)链接到另一个页面7. 使用 section 元素将照片内容与未来的内容分开8. 无序列表(ul)元素,列表项(li)元素在列表中…

ChatGPT|一文读懂GPT-4!

前言 大家好,今天早上一早醒来,发现各大科技圈公众号平台开始刷屏OpenAI发布的新模型GPT4.0,看这个版本号就已经知道又是一大波特性的更新。 于是立马起来开始学习! GPT-4 发布视频(2023.03.15) www.youtub…

李彦宏谈文心一言:市场反馈符合预期;OpenAI CEO 承认害怕 ChatGPT;Twitter 将开源推荐算法源码|极客头条

「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews) 一分钟速览新闻点&…

ChatGPT 拿测试 offer ?!

前段时间,全网都在说GPT,听说GPT能写代码、写用例、写算法、写论文、写策划方案、写日报周报新闻稿、种草笔记、视频脚本、作诗作词作曲、处理 Excel 。 心想:这也太厉害了吧!都能帮忙写代码和写用例了,我是不是要被取…

读脑术!由大脑信号构建高清视频的方法实现啦,Stable Dinfusion还能这么用

夕小瑶科技说 分享 来源 | 量子位 作者 | 金磊 现在,AI可以把人类脑中的信息,用高清视频展示出来了! 例如你坐在副驾所欣赏到的沿途美景信息,AI分分钟给重建了出来: 看到过的水中的鱼儿、草原上的马儿,也…