根据概率乘法公式有P(AB)=P(B|A)P(A)变形为除法形式,则有
更一般地,假设事件的集合B1,B2,…,Bn构成样本空间的一个划分,则根据全概率公式有
将式(2.14)中的B替换为Bi,则有
再代入P(A)的全概率计算公式,则有
式(2.14)、式(2.15)和式(2.16)均为贝叶斯公式,区别在于后者体现了用全概率公式计算P(A)的过程。贝叶斯公式是概率乘法公式、条件概率公式和全概率公式的直接推导结果。如果我们将事件A看作试验中的结果,将事件的集合B1,B2,…,Bn看作导致结果事件A的所有可能的原因,那么,通过贝叶斯公式我们可以知道,在结果事件A发生的条件下,是事件Bi导致该结果的可能性大小。例2.4 在例2.2的基础上,假设经过t小时后,我们抽取一个元件出来发现它是损坏的,所抽取的元件分别属于甲、乙、丙三类元件的概率是多少?解:根据例2.2全概率公式抽取出的元件损坏的概率P(A)=0.18,再应用贝叶斯公式
贝叶斯公式也体现了一种推断的思想。将式(2.14)进行变换,有
P(B)是事件B发生的概率,P(B|A)也是事件B发生的概率,两者不同的是,P(B|A)是在事件A发生的条件下事件B发生的概率,而P(B)是在事件A没发生时事件B发生的概率。我们将P(B)称为先验概率(priorprobability),将P(B|A)称为(在事件A发生后的)后验概率(posterior probability),将P(A|B)/P(A)称为似然(likelyhood)函数,将事件A称为证据,则贝叶斯公式可进一步抽象为后验概率=先验概率×似然函数 这说明,在事件A(证据)发生之前,我们对事件B有个大致的判断——先验概率P(B),当事件A发生后(有了新的证据),我们对事件B的评估进行更新,根据事件A发生的情况,得到更接近于事实的后验概率P(B|A):● 若似然函数P(A|B)/P(A)>1,则事件B发生的概率增加;● 若似然函数P(A|B)/P(A)<1,则事件B发生的概率减小;● 若似然函数P(A|B)/P(A)=1,则说明事件A的发生对事件B发生的概率没有影响。贝叶斯公式为我们对事物的认识提供了一种新的思路。我们可以根据实际掌握的先验知识(先验概率),对事物有一个初步判断,然后通过不断做试验,得到新的证据,并根据证据,计算得到后验知识(后验概率),对先验知识进行更新,如此循环往复,最终接近事物的客观事实(后验概率≈实际概率),这就是贝叶斯分析的基本思想。
例2.5 赌场问题。假设你在一个赌场,这个赌场只有两种赌博方式——双骰子赌博和轮盘赌,并且这两种赌博方式在赌场中桌数相同。现在问:若你听到庄家在大声叫数字“11”,那么此时这个庄家参与双骰子赌博的概率P(双骰子赌博|"11")是多少?对于这个例子,从贝叶斯推断的角度来看,我们需要求解的是在得到证据“庄家在大声叫数字‘11’”后的后验概率P(双骰子赌博|"11")。根据题意,证据发生前的先验概率P(双骰子赌博)=P(轮盘赌)=0.5。求解后验概率就需要求解似然函数。直接计算这个概率比较困难。但是,相反的情况——玩双骰子赌博的条件下发生11的概率比较容易计算,因此可以通过贝叶斯公式进行求解。在双骰子赌博中,赌徒针对抛两枚骰子后骰子朝上一面的数字的和下注。因此,两枚骰子总和出现11只有两种组合情况(甲骰子数字为6,乙骰子数字为5;甲骰子数字为5,乙骰子数字为6),而两个骰子的数字组合共有6×6=36种情况(每个骰子有6个面骰2在P子同这式[插图]则[插图]故×到赌,分别为数字1、2、3、4、5和6),因此,在双子赌博中你听到庄家大声叫数字“11”的概率是/36=1/18,也就是P("11"|双骰子赌)=1/18。轮盘赌中,38个数字以相同的概率出现,因此,("11"|轮盘赌)=1/38。在这个例子中,“双骰赌博”和“轮盘赌”这两种赌博方式的概率相,所以,P(双骰子赌博)=P(轮盘赌)=0.5,是我们听到“11”叫声前的先验。根据全概率公,有
似然函数
后验概率P(双骰子赌博|"11")=似然函数P(双骰子赌博)=[插图]×0.5≈0.679。即在你听庄家大声叫数字“11”时,这个庄家参与双骰子博的概率是0.679。这说明,在未得到信息(你听到庄家在大声叫数字“11”)时,庄家玩双骰子赌博的概率是P(双骰子赌博)=0.5,而得到信息后,庄家玩双骰子赌博的概率增加到了P(双骰子赌博|"11")≈0.679。
例2.6 蒙蒂大厅问题假如你是蒙蒂大厅游戏节目的一个挑战者,蒙蒂将给你展示3扇门A、B和C,这三扇门中只有一扇门后面有一辆新车,其他两扇门后面都是山羊。现在请你挑选一扇门,如果你幸运地选中了后面有车的门,那么这辆车将归你所有,否则,你将只能得到门后面的山羊。在节目中,如果你随机选择了A,蒙蒂将打开一扇后面只有山羊的门,比如C,这时蒙蒂将问你下一步你是继续选择A还是改变主意选择B,无论你的选择是什么,选中的门后面的东西都将归你所有。这时,是继续选择A还是改变主意选择B呢?大多数人都有强烈的直觉,认为这没有区别。他们的想法是,既然门后面是否有汽车这个事件与第一次选择的门这个事件相互独立(无关),那么,在蒙蒂打开门C后,改变主意选择B和继续选择A获得汽车的概率都是相同的,因为改变主意选择B既不会增加也不会减少获得汽车的概率。但是,这是错误的。事实上,如果你坚持选择门A,选中汽车的概率只有1/3;而如果换到另外一扇门,你选中汽车的机会将是2/3。我们可以直观地对这个结论进行简单推导。我们把这个游戏过程分为三个步骤:● 第一步,你第一次选择一扇门A;● 第二步,蒙蒂根据你第一步选择的结果,选择打开背后没有汽车(有山羊)的门;● 第三步,你决定是继续坚持打开第一步选择的门A,还是另换一扇门。在第一步你选择门A后,这时你有1/3的概率选中汽车。第二步中,蒙蒂打开一扇后面没有汽车的门,这时你获得了新的信息——蒙蒂打开的这扇门后面没有汽车。所以,在第三步,如果你继续选择第一次选择的门A,也就是没有采用第二步带来的信息,那么你选中汽车的概率仍然停留在1/3。与之相对,不坚持选择门A,选择另外两扇门,选中汽车的概率将是1-1/3=2/3。由于在第二步,蒙蒂打开了门C,提供了门C后面没有汽车的信息(打开一扇后面是山羊的门),所以,在第三步,我们利用第二步的信息,改变主意只能选择剩下的那扇门B,能够选中汽车的概率与选择除门A以外的两扇门选中汽车的概率一样,都是2/3。因此,在第三步,如果利用第二步蒙蒂打开门C的信息,不再坚持选择门A,而是改变主意选择门B,将会增加选中汽车的概率。对于这个结论,我们也可以用贝叶斯公式进行数学化的证明。按照前述方法,我们将整个游戏过程分为三步,其中前两步是试验情况,第一步是选择了门A,第二步是蒙蒂在确保不会打开后面有车的门的前提下,打开了门C。在第三步继续选择A还是选择换一扇门,取决于在前面两步发生事实的基础上,三扇门分别在后面有汽车的概率。因此,需要分别对三扇门后面有汽车的概率进行估计。我们采用贝叶斯公式进行概率估计,具体分为两步:1)根据现有实际情况,对这个概率做初步估计——先验概率;2)根据发生的事实(证据),运用贝叶斯公式对先验概率进行修正、更新。首先来看汽车在门A后的概率,假设汽车在门A后面表示为A=1,否则A=0,门B和门C同理。那么我们需要估计的概率就是P(A=1)。在第一步选择门A时,我们对于汽车到底在哪扇门后面没有任何信息,因此,汽车在三扇门后面的概率是相同的,即先验概率是P(A=1)=1/3,A=1这个事件称为假设,表示为H。在游戏参与者选择门A后,主持人蒙蒂打开了门C,这是由试验带来的事实,表示为D,则需要估计的后验概率就是P(A=1|D)。根据贝叶斯公式
现在需要计算P(D)和P(D|A=1)。因为P(D)的计算涉及另外两个假设B=1和C=1,所以我们用表格整理了相关概率数据,如表2.5所示。表2.5 蒙蒂大厅问题贝叶斯推断相关概率表
表2.5 蒙蒂大厅问题贝叶斯推断相关概率表
对于所有的假设A=1、B=1和C=1,因事先没有任何关于汽车在哪个门后面的假设,故所有的先验概率均为1/3。表2.5中的第2行对应于假设A=1,在此假设下,汽车在门A后面,而门B和门C后面都没有汽车,所以主持人选择打开门C的概率是1/2,即在A=1假设下发生事实D的概率P(D|H)=1/2。两列相乘有P(D|H)P(H)=1/6。表2.5中的第3行对应于假设B=1,在此假设下,汽车在门B后面,门A已被参与者选中,主持人必须打开门C,所以主持人打开门C的概率是1,即在B=1假设下发生事实D的概率P(D|H)=1。两列相乘有P(D|H)P(H)=1/3。表2.5中的第4行对应于假设C=1,在此假设下,汽车在门C后面,主持人不能打开门C,所以主持人选择打开门C的概率是0,即在C=1假设下发生事实D的概率P(D|H)=0。两列相乘有P(D|H)P(H)=0。根据全概率公式,可有P(D)=P(D|A=1)P(A=1)+P(D|B=1)P(B=1)+P(D|C=1)P(C=1)故将表2.5的第4列加和,有P(D)=1/2。现在,我们针对题目中的场景:参与者选择门A,然后主持人打开门C,门C后面是山羊而不是汽车,按照贝叶斯公式计算汽车在门A后面的概率。将表2.5中的相关概率及P(D)=1/2代入式(2.17)有
类似地,汽车在门B后面的概率为
P(C=1|D)=0,直观上解释很简单,因为发生的事实中已经体现了门C后面没有汽车。贝叶斯分析的思路是,对我们所关心的问题做假设,并根据我们现有掌握的知识,对这个假设的概率进行初步估计,得到先验概率。然后根据试验过程中发生的事实,通过贝叶斯公式,对这个先验概率进行修正、更新,得到关于假设的后验概率。如果再有试验且有新的事实出现,我们可以再次通过贝叶斯公式,将上次得到的后验概率作为本次更新计算的先验概率,进行修正、更新。如此循环往复,得到的关于假设的概率将无限逼近其真实概率。这就是贝叶斯分析的量化计算过程。
在贝叶斯分析中,也可以对事件的概率进行定性的估计.