先验概率与后验概率
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.
一、先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率,如贝叶斯公式中的,是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系,后验概率的计算要以先验概率为基础。
二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.
三、先验概率与后验概率通俗释义
事情有N种发生的可能,我们不能控制结果的发生,或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种,到底是猫,还是小老虎呢(朱道元的经典例子)?是由于我们的无知才不能确定判断。
先验概率 ( Prior probability)
先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p,在进行民意调查之前, 可以先验概率来表达这个不确定性。
后验概率 ( posterior probability)
Probability of outcomes of an experiment after it has been performed and a certain event has occured.
后验概率可以根据通过贝叶斯公式,用先验概率和似然函数计算出来。
四、一道经典概率题的终极解法——后验事实与先验概率的关系
经典题目:
有三个门,里面有一个里有汽车,如果选对了就可以得到这辆车,当应试者选定一个门之后,主持人打开了另外一个门,空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。
经典解法:
第一次选择正确的概率是1/3,因此汽车在另外两个门里的概率是2/3。主持人指出一个门,如果你开始选错了(2/3概率),则剩下的那个门里100%有汽车;如果你第一次选对(1/3)了,剩下那个门里100%没汽车。
所以主持人提示之后,你不换的话正确概率是1/3*100%+2/3*0=1/3,你换的话正确概率是1/3*0+2/3*100%=2/3。
所以主持人提示之后,你不换的话正确概率是1/3*100%+2/3*0=1/3,你换的话正确概率是1/3*0+2/3*100%=2/3。
对于这个解法的诘问就在于,现在主持人已经打开一个空门了(而且主持人是有意打开这个门的),在这一“信息” 出现后,还能说当初选错的概率是2/3吗?这一后验事实不会改变我们对于先验概率的看法吗?答案是会的。更具体地说,主持人打开一扇门后,对当初选择错误的概率估计不一定等于2/3。
从头说起。假设我选了B门,假设主持人打开了C门,那么他在什么情况下会打开C门呢?
若A有车(先验概率P=1/3),那主持人100%打开C门(他显然不会打开B);
若B有车(先验概率P=1/3),那此时主持人有A和C两个选择,假设他以K的概率打开C(一般K=1/2,但我们暂把它设成变量);
若C有车(先验概率P=1/3),那主持人打开C的概率为0(只要他不傻。。。)
若A有车(先验概率P=1/3),那主持人100%打开C门(他显然不会打开B);
若B有车(先验概率P=1/3),那此时主持人有A和C两个选择,假设他以K的概率打开C(一般K=1/2,但我们暂把它设成变量);
若C有车(先验概率P=1/3),那主持人打开C的概率为0(只要他不傻。。。)
已知他打开了C,那根据贝叶斯公式——这里P(M|N)表示N事件发生时M事件发生的概率:
P(B有车|C打开)= P(C打开|B有车)* p(B有车)/ P(C打开)
P(C打开|B有车)* p(B有车)
= P(C打开|A有车)* p(A有车)+ P(C打开|B有车)* p(B有车)
K * 1/3
= 1 * 1/3 + K * 1/3
K
= -------
K + 1
该值何时等于1/3 呢(也就是经典解法里的假设)? 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好,比方说他就是喜欢打开右边的门(假设C在右边),设K=3/4, 那么B有车的概率就变成了 3/5,不再是1/3,后验事实改变了先验概率的估计!
该值何时等于1/3 呢(也就是经典解法里的假设)? 只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好,比方说他就是喜欢打开右边的门(假设C在右边),设K=3/4, 那么B有车的概率就变成了 3/5,不再是1/3,后验事实改变了先验概率的估计!
但这并不改变正确的选择,我们仍然应该改选A门, 解释如下:
P(A有车|C打开)= P(C打开|A有车)* p(A有车)/P(C打开)
P(C打开|A有车)* p(A有车)
= ------------------------------------------------------------
P(C打开|A有车)* p(A有车)+ P(C打开|B有车)* p(B有车)
= 1 * 1/3/1 * 1/3 + K * 1/3
=1/k+1
而K < 1(假设主持人没有极端到非C不选的程度),所以永远有 P(B有车|C打开) < P( A有车|C打开).A有车的概率永远比B大,我们还是应该改变选择。
相关推荐
已知先验分布概率和条件概率,使用贝叶斯公式,求后验分布的概率
贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出... 2、利用贝叶斯公式转换成后验概率。 3、根据后验概率大小进行决策分类。
贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。也就是说,贝叶斯分类器是最小错误率意义上的优化。本...
1.贝叶斯法则 2.先验概率和后验概率 3.贝叶斯公式 4.极大后验假设 5.极大似然假设 6.举例
贝叶斯公式的直观理解就是,展示了先验概率跟后验概率之间的数学关系,那么什么是先验概率,后验概率又是什么呢?后验概率就是一个在已知结果的情况下,对这个结果的可能原因的概率推测,是一种事后的原因推测,所以...
先验概率分布(边缘概率)是指基于主观判断而非样本分布的概率分布,后验概率(条件概率)是根据样本分布和未知参数的先验概率分布求得的条件概率分布。 贝叶斯公式: P(A∩B) = P(A)*P(B|A) = P(B)*P(A|B) 变形得: ...
贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。贝叶斯分类器是最小错误率意义上的优化。在风险相同时,...
本文更好的带你深入理解 概率论中的矩,泊松分布,均值与期望,概率函数和似然函数,先验概率和后验概率,贝叶斯公式,正态分布,中心极限定理,三大分布等知识,适合考研和概率学习!!!
朴素贝叶斯课程设计报告,贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。
内积 先验概率 区间估计 KKT条件与对偶函数 各种熵之间的关系 向量正交 后验概率 泛化能力 梯度下降法 正交基 似然概率 泛化误差 一阶导数 特征值分解 最大似然估计法 欠拟合 二阶导数 奇异值分解 最大后验概率法...
用贝叶斯公式根据某特征的先验概率计算出其后验概率,然后选择具有最大后验概率的类作为该特征所属的类。之所以称之为”朴素”,是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是统计独立的。 朴素...
模型的先验可看做是一个高斯过程,模型的后验概率通过贝叶斯公式求得,使用贝叶斯模型平均对模型进行组合。在标准数据集上,实验比较了所提出的模型组合方法与交叉验证及广义近似交叉验证(GACV)方法的性能,验证所...
什么是贝叶斯分析方法? 贝叶斯分析方法(Bayesian Analysis)提供了一种计算假设概率的...其方法为,将关于未知参数的先验信息与样本信息综合,再根据贝叶斯公式,得出后验信息,然后根据后验信息去推断未知参数的方法。
贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。也就是说,贝叶斯分类器是最小错误率意义上的优化。目前...
贝叶斯公式可以把求解后验概率的问题转化为求解先验概率的问题,一般情况下后验概率问题 难以求解。例如;一封邮件是垃圾邮件的概率。通过贝叶斯公式可以把这个难解的问题转化为;计算垃圾邮件们各种特征出现的概率...
朴素贝叶斯(naive Bayes)是基于贝叶斯定理和条件独立假设的分类方法。该方法是生成方法,即通过数据学习输入/输出的联合概率...贝叶斯公式: 朴素贝叶斯法分类时,对给定的输入x,通过学习计算后验概率分布,将后验
1. 设 为试验 2. 如果 3. 全概率公式 :设试验 4. 贝叶斯定理 :设试验 1. 先验概率:根据以往经验和分析得到的概率 2. 例:假设山洞中有熊出现
从朴素贝叶斯到N-gram语言模型 文章介绍 在本文中你将会学到朴素贝叶斯是什么、朴素贝叶斯有什么应用、实际工程上的小技巧等 N-grame是什么、它比朴素贝叶斯好在哪里等 ...其中 P(Y)叫做先验概率, P(Y|X) 叫
提出以引力公式中距离变量的平方作为相似距离,应用引力模型来刻画特征与其所属类别之间的相似度,从而克服朴素贝叶斯分类算法容易受到条件独立假设的影响而将所有特征同质化的缺点,并能有效地避免噪声干扰,达到...