朴素贝叶斯法(一)——贝叶斯定理

  1. 云栖社区>
  2. 博客>
  3. 正文

朴素贝叶斯法(一)——贝叶斯定理

技术mix呢 2017-11-08 16:10:00 浏览759
展开阅读全文

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian ModelNBC)。

贝叶斯定理250多年前发明的算法,在信息领域内有着无与伦比的地位。贝叶斯分类是一系列分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。朴素贝叶斯算法(Naive Bayesian) 是其中应用最为广泛的分类算法之一。

 

贝叶斯定理

描述

贝叶斯定理是关于随机事件AB条件概率的一则定理。

clip_image001

在贝叶斯定理中,每个名词都有约定俗成的名称:

按这些术语,Bayes定理可表述为:

后验概率 = (相似度*先验概率) / 标准化常量

P(B|A)称为“可能性函数,这是个调整因子,使得预估计概率更接近真实概率。

所以,条件概率可以理解为式子:

       后验概率 = 先验概率 调整因子

这就是贝叶斯推断的含义:我们先预测一个先验概率,然后加入实验结果,看这个实验到底是增强还是削弱了先验概率,由此得到更加真实的后验概率

在这里,如果可能性函数”P(B|A)>1,意味着先验概率被增强,事件A发生的可能性增大;如果可能性函数”P(B|A)=1,意味着事件B无助于判断事件A的可能性;如果可能性函数”P(B|A)<1,意味着先验概率被减弱,事件A发生的可能性变小。

推导

根据条件概率的定义。在事件B发生的条件下事件A发生的概率是

clip_image002

同样地,在事件A发生的条件下事件B发生的概率

clip_image003

整理与合并这两个方程式,我们可以找到

clip_image004

这个引理有时称作概率乘法规则。上式两边同除以P(B),若P(B)是非零的,我们可以得到贝叶斯定理:

clip_image005

贝叶斯定理通常可以再写成下面的形式:

clip_image006

其中ACA补集。故上式亦可写成:

clip_image007

在更一般化的情况,假设{Ai}是事件集合里的部分集合,对于任意的Ai,贝叶斯定理可用下式表示:

clip_image008

案例

clip_image009clip_image010clip_image011clip_image012clip_image013clip_image014                   30                                                                                                                                               20     

clip_image015clip_image016                   10                                                                                                                                               20

                                                                                                                                                       

 

暗箱操作,现在从其中一个箱子中得到一个绿球,问是从黑箱中取得的概率是?

分析:假定“从黑箱中取球为事件A,“从红箱中取球为事件B,“取到绿球为事件M.

则问题为求P(A|M)

由贝叶斯定理得:P(A|M) = P(A) * P(M|A) / P(M)

= P(A) * P(M|A) /[ P(M|A)*P(A) + P(M|B) *P(B)]

其中,P(A)=P(B) = 1/2, P(M|A) = 3/4, P(M|B) = 1/2

结果为0.6,表明,来自黑箱的概率为0.6。也就是得到绿球后,事件A(取自于黑箱)的可能性增强了。

 




本文转自jihite博客园博客,原文链接:http://www.cnblogs.com/kaituorensheng/p/3372145.html,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
技术mix呢
+ 关注