朴素贝叶斯

约 439 个字 预计阅读时间 1 分钟

定义

朴素贝叶斯是基于贝叶斯定理与特征条件独立的假设的分类方法。

策略

设输入空间$\chi\subseteq R^n \(，输出空间为\)\gamma={c_1,c_2,...,c_k} $。输入为特征向量，输出为类标记。

假设\(X\)和\(Y\)独立：

先验概率分布：$P(Y=c_k),k=1,2,...,K $

条件概率分布：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},..,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K $

由此可以算出$P(X,Y) $的联合概率分布

条件概率分布有指数级参数，其估计是不可行的。所以朴素贝叶斯加了一个条件独立性假设：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},..,X^{(n)}=x^{(n)}|Y=c_k)=\Pi_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k) $，这个假设相当于假定用于分类的特征在类确定的情况下都是条件独立的。

对于输入x，用全概率公式计算出其后验概率，$P(Y=c_k,X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\Sigma_k P(X=x|Y=c_k)P(Y=c_k)}=\frac{P(Y=c_k)\Pi_jP(X^{(j)}=x^{(j)}|Y=c_k)}{\Sigma_k P(Y=c_k)\Pi_jP(X^{(j)}=x^{(j)}|Y=c_k)} $，然后我们的目标是最大化这个后验概率（x已经定了），分母对于所有类都是一样的，所以只需要最大化分子。

求解

极大似然估计

略，就是概统课程中那个算法

贝叶斯估计

用极大似然估计可能会出现要估计的值为0的情况，这会影响到后验概率的计算结果。解决这一问题的方法是贝叶斯估计，做法是在随机变量各个取值频数上增加一个$\lambda $，这样每种可能性的概率就都是非负了。