《统计学习方法》学习笔记4：朴素贝叶斯法

朴素贝叶斯方法是基于贝叶斯定律的方法。它做出了条件独立这个强条件假设，在损失一定分类准确性的情况下使算法可行。
推导过程使用贝叶斯定理，最终的结果为：
$y = \arg\max_{c_k} P(Y = c_k) \prod_{j} P(X^{(j)} = x^{(j)} \mid Y = c_k)$
朴素贝叶斯实际上是让后验概率最大化。这等价于期望风险最小化。
计算朴素贝叶斯参数的方法是极大似然估计。
考虑出现概率 0 的情况，这会影响极大似然估计的结果。解决这一问题的方法是采用贝叶斯估计。条件概率的贝叶斯估计是：
$P_\lambda(X^{(j)} = a_{jl} \mid Y = c_k) = \frac{\sum_{i=1}^{N} I(x_i^{(j)} = a_{jl}, y_i = c_k) + \lambda}{\sum_{i=1}^{N} I(y_i = c_k) + S_j \lambda}$
式中 $\lambda \geq 0$ 。当 $\lambda = 0$ 时就是极大似然估计。常取 $\lambda = 1$ ，这时称为拉普拉斯平滑（Laplace smoothing）。
先验概率的贝叶斯估计是：
$P_\lambda(Y = c_k) = \frac{\sum_{i=1}^{N} I(y_i = c_k) + \lambda}{N + K\lambda}$