机器学习--朴素贝叶斯法理论知识
机器学习 | 朴素贝叶斯法理论知识
今天，我们将要开始朴素贝叶斯分类方法的学习。
贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯法是基于贝叶斯原理与特征条件独立假设的分类方法。即：加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法（Naive Bayes）。
首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。它的思想是：对于给出的待分类项，求解此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。
朴素贝叶斯算法
设元组\(X = {x_1,x_2,...,x_n}\)为一个待分类项，描述n个属性\(A_1,A_2,...A_n\)对元组的n个测量。
假定有m个类\(C_1,C_2,...,C_m\)。朴素贝叶斯分类法预测X属于类\(C_i\)，当且仅当\(P(C_i | X) \geq P(C_j | X), 1 \leq i,j \leq m,i \neq j\) 。
由于\(P(C_i | X) = \frac{P(X | C_i) P(C_i) }{P(X)}\)，而P(X)为常数，只需$P(X | C_i) P(C_i) \(最大即可，同时\)P(C_i)\(可求，即\)P(C_i) = S_i/S\(，其中\)S_i\(为样本中属于类\)C_i\(的个数，而S为样本总数，又因为特征属性是条件独立的，所以有\)P(X|C_i) = ^{n}_{k = 1}P(X_k|C_i)$。
找出使$P(X | C_i) P(C_i) \(最大的\)C_i\(，则X属于类\)C_i$。
根据以上的步骤我们来做一做例题：
给出如表所示的训练样本，目的是判定一个人是否会购买电脑。这个人的属性为X = （年龄 <= 30，收入 = 中等，学生 = 是，信用率 = 一般）。
分类过程：
首先设置类别C1：购买电脑 = “是”，类别C2：购买电脑 = “否”，所以可以求得：
P(C1 )=P(购买电脑=“是”) =9/14=0.643
P(C2 )= P(购买电脑=“否”) =5/14=0.357
然后计算每个类别的P(X | Ci)：
P(年龄=“<30”|购买电脑=“是”)=2/9=0.222
P (年龄=“<30”|购买电脑=“否” )=3/5=0.6
P (收入=“中等”|购买电脑=“是” )=4/9=0.444
P (收入=“中等”|购买电脑=“否” )=2/5=0.4
P (学生=“是”|购买电脑=“是” )=6/9=0.667
P (学生=“是”|购买电脑=“否” )=1/5=0.2
P (信用率=“一般”|购买电脑=“是” )=6/9=0.667
P (信用率=“一般”|购买电脑=“否” )=2/5=0.4
从而可以得到：
P(X|购买电脑=“是”)=0.222×0.444×0.667×0.667=0.044
P(X|购买电脑=“否”)=0.6×0.4×0.2×0.4=0.019
又已知P(Ci)：
P(C1 )=P(购买电脑=“是”) =9/14=0.643
P(C2 )= P(购买电脑=“否”) =5/14=0.357
所以最终得到两个概率：
P(X|购买电脑=“是”)×P(购买电脑=“是”)=0.028
P(X|购买电脑=“否”)×P(购买电脑=“否”)=0.007
故取较大值，X处于类别C1，所以他会购买电脑。
下周我们将具体进行代码实现，谢谢大家的观看！