所有貝葉斯分類都是基于貝葉斯定理，樸素貝葉斯分類是貝葉斯分類中運用廣泛簡單的一種，另外，它還基于特征條件獨立假設。
貝葉斯定理是計算條件機率的公式，條件機率即是事件B發生的前提下事件A發生的機率，記作P(A|B)，叫做事件B發生的情況下A的條件機率。
公式為：P(B|A)=P(A|B)P(B)P(A)
公式大緻推導：
如圖，有P(A|B)=P(A⋂B)P(B)
同樣，也有P(B|A)=P(A⋂B)P(A)
于是，P(A|B)P(B)=P(B|A)P(A)
得到，P(B|A)=P(A|B)P(B)P(A)
另外，根據全機率公式還有P(A)=∑ni=1P(Bi)P(A|Bi)
是以公式還可以寫成：
P(B|A)=P(A|B)P(B)∑ni=1P(Bi)P(A|Bi)
樣本集(X,Y)，每個樣本x有n維特征，即x=(x1,x2,...,xn)，類标記集合y=(y1,y2,...,yn)。
此時為求最大的後驗機率，根據貝葉斯定理和全機率公式有，
P(yk|x)=P(x|yk)P(yk)∑kP(yk)P(x|yk)
對于P(x|yk)=P(x1,x2,...,xn|yk)，假如xi可取的值個數為Si個，則參數個數為k∏ni=1Si
為降低參數規模，提出特征條件獨立假設，它假設了n維特征(x1,x2,...,xn)互相獨立，于是
P(x|yk)=P(x1,x2,...,xn|yk)=∏ni=1P(xi|yk)，這時參數個數為∑ni=1Sik。
基于特征條件獨立假設，對給定的訓練樣本集來學習輸入輸出的聯合機率分布，得到一個模型，然後給定一個輸入x，利用貝葉斯定理求出後驗機率最大的輸出y。
即對于一個輸入x，根據機率角度就是求x屬于哪個類别的機率最大，也就是說P(y1|x)、P(y2|x)、…P(yk|x)中哪個後驗機率最大就屬于哪個類。
在特征條件獨立假設下，有
P(yk|x)=∏ni=1P(xi|yk)P(yk)∑kP(yk)∏ni=1P(xi|yk)
其中分母對于所有分類yk都是相同的，是以其實就是求分子最大值對應的分類。即∏ni=1P(xi|yk)P(yk)值最大對應的分類。
反應到期望風險上就是：将輸入執行個體配置設定到後驗機率最大的類中就是期望風險最小化。
對于訓練樣本，樸素貝葉斯法的學習其實就是估計先驗機率和條件機率。極大似然估計是一種參數估計的方法，根據訓練樣本推算出參數的大概值，因為在極大似然估計的思想看來，某個參數能使樣本出現的機率最大，那就把這個參數作為真實值。
由于極大似然估計可能會出現機率值為0的情況，這會影響到後驗機率的計算結果，為解決這個問題引入貝葉斯估計，即在計算先驗機率時在分子加一個λ，分母加一個λ * 類别數，而計算條件機率時在分子加一個λ，分母加一個λ * Si（其中Si為xi可取的值個數）。當λ取1時稱為拉普拉斯平滑。而當λ為0時即是極大似然估計。
待分類項x=(x1,x2,...,xn)。
類别集合y=(y1,y2,...,yn)。
分别求P(y1|x)、P(y2|x)、…P(yk|x)，取最大的值對應的分類yk。
要求3就需要訓練樣本集(X,Y)，再根據樣本集完成下面5到7的操作。
根據極大似然估計或貝葉斯估計計算先驗機率和條件機率，即P(xi|yk)和P(yk)。
由特征條件獨立假設後對應公式∏ni=1P(xi|yk)P(yk)求得最大值。
得到最大值對應的分類。
========廣告時間========
<a href="http://blog.csdn.net/wangyangzhizhou/article/details/74080321">為什麼寫《Tomcat核心設計剖析》</a>
=========================
歡迎關注：
