4.2 Probabilistic Generative Models
分類問題的生成模型：model p(x|ck),p(ck),再用Bayesian公式推導出p(ck|x)。對于“兩類問題”，有：
其中a的定義如下：
其中有logistic function：
對K>2類分類問題，将logistic擴充到K類，即使用softmax function來解決。softmax的預測函數如下：
即對每一個分類K都要有一個相應的預測值，分母是為了保證機率之和為1。當K=2使，可以推導出softmax即logistic。在分類之前，還要對p(x|ck)和p(ck)模組化，下面來看看當x分别為連續型變量和離散型變量時，不同的模組化方法。
4.2.1 Continuous inputs
當x是連續型變量，我們假設x|ck服從多元高斯分布，并假設不同的類有相同的協方差矩陣。即有：
再利用上一小節介紹的關于後驗機率和a的公式，可以得到：
當然這是假設K=2的情況下，且因為各個分類有相同的協方差矩陣，原本在似然函數中的x的二次項也消失了，注意到現在的決策面a仍然是x的線性函數，如果每個分類有不同的協方差矩陣的時候，那麼二次項會在a中重新出現，模型就不再是線性模型了。當K>2的時候，上述過程是一樣的。現在，在假設x|ck服從高斯分布的條件下，我們得到了後驗機率的表達式，那麼接下來的任務就是确定似然函數和先驗機率中的參數了。
4.2.2 Maximum likelihood solution
假設先驗機率p(c1)=π，我們可以得到似然函數：
分别對π，μ和協方差矩陣求偏導，得到參數的值，再反帶回後驗機率中進行接下來的預測即可。
4.2.3 Discrete features
每一個輸入向量的分量，即每一個特征，假設取值為0或1。假設不同特征之間是互相獨立的(即樸素貝葉斯假設)，假設對于每一個分類k，都有一個參數向量μK，μKi即在分類為K的條件下，第i個特征取1的機率，是以可以得到x|ck的分布：
乘以先驗之後再對整個式子取對數得到似然函數，對似然函數的參數求偏導後得出參數值，再帶回開始提到的a中，對接下來的輸入進行預測即可。
4.2.4 Exponential family
這一節主要說明了假設x|ck屬于比高斯分布更廣泛的指數族分布時的一些性質，就不具體說了。