模式識别（Pattern Recognition）學習筆記（五）——機率密度函數（pdf）的參數估計

       回顧下貝葉斯決策，它的終極目标是要擷取後驗機率，而後驗機率又可以由先驗機率和類條件機率密度兩個量估計得到。先驗機率的估計相對來說比較簡單，一般有兩種方法，其一可以用訓練資料中各類出現的頻率來估計得到；其二可以依靠經驗，不管哪種方法都不會很難，而對于類條件機率密度來說，估計往往會難得多，是以對于它的估計會是貝葉斯決策的重點。

       有關機率密度函數的估計，統計類的書籍（像機率論與機率統計）中介紹的比較全面，這裡隻做簡要的回顧和溫習。另外除了特别說明，我們均假定所有樣本都是來自同一類别，即利用同一類的樣本來估計本類的類條件機率密度（以下簡稱PDF）。

        PDF的估計方法主要有兩大類，參數估計和非參數估計；前者，PDF形式确定，部分或全部參數不确定，是以要利用樣本來估計這些未知參數，主要方法有大家都知道的最大似然估計和貝葉斯估計；後者，不僅參數未知，就連PDF的形式也不知道，換句話說，就是目前我們知道的幾種分布模型，高斯分布啊，瑞利分布啊神馬的，它都不服從，這個情形下，我們就不能單單估計出參數了，而是要首要估計出PDF的數值化模型，這是後面學習的重點，會放在下篇部落格學習。

        首先，回想下以前大學學機率論時老師講的參數估計，神馬點估計啊，區間估計啊，對比下我們的問題，顯然應該用點估計，對不對，上面也說了大家最熟悉的最大似然估計和貝葉斯估計了。

        最大似然估計：在參數空間中找到一個能夠使得似然函數l(theta)極大化的theta值，把它當做最大似然估計量，其中，最大化的方法當然是求偏導；

       貝葉斯估計：盡管很多實際情況下它與最大似然估計相同，但是他們處理問題的view是不同的；根本差別就是，前者将待估計的參數當做一個确定量，而後者卻把它當做一個随機量。這裡提一下貝葉斯學習（Bayesian Learning）這個概念，意思就是利用貝葉斯估計對PDF直接進行疊代估計的一種學習政策。回到貝葉斯估計上來，為什麼要叫他貝葉斯估計，它跟貝葉斯決策又有什麼差別和聯系，哈哈，聯系當然很大，其實在貝葉斯估計中，我們是把對參數的估計當做是一個貝葉斯決策的，不同的隻是這裡決策的不是離散的類别，而是參數的value，并且是在一個連續的參數空間裡做決策。

  （注意：貝葉斯估計中，我們本來的目的并不是估計PDF的參數，而是估計機率密度函數p(x|theta)本身，當隻有在問題的PDF形式已知時，才轉化為估計參數。另外在估計參數時，與最大似然估計不同，并非直接把似然函數最大或者是後驗機率最大的值拿來當做對樣本PDF參數的估計，而是根據把所有可能的參數值都考慮進來，用他們的似然函數作為權重來平均出一個對參數的估計值。）

       非參數估計，是模式識别中比較重要的知識點，它是一種model-free的估計方法，簡單好用，并且适合高維估計，這篇部落格不準備複習它，留在下一篇吧，給自己留點動力。。