極大似然估計詳解

原文連結：極大似然估計詳解

極大似然估計

        以前多次接觸過極大似然估計，但一直都不太明白到底什麼原理，最近在看貝葉斯分類，對極大似然估計有了新的認識，總結如下：

貝葉斯決策

        首先來看貝葉斯分類，我們都知道經典的貝葉斯公式：

        其中：p(w)：為先驗機率，表示每種類别分布的機率；

：類條件機率，表示在某種類别前提下，某事發生的機率；而

為後驗機率，表示某事發生了，并且它屬于某一類别的機率，有了這個後驗機率，我們就可以對樣本進行分類。後驗機率越大，說明某事物屬于這個類别的可能性越大，我們越有理由把它歸到這個類别下。

        我們來看一個直覺的例子：已知：在夏季，某公園男性穿涼鞋的機率為1/2，女性穿涼鞋的機率為2/3，并且該公園中男女比例通常為2:1，問題：若你在公園中随機遇到一個穿涼鞋的人，請問他的性别為男性或女性的機率分别為多少？

        從問題看，就是上面講的，某事發生了，它屬于某一類别的機率是多少？即後驗機率。

        設：

        由已知可得：

        男性和女性穿涼鞋互相獨立，是以

（若隻考慮分類問題，隻需要比較後驗機率的大小，的取值并不重要）。

        由貝葉斯公式算出：

問題引出

        但是在實際問題中并不都是這樣幸運的，我們能獲得的資料可能隻有有限數目的樣本資料，而先驗機率

和類條件機率(各類的總體分布)

都是未知的。根據僅有的樣本資料進行分類時，一種可行的辦法是我們需要先對先驗機率和類條件機率進行估計，然後再套用貝葉斯分類器。

        先驗機率的估計較簡單，1、每個樣本所屬的自然狀态都是已知的（有監督學習）；2、依靠經驗；3、用訓練樣本中各類出現的頻率估計。

        類條件機率的估計（非常難），原因包括：機率密度函數包含了一個随機變量的全部資訊；樣本資料可能不多；特征向量x的次元可能很大等等。總之要直接估計類條件機率的密度函數很難。解決的辦法就是，把估計完全未知的機率密度

轉化為估計參數。這裡就将機率密度估計問題轉化為參數估計問題，極大似然估計就是一種參數估計方法。當然了，機率密度函數的選取很重要，模型正确，在樣本區域無窮時，我們會得到較準确的估計值，如果模型都錯了，那估計半天的參數，肯定也沒啥意義了。

重要前提

        上面說到，參數估計問題隻是實際問題求解過程中的一種簡化方法（由于直接估計類條件機率密度函數很困難）。是以能夠使用極大似然估計方法的樣本必須需要滿足一些前提假設。

        重要前提：訓練樣本的分布能代表樣本的真實分布。每個樣本集中的樣本都是所謂獨立同分布的随機變量 (iid條件)，且有充分的訓練樣本。

極大似然估計

        極大似然估計的原理，用一張圖檔來說明，如下圖所示：

        總結起來，最大似然估計的目的就是：利用已知的樣本結果，反推最有可能（最大機率）導緻這樣結果的參數值。

        原理：極大似然估計是建立在極大似然原理的基礎上的一個統計方法，是機率論在統計學中的應用。極大似然估計提供了一種給定觀察資料來評估模型參數的方法，即：“模型已定，參數未知”。通過若幹次試驗，觀察其結果，利用試驗結果得到某個參數值能夠使樣本出現的機率為最大，則稱為極大似然估計。

        由于樣本集中的樣本都是獨立同分布，可以隻考慮一類樣本集D，來估計參數向量θ。記已知的樣本集為：

        似然函數（linkehood function）：聯合機率密度函數

稱為相對于

的θ的似然函數。

        如果

是參數空間中能使似然函數

最大的θ值，則

應該是“最可能”的參數值，那麼

就是θ的極大似然估計量。它是樣本集的函數，記作：

求解極大似然函數

        ML估計：求使得出現該組樣本的機率最大的θ值。

         實際中為了便于分析，定義了對數似然函數：

        1. 未知參數隻有一個（θ為标量）

        在似然函數滿足連續、可微的正則條件下，極大似然估計量是下面微分方程的解：

        2.未知參數有多個（θ為向量）

        則θ可表示為具有S個分量的未知向量：

         記梯度算子：

         若似然函數滿足連續可導的條件，則最大似然估計量就是如下方程的解。

         方程的解隻是一個估計值，隻有在樣本數趨于無限多的時候，它才會接近于真實值。

極大似然估計的例子

        例1：設樣本服從正态分布

，則似然函數為：

        它的對數：

        求導，得方程組：

        聯合解得：

        似然方程有唯一解

：，而且它一定是最大值點，這是因為當

或

時，非負函數

。于是U和

的極大似然估計為

。

        例2：設樣本服從均勻分布[a, b]。則X的機率密度函數：

        對樣本

：

        很顯然，L(a,b)作為a和b的二進制函數是不連續的，這時不能用導數來求解。而必須從極大似然估計的定義出發，求L(a,b)的最大值，為使L(a,b)達到最大，b-a應該盡可能地小，但b又不能小于

，否則，L(a,b)=0。類似地a不能大過

，是以，a和b的極大似然估計：

總結

        求最大似然估計量

的一般步驟：

        （1）寫出似然函數；

        （2）對似然函數取對數，并整理；

        （3）求導數；

        （4）解似然方程。

        最大似然估計的特點：

        1.比其他估計方法更加簡單；

        2.收斂性：無偏或者漸近無偏，當樣本數目增加時，收斂性質會更好；

        3.如果假設的類條件機率模型正确，則通常能獲得較好的結果。但如果假設模型出現偏差，将導緻非常差的估計結果。

正态分布ML估計的Matlab執行個體：點選打開連結