最大似然估計(MLE)與最小二乘估計(LSE)的差別

最大似然估計與最小二乘估計的差別

标簽（空格分隔）： 機率論與數理統計

最小二乘估計

對于最小二乘估計來說，最合理的參數估計量應該使得模型能最好地拟合樣本資料，也就是估計值與觀測值之差的平方和最小。

設Q表示平方誤差， Yi 表示估計值， Ŷ i 表示觀測值，即 Q=∑ni=1(Yi−Ŷ i)2

最大似然估計

對于最大似然估計來說，最合理的參數估計量應該使得從模型中抽取該n組樣本的觀測值的機率最大，也就是機率分布函數或者似然函數最大。

顯然，最大似然估計需要已知這個機率分布函數，一般假設其滿足正态分布函數的特性，在這種情況下，最大似然估計與最小二乘估計是等價的，也就是估計的結果是相同的。

最大似然估計原理：

1. 當給定樣本 x1,x2,...,xn 時，定義似然函數為 L(θ)=f(x1,x2,...,xn;θ) ;

2. L(θ) 看做是 θ 的函數，最大似然估計就是用使 L(θ) 達到最大值的 θ̂  去估計 θ ，這時稱 θ̂  為 θ 的最大似然估計;

MLE的步驟：

1. 由總體分布導出樣本的聯合機率函數（或聯合密度）；

2. 把樣本聯合機率函數的自變量看成是已知常數，而把 θ 看做是自變量，得到似然函數 L(θ) ;

3. 求似然函數的最大值（常常取對數，然後求駐點）；

4. 用樣本值帶入得到參數的最大似然估計。

例題

設一個有偏的硬币，抛了100次，出現1次人頭，99次字。問用最大似然估計（ML）和最小均方誤差（LSE）估計出現人頭的機率哪個大？

LSE

設使用LSE估計，出現人頭的機率為 θ , 則出現字的機率為 1−θ 。

已知觀測量為：（觀測到的）出現人頭的機率為 1100 , （觀測到的）出現字的機率為 99100 ,則由最小二乘估計：

Q(θ)=argminθ∑1001(θ−θ̂ )2 =argminθ(1100−θ)2+[99100−(1−θ)]2∗99

令 ∂Q(θ)∂θ=0 ,解得 θ=1100 ;

ML

設使用ML估計，是以x服從伯努利分布， x∼B(朝上,θ) ,

則機率密度函數為：

P(x|θ)={θ,1−θ,if x 人頭朝上if x 字朝上

則連續100次試驗的似然函數為：

P(x1,x2,..x100|θ)=C1100θ1∗(1−θ)99=100∗θ1∗(1−θ)99

最大化似然函數，則 θ 至少為駐點，對似然函數取對數并求偏導：

lnP(x1,x2,..x100|θ)=ln100+lnθ+99ln(1−θ)

對 θ 求偏導為0，得到：

∂lnP(x1,x2,..x100|θ)∂θ=1θ−991−θ=0 , 解得 θ=1100.

兩者雖然得到的估計值是一樣的，但是原理完全不同，要對他們的推導過程非常清楚。