極大似然估計與貝葉斯估計

貝葉斯估計與極大似然估計在思想上有很大的不同，代表着統計學中貝葉斯學派和頻率學派對統計的不同認識。

極大似然估計是頻率學派觀點，它的觀點可以這樣了解：待估計參數 θ \theta θ是客觀存在的，隻是未知而已，已知觀測樣本 D D D，求得 θ ^ \hat{\theta} θ^，使得在 θ = θ ^ \theta = \hat{\theta} θ=θ^ 時，産生觀測樣本資料 D D D 的可能性最大，我們就說 θ ^ \hat{\theta} θ^ 是 θ \theta θ 的極大似然估計。

θ ^ = a r g   max ⁡ θ   P ( D ∣ θ ) \hat{\theta} = arg\ {\underset {\theta}{\operatorname {max} }}\ P(D|\theta) θ^=arg θmax​ P(D∣θ)

貝葉斯估計是貝葉斯學派觀點，它的觀點可以這樣了解：待估計參數 θ \theta θ 也是随機變量，是以隻能根據觀測樣本估計參數 θ \theta θ 的分布。

P ^ ( θ ∣ D ) = P ( θ ) P ( D ∣ θ ) P ( D ) = P ( θ ) P ( D ∣ θ ) ∑ j = 1 n P ( θ j ) P ( D ∣ θ j ) \begin{aligned} \hat{P}(\theta|D)&=\frac{P(\theta)P(D|\theta)}{P(D)} \\ &= \frac{P(\theta)P(D|\theta)}{\sum^n_{j=1}P(\theta_j)P(D|\theta_j)} \end{aligned} P^(θ∣D)​=P(D)P(θ)P(D∣θ)​=∑j=1n​P(θj​)P(D∣θj​)P(θ)P(D∣θ)​​

其中， P ( θ ) P(\theta) P(θ) 是 θ \theta θ 的先驗分布。由于後驗分布是一個條件分布，通常我們取後驗分布的期望作為參數的估計值。

是以，極大似然估計是在觀測樣本資料 D D D 後，求出 θ \theta θ 最有可能的值(即在這個值下，觀測到 D D D的可能性最大)；而貝葉斯估計則是在假定 θ \theta θ服從 P ( θ ) P(\theta) P(θ)的先驗分布下(對于極大似然估計來說，預設 θ \theta θ是均勻分布的)，通過觀測樣本資料 D D D, 求出 θ \theta θ 的後驗分布。

其實，可以簡單地把兩者聯系起來，假設先驗分布是均勻分布，取後驗機率最大，就能從貝葉斯估計得到極大似然估計。