對極大似然估計的了解

2023-08-01 16:54:15

參數估計（parameter estimation）

統計推斷的一種。根據從總體中抽取的随機樣本來估計總體分布中未知參數的過程。從估計形式看，區分為點估計與區間估計：從構造估計量的方法講，有矩法估計、最小二乘估計、似然估計、貝葉斯估計等。

利用樣本的已知資訊，反推樣本的具體環境，即反推參數值。

舉例來說，一堆離散的樣本點，需要拟合，拟合出的函數的w系數，即是反推的參數值。

這點便是機器學習方法中的精髓。

利用已知的樣本結果，反推最有可能（最大機率）導緻這樣結果的參數值。

極大似然原理最簡單的了解就是：樣本所展現的狀态便是所有可能狀态中出現機率最大的狀态。

即在樣本x條件下，對參數theta的估計

多數情況下我們是根據已知條件來推算結果，而極大似然估計是已經知道了結果，然後尋求使該結果出現的可能性最大的條件，以此作為估計值。

舉例來說，小明長得像A，長得不像B，是以我們在現有的條件下，可以推斷小明與A有血緣關系，這便是極大似然估計的一個粗暴了解。

在機器學習中，極大似然估計便是經驗風險最小化的一個例子。當模型是條件機率分布式且損失函數是對數損失函數是，經驗風險最小化就等價于極大似然估計；同樣的，極大似然估計也是邏輯回歸(logistic regression)的本質。

更多内容通路omegaxyz.com

網站所有代碼采用Apache 2.0授權

網站文章采用知識共享許可協定BY-NC-SA4.0授權