機器學習——第三章筆記

貝葉斯決策與學習

貝葉斯決策與MAP分類器

• 後驗機率：

  

• 貝葉斯規則：

  

• MAP分類器：

  

MAP分類器：高斯觀測機率

• 觀測機率：單維高斯分布

  

• 決策邊界：

  

決策風險與貝葉斯分類器

• 決策風險和損失的概念

  

  

• 風險評估

  

貝葉斯分類器

在MAP分類器的基礎上，加入決策風險因素。

• 樸素貝葉斯分類器

  

最大似然估計

定義

• 目标函數

  

• 均值

  

• 協方差

  

最大似然的估計偏差

• 高斯分布均值的最大似然估計是無偏估計，協方差的最大似然估計是有偏估計。

貝葉斯估計

概念

KNN估計