貝葉斯估計
貝葉斯估計：從參數的先驗知識和樣本出發。
不同于ML估計，不再把參數θ看成一個未知的确定變量，而是看成未知的随機變量，通過對第i類樣本Di的觀察，使機率密度分布P(Di|θ)轉化為後驗機率P(θ|Di)，再求貝葉斯估計。
假設：将待估計的參數看作符合某種先驗機率分布的随機變量。
基本原理：
我們期望
在真實的θ值處有一個尖峰。
貝葉斯估計的本質：貝葉斯估計的本質是通過貝葉斯決策得到參數θ的最優估計，使得總期望風險最小。
損失函數：通正常定函數是一個二次函數，即平方誤差損失函數：
可以證明，如果采用平方誤差損失函數，則θ的貝葉斯估計值
是在給定x時θ的條件期望。
同理可得，在給定樣本集D下，θ的貝葉斯估計值是：
例子：正态分布情況，參數θ僅有均值μ未知，而方差已知。給定樣本D，
，均值變量的先驗分布
。求μ的後驗機率
。