天天看點

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

為什麼樣本方差的分母是n-1?最簡單的原因,是因為因為均值已經用了n個數的平均來做估計在求方差時,隻有(n-1)個數和均值資訊是不相關的。而你的第n個數已經可以由前(n-1)個數和均值 來唯一确定,實際上沒有資訊量。是以在計算方差時,隻除以(n-1)。

那麼更嚴格的證明呢?請耐心的看下去。

樣本方差計算公式裡分母為

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

的目的是為了讓方差的估計是無偏的。

無偏的估計(unbiased estimator)比有偏估計(biased estimator)更好是符合直覺的,盡管有的統計學家認為讓mean square error即MSE最小才更有意義,這個問題我們不在這裡探讨;不符合直覺的是,為什麼分母必須得是

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

而不是才能使得該估計無偏。

首先,我們假定随機變量的數學期望是已知的,然而方差未知。在這個條件下,根據方差的定義我們有

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

由此可得

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

是以

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

是方差的一個無偏估計,注意式中的分母不偏不倚正好是!這個結果符合直覺,并且在數學上也是顯而易見的。

現在,我們考慮随機變量

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

的數學期望是未知

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

的情形。這時,我們會傾向于無腦直接用樣本均值

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

替換掉上面式子中的

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

。這樣做有什麼後果呢?後果就是,如果直接使用

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

作為估計,那麼你會傾向于低估方差!這是因為:

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

換言之,除非正好,否則我們一定有

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

而不等式右邊的那位才是的對方差的“正确”估計!這個不等式說明了,為什麼直接使用

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

會導緻對方差的低估。

那麼,在不知道随機變量真實數學期望的前提下,如何“正确”的估計方差呢?答案是把上式中的分母n換成n-1,通過這種方法把原來的偏小的估計“放大”一點點,我們就能獲得對方差的正确估計了:

為什麼樣本方差的分母是n-1?為什麼它又叫做無偏估計?

至于為什麼分母是n-1而不是n-2或者别的什麼數,最好還是去看真正的數學證明,因為數學證明的根本目的就是告訴人們“為什麼”;暫時我沒有辦法給出更“初等”的解釋了。

更多機器學習、程式設計、AI相關知識,也歡迎關注我的公衆号“圖靈的貓”。關注公衆号,點選“學習資料”菜單,即可獲得海量機器學習、深度學習書籍等免費PDF資源~