一、大數定律
大數定律的一般形式:
,
翻譯:當 n 趨近無窮大時,随機變量的均值會收斂至随機變量期望的均值
值得注意的是,大數定律的一般形式是一個性質,不是一個定律!上面的表述并非恒成立,而是說滿足這個條件的定律可以稱作大數定律
1.1 切比雪夫大數定律
大數定律的一般形式長得很像切比雪夫不等式,是以有了切比雪夫大數定律
随機變量
到
互相獨立且方差存在,滿足
,則
,
當 n 趨近無窮大時,右邊趨于 0,滿足大數定律
1.2 馬爾可夫條件
在切比雪夫大數定律中有獨立性假設,使得方差有界。事實上,隻要方差有界均可使用切比雪夫不等式證明大數定律
随機變量
到
方差存在,滿足
,則
到
滿足大數定律
1.3 辛欽大數定律
随機變量
到
獨立同分布且期望存在,則
到
滿足大數定律
辛欽大數定律增加了同分布的條件,但是不要求随機變量的方差存在
證明:設 X 的特征函數為
則
的特征函數為
将
在 t=0 處泰勒展開到第一項有
代入得
又
原式即為 EY 的特征函數,即證
二、中心極限定理
随機變量
到
獨立同分布,期望為
,方差為
,則
依分布收斂于标準正态分布
翻譯:隻要總體分布期望與方差存在,則樣本均值分布依分布收斂于
。或者說,樣本均值的分布不依賴于總體的分布,這為統計推斷提供了極大的友善
證明:設
的特征函數為
則
的特征函數為
将
在 t=0 處泰勒展開到第二項有
注意到,
,是以
代入得
即标準正态分布的特征函數