天天看點

大數定律、中心極限定理一、大數定律二、中心極限定理

一、大數定律

大數定律的一般形式:

大數定律、中心極限定理一、大數定律二、中心極限定理

, 

大數定律、中心極限定理一、大數定律二、中心極限定理

翻譯:當 n 趨近無窮大時,随機變量的均值會收斂至随機變量期望的均值

值得注意的是,大數定律的一般形式是一個性質,不是一個定律!上面的表述并非恒成立,而是說滿足這個條件的定律可以稱作大數定律

1.1 切比雪夫大數定律

大數定律的一般形式長得很像切比雪夫不等式,是以有了切比雪夫大數定律

随機變量 

大數定律、中心極限定理一、大數定律二、中心極限定理

 到 

大數定律、中心極限定理一、大數定律二、中心極限定理

 互相獨立且方差存在,滿足 

大數定律、中心極限定理一、大數定律二、中心極限定理

,則

大數定律、中心極限定理一、大數定律二、中心極限定理

, 

大數定律、中心極限定理一、大數定律二、中心極限定理

當 n 趨近無窮大時,右邊趨于 0,滿足大數定律

1.2 馬爾可夫條件

在切比雪夫大數定律中有獨立性假設,使得方差有界。事實上,隻要方差有界均可使用切比雪夫不等式證明大數定律

随機變量 

大數定律、中心極限定理一、大數定律二、中心極限定理

 到 

大數定律、中心極限定理一、大數定律二、中心極限定理

 方差存在,滿足 

大數定律、中心極限定理一、大數定律二、中心極限定理

,則 

大數定律、中心極限定理一、大數定律二、中心極限定理

 到 

大數定律、中心極限定理一、大數定律二、中心極限定理

 滿足大數定律

1.3 辛欽大數定律

随機變量 

大數定律、中心極限定理一、大數定律二、中心極限定理

 到 

大數定律、中心極限定理一、大數定律二、中心極限定理

 獨立同分布且期望存在,則 

大數定律、中心極限定理一、大數定律二、中心極限定理

 到 

大數定律、中心極限定理一、大數定律二、中心極限定理

 滿足大數定律

辛欽大數定律增加了同分布的條件,但是不要求随機變量的方差存在

證明:設 X 的特征函數為 

大數定律、中心極限定理一、大數定律二、中心極限定理

大數定律、中心極限定理一、大數定律二、中心極限定理

的特征函數為 

大數定律、中心極限定理一、大數定律二、中心極限定理

将 

大數定律、中心極限定理一、大數定律二、中心極限定理

 在 t=0 處泰勒展開到第一項有

大數定律、中心極限定理一、大數定律二、中心極限定理

代入得

大數定律、中心極限定理一、大數定律二、中心極限定理

又 

大數定律、中心極限定理一、大數定律二、中心極限定理

原式即為 EY 的特征函數,即證

二、中心極限定理

随機變量 

大數定律、中心極限定理一、大數定律二、中心極限定理

 到 

大數定律、中心極限定理一、大數定律二、中心極限定理

 獨立同分布,期望為 

大數定律、中心極限定理一、大數定律二、中心極限定理

,方差為 

大數定律、中心極限定理一、大數定律二、中心極限定理

,則 

大數定律、中心極限定理一、大數定律二、中心極限定理

依分布收斂于标準正态分布

翻譯:隻要總體分布期望與方差存在,則樣本均值分布依分布收斂于 

大數定律、中心極限定理一、大數定律二、中心極限定理

。或者說,樣本均值的分布不依賴于總體的分布,這為統計推斷提供了極大的友善

證明:設 

大數定律、中心極限定理一、大數定律二、中心極限定理

的特征函數為 

大數定律、中心極限定理一、大數定律二、中心極限定理

大數定律、中心極限定理一、大數定律二、中心極限定理

 的特征函數為 

大數定律、中心極限定理一、大數定律二、中心極限定理

将 

大數定律、中心極限定理一、大數定律二、中心極限定理

 在 t=0 處泰勒展開到第二項有

大數定律、中心極限定理一、大數定律二、中心極限定理

注意到,

大數定律、中心極限定理一、大數定律二、中心極限定理

,是以

大數定律、中心極限定理一、大數定律二、中心極限定理
大數定律、中心極限定理一、大數定律二、中心極限定理

代入得

大數定律、中心極限定理一、大數定律二、中心極限定理
大數定律、中心極限定理一、大數定律二、中心極限定理

即标準正态分布的特征函數

繼續閱讀