統計-大數定律及中心極限定理

第五章 大數定律及中心極限定理

切比雪夫不等式

定理

設随機變量X的數學期望E(X)和方差D(X)都存在，則對任意 ε >0,都有

P{|X-E(X)|≥ ε }≤ D(X)ε2 ( ∀ε >0)

P{|X- μ |≥ ε }≤ σ2ε2

{|X- μ |≥ ε }的對立事件是{|X- μ |< ε }

另一個形式

P{|X- μ |< ε }≥ 1−σ2ε2

意義

在随機變量X的分布位置，而隻知道X的均值和方差（或已知分布但很複雜）的情況下，切比雪夫不等式給出了機率P{|X-E(X)|≥ ε }的一個估計範圍

1.對給定的 ε >0，估計|X-E(X)|≥ ε 的機率

2.對給定的機率p，确定所需的區間長度，即确定滿足不等式

P{|X-E(X)|≥ ε }≥p的 ε

例子

設某電網有1000盞燈，夜裡每盞燈開燈的機率都是0.7.假設電燈開關時間彼此獨立，試估計夜晚同時開着的燈數在6800與7200之間的機率

X表示在夜晚開着電燈的數

X服從參數n=10000，p=0.7的二項分布

p{6800

大數定律

依機率收斂

設X1,X2,…,Xn,…是一個随機變量的序列，a是一個常數。

若對應任意實數 ε >0都有

limn→∞P|Xn−a|<ε=1

則稱序列X1,X2,…,Xn,…依機率收斂與a，記為

Xn−→Pa

以上極限等價于 limn→∞P|Xn−a|≥ε=0

{Xn}依機率收斂與a是指：當n充分大後，随機變量Xn幾乎總是取值a，或者取值與a非常接近。

大數定律是有關随機變量序列的前n項的算術平均值在一定條件下收斂到這n項的數學期望的算術均值的定理

大數定律定理

設{ Xk }為随機變量序列，它們數學期望都存在。若對于任意 ε >0都有

limn→∞P{|1n∑nk=1Xk−1n∑nk=1E(Xk)|<ε}=1

則稱随機變量序列{ Xk }服從大數定律。

以上極限表明： 1n∑nk=1Xk−→P1n∑nk=1E(Xk)

#### 切比雪夫大數定理

設X1,X2,…,Xn,…是互相獨立的随機變量的序列，它們的數學期望和方差都存在，且存在常數C，使得D(Xk)≤C(k=1,2,..)則對于任意 ε >0有

limn→∞P{|1n∑nk=1Xk−1n∑nk=1E(Xk)|<ε}=1

即 1n∑nk=1Xk−→P1n∑nk=1E(Xk)

所有随機變量互相獨立

若 X⎯⎯⎯= 1n∑nk=1Xk 則

limn→∞P{|X⎯⎯⎯−E(X⎯⎯⎯)|<ε}=1

即 X⎯⎯⎯−→PE(X⎯⎯⎯)

當n充分大時，X1,X2,…,Xn的算術平均值

X⎯⎯⎯= 1n∑nk=1Xk

在機率意義下會充分接近其數學期望E( X⎯⎯⎯ )

辛欽大數定理

設X1,X2,…,Xn,…是互相獨立, 服從同一分布 的随機變量的序列，且具有數學期望E( Xk )= μ (k=1,2,..)則對于任意 ε >0有

limn→∞P{|1n∑nk=1Xk−μ|<ε}=1 或

limn→∞P{|X⎯⎯⎯−μ|<ε}=1

即在定理的條件下，随機變量X1,X2,…,Xn,..的算術平均值将以機率收斂到 μ

X⎯⎯⎯−→Pμ

伯努利大數定理

設在n次獨立實驗中事件A發生的次數為 fA ，p是事件A在每次事件中發生的機率，則對于任意 ε >0有

limn→∞P{|fAn−p|<ε}=1

fAn−→Pμ

在實際運用中，當試驗次數較多時，我們常以事件發生的頻率來近似地估計事件發生的機率。

中心極限定理

概念

在一定條件下，充分多的互相獨立的随機變量的算術平均值将服從正态分布，不管這些随機變量本身服從什麼分布。

列維-林德伯格定理 Levy-Lindberg（獨立同分布的中心極限定理）

定義

設随機變量X1,X2,…,Xn,…是互相獨立, 服從同一分布 并且E( Xk )= μ ,D( Xk )= σ2 >0(k=11,2,..)，則随機變量

Yn=∑nk=1Xk−nμn√σ （前n個随機變量和-n乘數學期望）

的分布函數 Fn=P{Yn≤x} 滿足

limn→∞Fn(x)=limn→∞P{Yn≤x}=Φ(x)=∫x−∞12/pi√e−t22dt （标準正态分布）

以上定理表示：若随機變量X1,X2,…,Xn,…是互相獨立同分布，且E(Xk)D(Xk)存在，當n很大時，Yn近似地服從标準正态分布N(0,1)

同時除以n Yn=1n∑nk=1Xk−μσn√ = X⎯⎯−μσn√ ~N(0,1)

E(X⎯⎯⎯)=E(1n∑nk=1Xk)=1n∑nk=1E(Xk)=μ

D(X⎯⎯⎯)=D(1n∑nk=1Xk)=1n2∑nk=1D(Xk)=1n2nσ2=σ2n

Yn 是 X⎯⎯⎯=1n∑nk=1Xk 的标準化變了

以上定理表明，在定理的條件下，無論{Xk}服從什麼分布，當n很大時候，其前n項的算術均值 X⎯⎯⎯ 的标準化服從正态分布N(0,1)

或者等價地，為标準化的

X⎯⎯⎯=1n∑nk=1Xk ~ N(μ,σ2n)

X~ N(μ,σ2)=>Y=aX+b N(aμ+b,a2σ2)

寫法

部分和 Sn=∑nk=1Xk ~ N(nμ,nσ2)

部分和标準化 Yn=∑nk=1Xk−nμn√σ ~N(0,1)

算術平均值 X⎯⎯⎯=1n∑nk=1Xk ~ N(μ,σ2n)

算術平均值标準化 YN=X⎯⎯−μσ/n√ ~N(0,1)

例子

設某糖廠包裝一批白糖，每袋标準量為1kg，由于誤差，每袋白糖的重量在0.95，1.05kg上均勻分布。設每袋白糖的重量互相獨立。若裝1200袋白糖，問總品質大于1202kg的機率是多少？

設Xi表示第i袋的白糖重量 i=1，。。。，1200

Xi ~U(0.95,1.05) μ=E(Xi) =(0.95+1.05)/2=1

σ2=D(Xi) = (1.05−0.95)212 =1\1200

獨立分布方差，期望都存在， 符合列定理 部分和 Sn=∑nk=1Xk ~ N(nμ,nσ2)

白糖總重量

X= ∑1200k=1Xk ~N(1200x1，1200*1/1200)=N(1200,1 )

p{X>1201}=1-{X≤1202}≈1- Φ(1202−12001) （正态分布标準化）=1- Φ (2)=1-0.9772(查表)=0.0228

棣莫弗-拉姆拉斯定理 （二項分布的極限分布）

定義

設随機變量 Xn 服從參數為n,p(0

例子

設在某實驗中，事件A發生的機率為1/3。若獨立的做了90000次試驗，qui事件A發生次數在29500~30500之間的機率。

記X是90000次試驗中事件A發生的次數

X服從二項分布b（90000，1/3），其中分布律為

P{X=k}= \Ck90000(13)k(23)90000−k

P{29500≤X≤30500}= \C30500k=29500(13)k(23)90000−k

計算量太大，用正态分布近似計算

np=90000*1/3=30000

np(1-p)=90000 * 1/3 * 2/3=20000

P{a

李雅普諾夫定理 （獨立不同分布的中心極限定理）