04.第二章 随機變量與分布函數(2)

第二章 随機變量與分布函數(2)

1.離散型随機變量

離散型随機變量：随機變量 ξ \xi ξ的值隻能取至多可列個，則稱為離散型随機變量。這裡的可列，包含了有限與無限可列，而既然可列，就可以将所有的可能取值列成 x 1 , x 2 , ⋯   , x n , ⋯ x_1,x_2,\cdots,x_n,\cdots x1​,x2​,⋯,xn​,⋯的形式。要完整地刻畫離散型随機變量，隻要對這些單點Borel集求機率即可，也就是求出 P ( ξ = x i ) P(\xi =x_i) P(ξ=xi​)的值，這個值通常記作 p i p_i pi​或 p ( x i ) p(x_i) p(xi​)。

• 單點集也是一種Borel集，如單點5，隻要構造一系列左開右閉區間 ( 5 − 1 n , 5 ] (5-\frac1n,5] (5−n1​,5]，并将 n n n取至無窮再取這些集合的交集即可。

一旦求出所有的 p i p_i pi​，就可以将取值-機率列成表格的形式，稱為 ξ \xi ξ的分布列（機率分布），它包含 ξ \xi ξ的可能取值與取這些值的機率：

( x 1 x 2 ⋯ x n ⋯ p 1 p 2 ⋯ p n ⋯ ) . \left( \begin{matrix} x_1&x_2&\cdots&x_n&\cdots\\ p_1&p_2&\cdots&p_n&\cdots \end{matrix} \right). (x1​p1​​x2​p2​​⋯⋯​xn​pn​​⋯⋯​).

并且有 p ( x i ) > 0 , ∑ i = 1 ∞ p i = 1 p(x_i)>0,\sum\limits_{i=1}^\infty p_i=1 p(xi​)>0,i=1∑∞​pi​=1。由機率的可列可加性，對任一Borel集 B B B，有

P ( ξ ( ω ) ∈ B ) = ∑ x i ∈ B p i . P(\xi(\omega)\in B)=\sum_{x_i\in B}p_i. P(ξ(ω)∈B)=xi​∈B∑​pi​.

有以下幾種常用的離散型随機變量與分布：

1. 0-1分布： P ( ξ = 0 ) = p , P ( ξ = 1 ) = q = 1 − p P(\xi=0)=p,P(\xi=1)=q=1-p P(ξ=0)=p,P(ξ=1)=q=1−p。這常用于非數值型随機試驗的抽象，即一個随機試驗隻可能有事件發生與不發生兩個結果，則将發生對應于取值1，不發生對應于取值0， p p p稱為成功機率。

   0-1分布也被稱為Bernoulli分布。如果隻能取兩個值但不一定是0、1，則稱為兩點分布。

2. 二項分布： P ( ξ = k ) = C n k p k q n − k , p + q = 1 , p , q > 0 , k = 0 , 1 , ⋯   , n P(\xi=k)=C_n^k p^k q^{n-k},p+q=1,p,q>0,k=0,1,\cdots,n P(ξ=k)=Cnk​pkqn−k,p+q=1,p,q>0,k=0,1,⋯,n，滿足這種形式的随機變量稱為服從二項分布，記作 B ( n , p ) B(n,p) B(n,p)。二項分布可以視作Bernoulli試驗重複 n n n次後的成功次數。

3. 泊松分布： P ( ξ = k ) = λ k k ! e − λ , λ > 0 , k = 0 , 1 , 2 , ⋯ P(\xi=k)=\frac{\lambda ^k}{k!}e^{-\lambda },\lambda >0,k=0,1,2,\cdots P(ξ=k)=k!λk​e−λ,λ>0,k=0,1,2,⋯，滿足這種形式的随機變量稱為服從泊松分布，記作 P ( λ ) P(\lambda ) P(λ)。泊松分布是應用很廣泛的一種分布族，可以用來描述獨立的随機現象的到來。

   當二項分布實驗次數 n n n很大時，近似于服從參數為 λ = n p \lambda =np λ=np的泊松分布。

4. 幾何分布： P ( ξ = k ) = p q k − 1 , p + q = 1 , p , q > 0 , k = 1 , 2 , ⋯ P(\xi=k)=pq^{k-1},p+q=1,p,q>0,k=1,2,\cdots P(ξ=k)=pqk−1,p+q=1,p,q>0,k=1,2,⋯，滿足這種形式的随機變量稱為服從幾何分布，記作 G ( p ) G(p) G(p)。幾何分布可以看成Bernoulli試驗在第 k k k次時首次成功的機率。

   幾何分布最重要的性質是無記憶性，即 P ( ξ > m + k ∣ ξ > m ) = P ( ξ > k ) P(\xi >m+k|\xi>m)=P(\xi>k) P(ξ>m+k∣ξ>m)=P(ξ>k)，也就是說，前 m m m次的失敗都可以不作考慮，從下一次重新開始計算。

5. 超幾何分布：适用于抽樣檢測的分布，不常用。

離散型随機變量的分布函數，可以直覺地由定義得出，假設一切取值 x 1 , x 2 , ⋯   , x n , ⋯ x_1,x_2,\cdots,x_n,\cdots x1​,x2​,⋯,xn​,⋯是從小到大排列的，也就是 x 1 < x 2 < ⋯ x_1<x_2<\cdots x1​<x2​<⋯，那麼 P ( ξ ≤ x ) P(\xi\le x) P(ξ≤x)隻需要檢視哪一個最大的 x k ≤ x x_k\le x xk​≤x，再由離散型随機變量機率的可列可加性将 p 1 , ⋯   , p k p_1,\cdots,p_k p1​,⋯,pk​相加即可得到 F ( x ) F(x) F(x)。注意，由于 ξ < x i \xi<x_i ξ<xi​與 ξ ≤ x i \xi\le x_i ξ≤xi​的樣本點差了一個 ξ = x i \xi=x_i ξ=xi​，是以機率不同，也就是說 F ( x − 0 ) < F ( x ) F(x-0)<F(x) F(x−0)<F(x)，說明分布函數不具有左連續性。

2.連續型随機變量

連續型随機變量的取值就不止是可列的，而是不可列的，這時候機率分布列就不能用來描述随機變量的分布了。但有一種特殊的分布函數，其形式滿足

F ξ ( x ) = ∫ − ∞ x p ξ ( t ) d t . F_\xi(x)=\int_{-\infty}^x p_\xi(t)dt. Fξ​(x)=∫−∞x​pξ​(t)dt.

隻要能找到這樣的非負可積函數 p ξ ( x ) p_\xi(x) pξ​(x)，不論 p ξ ( x ) p_\xi(x) pξ​(x)是分段的還是定義域被限制的，随機變量 ξ \xi ξ都被稱為連續型随機變量，而 p ξ ( x ) p_\xi(x) pξ​(x)稱為（機率）密度函數，在不引起混淆的情況下也可以寫成 p ( x ) p(x) p(x)。

由于密度函數由積分定義，就有

P ( ξ ≤ x ) = F ξ ( x ) = ∫ − ∞ x p ξ ( t ) d t , P(\xi\le x)=F_\xi(x)=\int_{-\infty}^x p_\xi (t)dt, P(ξ≤x)=Fξ​(x)=∫−∞x​pξ​(t)dt,

再由積分的可加性，可以證明對任意Borel集 B B B， P ( ξ ∈ B ) = ∫ B p ξ ( t ) d t P(\xi\in B)=\int_Bp_\xi(t)dt P(ξ∈B)=∫B​pξ​(t)dt。特别當 B B B取 R \R R時，有

P ( ξ ∈ R ) = 1 = ∫ − ∞ ∞ p ( t ) d t , P(\xi\in \R)=1=\int_{-\infty}^\infty p(t)dt, P(ξ∈R)=1=∫−∞∞​p(t)dt,

這就是密度函數的規範性，即密度函數在 R \R R上的積分必定為1。而落在每個單點 c c c的機率 P ( ξ = c ) P(\xi=c) P(ξ=c)為

P ( ξ = c ) = F ( c ) − F ( c − 0 ) = lim ⁡ h → 0 + ∫ c − h c p ( t ) d t = 0 , P(\xi=c)=F(c)-F(c-0)=\lim_{h\to 0^+}\int_{c-h}^c p(t)dt=0, P(ξ=c)=F(c)−F(c−0)=h→0+lim​∫c−hc​p(t)dt=0,

即連續随機變量落在每一個單點處的機率都是0，這也說明連續型随機變量不能用分布列來刻畫。

并且，從直覺角度來看，機率密度函數實際上刻畫了随機變量 ξ \xi ξ落在每個位置的機會大小，每個區間上的曲邊梯形面積就代表了 ξ \xi ξ落入每個區間的大小。可以将積分看作一種特殊的求和，這樣，機率密度函數與機率分布列之間其實有着相通、且更為良好的性質。

對于連續性随機變量，在 p ( x ) p(x) p(x)的連續點處 F ( x ) F(x) F(x)是可導的，并且有 F ′ ( x ) = p ( x ) F'(x)=p(x) F′(x)=p(x)，這就為求密度函數提供了橋梁，也可以驗證 F ( x ) F(x) F(x)是否是一個連續型随機變量的分布函數。實際上，由連續随機變量積分的定義， F ( x ) F(x) F(x)應當是絕對連續的，也是處處連續的。

有以下幾種常用的連續型随機變量與分布：

1. 均勻分布：

   p ( x ) = 1 b − a ⋅ I ( a ≤ x ≤ b ) . p(x)=\frac{1}{b-a}\cdot I_{(a\le x\le b)}. p(x)=b−a1​⋅I(a≤x≤b)​.

   稱為服從 [ a , b ] [a,b] [a,b]上的均勻分布，記作 U ( a , b ) U(a,b) U(a,b)。它形式上表現為在 [ a , b ] [a,b] [a,b]之間每一點處機率密度都相等，再填上正則化因子 1 b − a \frac 1{b-a} b−a1​使得密度函數的積分為1。

   最常用的均勻分布是 U ( 0 , 1 ) U(0,1) U(0,1)，如果 ξ ∼ U ( a , b ) \xi\sim U(a,b) ξ∼U(a,b)，直覺上可以看出 ξ − a b − a \frac{\xi-a}{b-a} b−aξ−a​服從 U ( 0 , 1 ) U(0,1) U(0,1)，以後也可以證明。

2. 正态分布：

   p ( x ) = 1 2 π σ e − ( x − a ) 2 2 σ 2 , a ∈ R , σ > 0. p(x)=\frac{1}{\sqrt {2\pi}\sigma}e^{-\frac{(x-a)^2}{2\sigma^2}},\quad a\in \R,\sigma>0. p(x)=2π

   ​σ1​e−2σ2(x−a)2​,a∈R,σ>0.

   稱為服從正态分布，記作 N ( a , σ 2 ) N(a,\sigma^2) N(a,σ2)。其中，呈現正态分布密度函數形狀的主體（稱為分布的核）是 e − ( x − a ) 2 2 σ 2 e^{-\frac{(x-a)^2}{2\sigma^2}} e−2σ2(x−a)2​，前面的 1 2 π σ \frac{1}{\sqrt {2\pi}\sigma} 2π

   ​σ1​是保證積分為1的正則化因子，可以證明（略看即可）

   ∫ − ∞ ∞ e − ( x − a ) 2 2 σ 2 d x = t = x − a σ ∫ − ∞ ∞ σ e − t 2 2 d t , \begin{aligned} &\int_{-\infty}^\infty e^{-\frac{(x-a)^2}{2\sigma^2}}dx\\ \xlongequal{t=\frac{x-a}{\sigma}}&\int_{-\infty}^\infty \sigma e^{-\frac{t^2}{2}}dt, \end{aligned} t=σx−a​

   ​∫−∞∞​e−2σ2(x−a)2​dx∫−∞∞​σe−2t2​dt,​

   取其平方，為

   ∫ − ∞ ∞ σ e − t 2 2 d t ∫ − ∞ ∞ σ e − s 2 2 d s = σ 2 ∫ − ∞ ∞ ∫ − ∞ ∞ e − t 2 + s 2 2 d t d s = 球 變 換 σ 2 ∫ 0 2 π d θ ∫ 0 ∞ r e − r 2 2 d r = t = r 2 2 2 π σ 2 ∫ 0 ∞ e − t d t = 2 π σ 2 . \begin{aligned} &\int_{-\infty}^\infty \sigma e^{-\frac{t^2}{2}}dt\int_{-\infty}^\infty \sigma e^{-\frac{s^2}{2}}ds\\ =&\sigma^2\int_{-\infty}^\infty \int_{-\infty}^\infty e^{-\frac{t^2 +s^2}{2}}dtds\\ \xlongequal{球變換}&\sigma^2\int_{0}^{2\pi}d\theta \int_0^\infty re^{-\frac{r^2}{2}}dr\\ \xlongequal{t=\frac{r^2}{2}}&2\pi\sigma^2 \int_0^{\infty }e^{-t}dt\\ =&2\pi \sigma^2. \end{aligned} =球變換

   t=2r2​

   =​∫−∞∞​σe−2t2​dt∫−∞∞​σe−2s2​dsσ2∫−∞∞​∫−∞∞​e−2t2+s2​dtdsσ2∫02π​dθ∫0∞​re−2r2​dr2πσ2∫0∞​e−tdt2πσ2.​

   是以原積分值為 2 π σ \sqrt {2\pi}\sigma 2π

   ​σ，正則化因子為其導數。

   标準化的正态分布是 N ( 0 , 1 ) N(0,1) N(0,1)，一般記标準正态分布的分布函數為 Φ ( x ) = P ( ξ ≤ x ) \Phi(x)=P(\xi\le x) Φ(x)=P(ξ≤x)，其相關函數值制成表，可以查到标準正态分布的分位數值。且有 Φ ( 0 ) = 1 / 2 , Φ ( − x ) = 1 − Φ ( x ) \Phi(0)=1/2,\Phi(-x)=1-\Phi(x) Φ(0)=1/2,Φ(−x)=1−Φ(x)。

   正态分布十分重要，兩個參數分别是二項分布的均值和方差，且形式需要牢記。正态分布可以描述生活中許多的統計現象，且可以導出一些統計常用的其他分布。

3. 指數分布：

   p ( x ) = λ e − λ x I ( x ≥ 0 ) , λ > 0. p(x)=\lambda e^{-\lambda x}I_{(x\ge0)},\quad \lambda >0. p(x)=λe−λxI(x≥0)​,λ>0.

   稱為服從指數分布，記作 P ( λ ) P(\lambda) P(λ)。指數分布具有類似于幾何分布的無記憶性，即 P ( ξ > s + t ∣ ξ > s ) = P ( ξ > t ) P(\xi>s+t|\xi >s)=P(\xi>t) P(ξ>s+t∣ξ>s)=P(ξ>t)，并且指數分布還是唯一具有無記憶性的連續分布，是以，指數分布常常用來描述生活中一些具有無記憶性的随機現象。

4. Γ \Gamma Γ分布：

   p ( x ) = λ n Γ ( n ) x n − 1 e − λ x I ( x ≥ 0 ) p(x)=\frac{\lambda ^n}{\Gamma(n)}x^{n-1}e^{-\lambda x}I_{(x\ge0)} p(x)=Γ(n)λn​xn−1e−λxI(x≥0)​

   稱為服從 Γ \Gamma Γ分布，記作 Γ ( n , λ ) \Gamma(n,\lambda ) Γ(n,λ)，這裡 Γ ( n ) \Gamma(n) Γ(n)是 Γ \Gamma Γ函數，即 Γ ( n ) = ∫ 0 ∞ x n − 1 e − x d x \Gamma(n)=\int_0^\infty x^{n-1}e^{-x}dx Γ(n)=∫0∞​xn−1e−xdx，給定 n n n後是一個定值。其核為 x n − 1 e − λ x x^{n-1}e^{-\lambda x} xn−1e−λx，前面的 λ n / Γ ( n ) \lambda ^n/\Gamma(n) λn/Γ(n)是正則化因子。可以證明

   ∫ 0 ∞ x n − 1 e − λ x d x = 1 λ n ∫ 0 ∞ ( λ x ) n − 1 e − λ x ⋅ λ d x = t = λ x 1 λ n ∫ 0 ∞ t n − 1 e − t d t = Γ ( n ) λ n . \begin{aligned} &\int_0^\infty x^{n-1}e^{-\lambda x}dx\\ =&\frac{1}{\lambda ^n}\int_0^\infty (\lambda x )^{n-1}e^{-\lambda x}\cdot\lambda dx\\ \xlongequal{t=\lambda x}&\frac{1}{\lambda ^n}\int_0^\infty t^{n-1}e^{-t}dt\\ =&\frac{\Gamma(n)}{\lambda ^n}. \end{aligned} =t=λx

   =​∫0∞​xn−1e−λxdxλn1​∫0∞​(λx)n−1e−λx⋅λdxλn1​∫0∞​tn−1e−tdtλnΓ(n)​.​

   是以正則化因子為其倒數。

   Γ \Gamma Γ分布由其獨特的核形式，關聯了 x a e b x x^ae^{bx} xaebx的形式，是以用處很廣泛，尤其在數理統計中。

5. B \Beta B分布：

   p ( x ) = 1 B ( a , b ) x a − 1 ( 1 − x ) b − 1 I ( 0 ≤ x ≤ 1 ) , a , b > 0. p(x)=\frac{1}{\Beta(a,b)}x^{a-1}(1-x)^{b-1}I_{(0\le x\le 1)},\quad a,b>0. p(x)=B(a,b)1​xa−1(1−x)b−1I(0≤x≤1)​,a,b>0.

   稱為服從 B \Beta B分布，記作 β ( a , b ) \beta(a,b) β(a,b)，這裡 B ( a , b ) \Beta(a,b) B(a,b)是 B \Beta B函數，即 B ( a , b ) = ∫ 0 1 x a − 1 ( 1 − x ) b − 1 d x \Beta(a,b)=\int_0^1 x^{a-1}(1-x)^{b-1}dx B(a,b)=∫01​xa−1(1−x)b−1dx，給定 a , b a,b a,b後是一個定值。其核為 x a − 1 ( 1 − x ) b − 1 x^{a-1}(1-x)^{b-1} xa−1(1−x)b−1，由于其特殊形式，用處也很廣泛，尤其在數理統計中，與 Γ \Gamma Γ分布、兩點分布、二項分布都有關聯。

   這裡給出 B \Beta B函數與 Γ \Gamma Γ函數的關聯：

   B ( a , b ) = Γ ( a ) Γ ( b ) Γ ( a + b ) . \Beta(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}. B(a,b)=Γ(a+b)Γ(a)Γ(b)​.

6. Cauchy分布：

   p ( x ) = 1 π [ 1 + ( x − θ ) 2 ] , θ ∈ R . p(x)=\frac{1}{\pi[1+(x-\theta)^2]},\quad \theta\in \R. p(x)=π[1+(x−θ)2]1​,θ∈R.

   稱為服從參數為 θ \theta θ的Cauchy分布，它主要以特例的形式出現，并不常用。