機率論基礎複習

第一講 基本概念

• 樣本空間：試驗所有可能結果構成的集合
• 互斥事件：不可能同時發生的事件
• 對立事件：兩個事件必然有一個且僅有一個發生
• 德摩根率： A ∪ B ‾ = A ‾ ∩ B ‾ \overline{A\cup B}=\overline{A}\cap \overline{B} A∪B=A∩B, A ∩ B ‾ = A ‾ ∪ B ‾ \overline{A\cap B}=\overline{A}\cup \overline{B} A∩B=A∪B
• 加奇減偶： P ( A 1 ∪ A 2 ) = P ( A 1 ) + P ( A 2 ) − P ( A 1 ∩ A 2 ) P(A_1\cup A_2)=P(A_1)+P(A_2)-P(A_1 \cap A_2) P(A1​∪A2​)=P(A1​)+P(A2​)−P(A1​∩A2​)
• 古典概型：樣本空間有限(離散)，且每個樣本點等可能發生
• 幾何概型：樣本空間是個幾何區域，且區域每個點等可能發生
• 條件機率：A已發生的條件下B發生的機率，記為 P ( B ∣ A ) P(B|A) P(B∣A)
• P ( A B ) = P ( B ∣ A ) P ( A ) P(AB)=P(B|A)P(A) P(AB)=P(B∣A)P(A)
• 全機率公式： P ( A ) = ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(A)=\sum_{i=1}^n P(B_i)P(A|B_i) P(A)=∑i=1n​P(Bi​)P(A∣Bi​)
• 貝葉斯公式： P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ) P(B|A)=\frac{P(A|B)P(B)}{P(A)} P(B∣A)=P(A)P(A∣B)P(B)​

第二講 随機變量及其分布

• 伯努利分布(兩點分布)： P ( X 0 ) = p , P ( X 1 ) = 1 − p P(X_0)=p,P(X_1)=1-p P(X0​)=p,P(X1​)=1−p
• 二項分布： P ( X = k ) = C n k p k q n − k ， X ∼ B ( n , p ) P(X=k)=C_n^k p^k q^{n-k}， X\sim B(n,p) P(X=k)=Cnk​pkqn−k，X∼B(n,p)
• 泊松分布： P ( X = k ) = λ k e − λ k ! , X ∼ π ( λ ) P(X=k)=\frac{\lambda^ke^{-\lambda}}{k!},X\sim \pi(\lambda) P(X=k)=k!λke−λ​,X∼π(λ)
• 泊松定理： X ∼ B ( n , p ) X\sim B(n,p) X∼B(n,p)且 n → ∞ ， n p = λ n\rightarrow \infty，np=\lambda n→∞，np=λ，則 X ∼ π ( λ ) X\sim \pi(\lambda) X∼π(λ)
• 幾何分布： P ( X = k ) = ( 1 − p ) k − 1 p P(X=k)=(1-p)^{k-1}p P(X=k)=(1−p)k−1p

• 超幾何分布：設産品有N件，其中M件次品，從中無放回抽取n件，有k件次品的機率為：

  P ( X = k ) = C M k C N − M n − k C N n P(X=k)=\frac{C_M^k C_{N-M}^{n-k}}{C_N^n} P(X=k)=CNn​CMk​CN−Mn−k​​

• 均勻分布： f ( x ) = 1 b − a , a < x < b ， X ∼ U ( a , b ) f(x)=\frac{1}{b-a},a<x<b，X\sim U(a,b) f(x)=b−a1​,a<x<b，X∼U(a,b)
• 指數分布： f ( x ) = λ e − λ x ， x > 0 , X ∼ e ( λ ) f(x)=\lambda e^{-\frac \lambda x}，x>0,X\sim e(\lambda) f(x)=λe−xλ​，x>0,X∼e(λ)
• 指數分布的無記憶性： ∀ x ∀ t , P ( x > s + t ∣ x > s ) = P ( x > t ) \forall x\forall t, P(x>s+t|x>s)=P(x>t) ∀x∀t,P(x>s+t∣x>s)=P(x>t)

• 正态分布： 1 2 π σ e − ( x − μ ) 2 2 σ 2 ， X ∼ N ( μ , σ 2 ) \frac{1}{\sqrt{2\pi \sigma}}e^{\frac{-(x-\mu)^2}{2\sigma^2}}， X\sim N(\mu,\sigma^2) 2πσ

  ​1​e2σ2−(x−μ)2​，X∼N(μ,σ2)

• 正态分布的 1 σ 1\sigma 1σ區間機率0.68、 2 σ 2\sigma 2σ區間機率0.95、 1 σ 1\sigma 1σ區間機率0.99.

第三講 多元随機變量及其分布

• 二維連續聯合分布： F ( x , y ) = ∫ − ∞ y ∫ − ∞ x f ( u , v ) d u d v F(x,y)=\int_{-\infty}^y \int_{-\infty}^x f(u,v)dudv F(x,y)=∫−∞y​∫−∞x​f(u,v)dudv
• 二維連續邊緣分布： F X ( x ) = F ( x , + ∞ ) F_X(x)=F(x,+\infty) FX​(x)=F(x,+∞)
• 二維連續邊緣機率密度： f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy fX​(x)=∫−∞+∞​f(x,y)dy
• 聯合分布可惟一地确定邊緣分布，邊緣分布不一定能确定聯合分布，除非互相獨立
• 二維連續随機變量互相獨立 ⇔ F ( x , y ) = F X ( x ) F Y ( y ) ⇔ f ( x , y ) = f X ( x ) f Y ( y ) \Leftrightarrow F(x,y)=F_X(x)F_Y(y)\Leftrightarrow f(x,y)=f_X(x)f_Y(y) ⇔F(x,y)=FX​(x)FY​(y)⇔f(x,y)=fX​(x)fY​(y)
• 有限各互相獨立的正态分布的線性組合仍是正态分布

第四講 随機變量的數字特征

• 離散型機率期望：若 ∑ k = 1 ∞ x k p k \sum_{k=1}^{\infty} x_k p_k ∑k=1∞​xk​pk​絕對收斂，則 E ( x ) = ∑ k = 1 ∞ x k p k E(x)=\sum_{k=1}^{\infty} x_k p_k E(x)=∑k=1∞​xk​pk​
• 伯努利分布期望： p
• 二項分布期望： np
• 泊松分布期望： λ \lambda λ
• 幾何分布期望： 1 p \frac{1}{p} p1​
• 連續型機率期望：若 ∫ − ∞ ∞ x f ( x ) d x \int_{-\infty}^{\infty}xf(x)dx ∫−∞∞​xf(x)dx絕對收斂，則 E ( x ) = ∫ − ∞ ∞ x f ( x ) d x E(x)=\int_{-\infty}^{\infty}xf(x)dx E(x)=∫−∞∞​xf(x)dx
• 均勻分布期望： a + b 2 \frac{a+b}{2} 2a+b​
• 指數分布期望： 1 λ \frac{1}{\lambda} λ1​
• 正态分布期望： μ \mu μ

• 期望性質：

  E ( c ) = c , c 為 常 數 E(c)=c,c為常數 E(c)=c,c為常數

  E ( c X ) = c E ( x ) E(cX)=cE(x) E(cX)=cE(x)

  E ( X + Y ) = E ( X ) + E ( Y ) E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y)

  E ( X Y ) = E ( X ) ( Y ) , X Y 相 互 獨 立 E(XY)=E(X)(Y),XY互相獨立 E(XY)=E(X)(Y),XY互相獨立

  E ( X Y ) 2 ≤ E ( X 2 ) E ( Y 2 ) E(XY)^2\le E(X^2)E(Y^2) E(XY)2≤E(X2)E(Y2)

• 條件期望性質: E ( x ) = E ( E ( X ∣ Y ) ) E(x)=E(E(X|Y)) E(x)=E(E(X∣Y))
• 方差： D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } = E ( X 2 ) − E 2 ( X ) D(X)=Var(X)=E\{[X-E(X)]^2\}=E(X^2)-E^2(X) D(X)=Var(X)=E{[X−E(X)]2}=E(X2)−E2(X)

• 标準差(均方差): D ( X ) \sqrt{D(X)} D(X)

  ​

• 伯努利分布方差: p(1-p)
• 二項分布方差：np(1-p)
• 泊松分布方差: λ \lambda λ
• 幾何分布方差： 1 − p p 2 \frac{1-p}{p^2} p21−p​
• 均勻分布方差： ( b − a ) 2 12 \frac{(b-a)^2}{12} 12(b−a)2​
• 指數分布方差： 1 λ 2 \frac{1}{\lambda^2} λ21​
• 正态分布方差： σ 2 \sigma^2 σ2

• 方差性質：

  D ( c ) = 0 , c 為 常 數 D(c)=0,c為常數 D(c)=0,c為常數

  D ( c X ) = c 2 D ( X ) D(cX)=c^2D(X) D(cX)=c2D(X)

  D ( X + Y ) = D ( X ) + D ( Y ) , X Y 相 互 獨 立 D(X+Y)=D(X)+D(Y), XY互相獨立 D(X+Y)=D(X)+D(Y),XY互相獨立

• 随機變量标準化： X ∗ = X − E ( X ) D ( X ) X^*=\frac{X-E(X)}{\sqrt{D(X)}} X∗=D(X)

  ​X−E(X)​

• 切比雪夫不等式： P ( ∣ X − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 P(|X-\mu|\ge \epsilon)\le \frac{\sigma^2}{\epsilon^2} P(∣X−μ∣≥ϵ)≤ϵ2σ2​
• 條件方差公式： V a r ( X ) = E [ V a r ( X ∣ Y ) ] + V a r ( E ( X ∣ Y ) ) Var(X)=E[Var(X|Y)]+Var(E(X|Y)) Var(X)=E[Var(X∣Y)]+Var(E(X∣Y))
• 二維協方差： C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y) Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)

• 協方差性質：

  C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y)=Cov(Y,X) Cov(X,Y)=Cov(Y,X)

  C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) Cov(X1​+X2​,Y)=Cov(X1​,Y)+Cov(X2​,Y)

  C o v ( a 1 X + b 1 , a 2 Y + b 2 ) = a 1 a 2 C o v ( X , Y ) Cov(a_1X+b_1,a_2Y+b_2)=a_1a_2Cov(X,Y) Cov(a1​X+b1​,a2​Y+b2​)=a1​a2​Cov(X,Y)

  C o v ( X , a ) = 0 , C o v ( X , X ) = D ( X ) , a 為 常 數 Cov(X,a)=0,Cov(X,X)=D(X), a為常數 Cov(X,a)=0,Cov(X,X)=D(X),a為常數

  C o v ( X , Y ) = 0 , X Y 相 互 獨 立 Cov(X,Y)=0, XY互相獨立 Cov(X,Y)=0,XY互相獨立

  C o v 2 ( X , Y ) ≤ D ( X ) D ( Y ) Cov^2(X,Y)\le D(X)D(Y) Cov2(X,Y)≤D(X)D(Y)

• 相關系數： ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY​=D(X)

  ​D(Y)

  ​Cov(X,Y)​

• 相關系數刻畫變量之間的線性關系
• 獨立一定不相關，不相關不一定獨立
• 二維正态分布不相關則獨立
• k階原點矩： E ( X k ) E(X^k) E(Xk)
• k階中心矩： E [ X − E ( X ) ] k E[X-E(X)]^k E[X−E(X)]k
• k+l階混合矩： E ( X k Y l ) E(X^kY^l) E(XkYl)
• k+l階混合中心矩： E [ ( X − E ( X ) ) k ( Y − E ( Y ) ) l ] E[(X-E(X))^k(Y-E(Y))^l] E[(X−E(X))k(Y−E(Y))l]
• 協方差矩陣：多個變量兩兩之間的二階混合中心矩(協方差)組成的對稱矩陣

第五講 特征函數

• 複随機變量： a , b a,b a,b都是實随機變量，則 c = a + i b c=a+ib c=a+ib是複随機變量；
• 複随機變量期望： E ( c ) = E ( a ) + i E ( b ) E(c)=E(a)+iE(b) E(c)=E(a)+iE(b)
• 歐拉公式： e i t = c o s ( t ) + i s i n ( t ) e^{it}=cos(t)+i sin(t) eit=cos(t)+isin(t)
• 特征函數：對于連續型随機變量，若其機率 密度函數為 p ( x ) p(x) p(x)，則其特征函數為 p ( x ) p(x) p(x)的傅裡葉變換 f ( t ) = ∫ − ∞ ∞ e i t x p ( x ) d x f(t)=\int_{-\infty}^{\infty} e^{itx}p(x)dx f(t)=∫−∞∞​eitxp(x)dx
• 兩個互相獨立的随機變量之和的特征函數等于它們特征函數之積。
• 特征函數與分布函數互相唯一确定

第六講 大數定律及中心極限定理

• 切比雪夫大數定律：擁有公共方差上界的獨立随機變量序列，其平均值依機率收斂于期望值。
• 伯努利大數定律：n次獨立的伯努利實驗，事件發生的頻率依機率收斂于事件發生的機率。
• 辛欽大數定律：獨立同分布的随機變量序列，其平均值依機率收斂于期望值
• 獨立同分布的中心極限定理：設 x k x_k xk​獨立同分布，期望為 μ \mu μ,方差為 σ 2 \sigma^2 σ2，則 ∑ x k \sum x_k ∑xk​的分布函數趨近于 N ( n μ , n σ 2 ) N(n\mu,n\sigma^2) N(nμ,nσ2)
• 李雅普諾夫定理：設 x k x_k xk​獨立，且滿足 ∃ δ , 1 ( ∑ σ k 2 ) 2 + δ ∑ E ( ∣ x k − μ k ∣ 2 + δ ) → 0 \exist\delta, \frac{1}{(\sum \sigma_k^2)^{2+\delta}}\sum E(|x_k-\mu_k|^{2+\delta})\rightarrow 0 ∃δ,(∑σk2​)2+δ1​∑E(∣xk​−μk​∣2+δ)→0，則 ∑ x k \sum x_k ∑xk​的分布函數趨近于 N ( ∑ μ k , ∑ σ k 2 ) N(\sum \mu_k,\sum \sigma_k^2) N(∑μk​,∑σk2​)
• 中心極限定理描述了 x ˉ \bar{x} xˉ具有正态性。

• 馬爾可夫不等式：

  P ( ∣ x ∣ ≥ a ) ≤ E ( ∣ x ∣ ) a , a > 0 P(|x|\ge a)\le \frac{E(|x|)}{a},a>0 P(∣x∣≥a)≤aE(∣x∣)​,a>0

• 雙邊切比雪夫不等式：

  P ( ∣ x − μ ∣ ≥ ϵ ) ≤ σ 2 ϵ 2 P(|x-\mu|\ge \epsilon)\le \frac{\sigma^2}{\epsilon^2} P(∣x−μ∣≥ϵ)≤ϵ2σ2​

  表示事件大多會集中在平均值的附近

• 單邊切比雪夫不等式：

  P ( X ≥ μ + ϵ ) ≤ σ 2 σ 2 + ϵ 2 P(X\ge \mu+\epsilon)\le\frac{\sigma^2}{\sigma^2+\epsilon^2} P(X≥μ+ϵ)≤σ2+ϵ2σ2​

  P ( X ≤ μ − ϵ ) ≤ σ 2 σ 2 + ϵ 2 P(X\le \mu-\epsilon)\le\frac{\sigma^2}{\sigma^2+\epsilon^2} P(X≤μ−ϵ)≤σ2+ϵ2σ2​