2 條件機率與統計獨立性

文章目錄

• 1 條件機率
• 2 事件獨立
• 3 全機率公式

1 條件機率

設 ( Ω , F , P ) (\Omega, \mathcal{F}, \mathcal{P}) (Ω,F,P) 是一個機率空間, B ∈ F B \in \mathcal{F} B∈F, 且 P ( B ) > 0 P(B) > 0 P(B)>0, 則 ∀ A ∈ F \forall A \in \mathcal{F} ∀A∈F, 記 P ( A ∣ B ) = P ( A B ) P ( B ) P(A|B) = \frac{P(AB)}{P(B)} P(A∣B)=P(B)P(AB)​.

稱 P ( A ∣ B ) P(A|B) P(A∣B) 為在事件 B B B 發生的條件下的事件 A A A 發生的條件機率.

乘法公式:

• P ( A B ) = P ( A ) P ( A ∣ B ) P(AB) = P(A)P(A|B) P(AB)=P(A)P(A∣B);
• P ( A B C ) = P ( A ) P ( A ∣ B ) P ( C ∣ A B ) P(ABC) = P(A)P(A|B)P(C|AB) P(ABC)=P(A)P(A∣B)P(C∣AB).

性質:

1. 機率的所有性質;
2. 若 B C = ∅ BC = \emptyset BC=∅, 則 P ( B C ) = 0 P(BC) = 0 P(BC)=0;
3. P ( B ∣ B ) = 1 P(B|B) = 1 P(B∣B)=1, 若 C ⊂ B C \subset B C⊂B, 則 P ( B ∣ C ) = 1 P(B|C) = 1 P(B∣C)=1;
4. 若 B ⊂ C B \subset C B⊂C, 則 P ( B ∣ C ) = P ( B ) P ( C ) P(B|C) = \frac{P(B)}{P(C)} P(B∣C)=P(C)P(B)​;
5. P ( B ∣ Ω ) = 1 P(B| \Omega) = 1 P(B∣Ω)=1, 若 P ( C ) = 1 P(C) = 1 P(C)=1, 則 P ( B ∣ C ) = 1 P(B|C) = 1 P(B∣C)=1 (利用補集來證明).

2 事件獨立

A , B ∈ F A, B \in \mathcal{F} A,B∈F, 若 P ( A B ) = P ( A ) P ( B ) P(AB) = P(A)P(B) P(AB)=P(A)P(B), 則 A A A, B B B 獨立.

A , B , C ∈ F A, B, C \in \mathcal{F} A,B,C∈F, 若

• P ( A B ) = P ( A ) P ( B ) P(AB) = P(A)P(B) P(AB)=P(A)P(B);
• P ( A C ) = P ( A ) P ( C ) P(AC) = P(A)P(C) P(AC)=P(A)P(C);
• P ( B C ) = P ( B ) P ( C ) P(BC) = P(B)P(C) P(BC)=P(B)P(C);
• P ( A B C ) = P ( A ) P ( B ) P ( C ) P(ABC) = P(A)P(B)P(C) P(ABC)=P(A)P(B)P(C),

則 A A A, B B B, C C C 互相獨立.

性質:

1. 若 A A A, B B B 獨立, P ( B ) > 0 ⇔ P ( A ∣ B ) = P ( A ) P(B) > 0 \Leftrightarrow P(A|B) = P(A) P(B)>0⇔P(A∣B)=P(A);
2. 若 A A A, B B B 獨立, P ( B ) > 0 ⇔ P ( A ∣ B ) = P ( A ∣ B ‾ ) ⇔ P ( A ∣ B ) + P ( A ‾ ∣ B ‾ ) = 1 P(B) > 0 \Leftrightarrow P(A|B) = P(A| \overline{B}) \Leftrightarrow P(A|B) + P(\overline{A} | \overline{B}) = 1 P(B)>0⇔P(A∣B)=P(A∣B)⇔P(A∣B)+P(A∣B)=1;
3. 若 A A A, B B B 獨立, 則 { A , B ‾ } \{A, \overline{B} \} {A,B}, { A ‾ , B } \{ \overline{A}, B \} {A,B}, { A ‾ , B ‾ } \{ \overline{A}, \overline{B} \} {A,B} 各組事件獨立;
4. Ω \Omega Ω 和 ∅ \emptyset ∅ 與任何事件獨立.

3 全機率公式

設事件 E 1 , E 2 , . . . E_1, E_2, ... E1​,E2​,... 是樣本空間 Ω \Omega Ω 的一個分割 (完備事件組) , 即 E i E_i Ei​, i = 1 , 2 , . . . i = 1, 2, ... i=1,2,... 兩兩互斥且 ∪ i = 1 ∞ E i = Ω \cup_{i = 1}^{\infty}E_i = \Omega ∪i=1∞​Ei​=Ω, 則 P ( A ) = ∑ i = 1 ∞ P ( A ∣ E i ) P ( E i ) P(A) = \sum_{i=1}^{\infty} P(A|E_i)P(E_i) P(A)=∑i=1∞​P(A∣Ei​)P(Ei​).

分解複雜問題分布考慮.

貝葉斯 (Bayesian) 公式:

P ( E i ∣ A ) ⏞ 後 驗 概 率 = P ( A ∣ E i ) P ( E i ) ⏞ 先 驗 概 率 P ( A ) = P ( A ∣ E i ) P ( E i ) ∑ j = 1 ∞ P ( A ∣ E j ) P ( E j ) . \overbrace{P(E_i | A)}^{後驗機率} = \frac{P(A|E_i)\overbrace{P(E_i)}^{先驗機率}}{P(A)} = \frac{P(A|E_i)P(E_i)}{\sum_{j=1}^{\infty} P(A|E_j)P(E_j)}. P(Ei​∣A)

​後驗機率​=P(A)P(A∣Ei​)P(Ei​)

​先驗機率​​=∑j=1∞​P(A∣Ej​)P(Ej​)P(A∣Ei​)P(Ei​)​.