機率論-條件機率，全機率，機率乘法公式，貝葉斯公式

1. 條件機率

在事件A已經發生的前提下事件B發生的機率，我們記為 P ( B ∣ A ) P(B|A) P(B∣A)

定義 設 A ， B A，B A，B為随機試驗 E E E的兩個事件，且 P ( A ) > 0 P(A)>0 P(A)>0,則稱

P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)​

為事件A發生的條件下事件B發生的條件機率，或稱為 B B B關于 A A A的條件機率

2. 機率乘法公式

機率乘法公式就是由條件機率公式得來的

定理（機率乘法定理）：對于任意的事件 A , B A,B A,B,

(1)若 P ( A ) > 0 P(A)>0 P(A)>0，則有

P （ A B ） = P ( B ∣ A ) P ( A ) P（AB）=P(B|A)P(A) P（AB）=P(B∣A)P(A)

(2)若 P ( B ) > 0 P(B)>0 P(B)>0，則有

P （ A B ） = P ( A ∣ B ) P ( B ) P（AB）=P(A|B)P(B) P（AB）=P(A∣B)P(B)

注意這裡如果事件 A 和 B A 和B A和B獨立那麼

P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)

3.全機率公式

定理（全機率公式）：設試驗 E E E的樣本空間為 Ω ； B 1 , b 2 . . . , B n \Omega；B_1,b_2...,B_n Ω；B1​,b2​...,Bn​,為 Ω \Omega Ω的一個劃分，且 P ( B i ) > 0 ( i = 1 , 2 , 3... n ) P(B_i)>0(i=1,2,3...n) P(Bi​)>0(i=1,2,3...n),則對E的任一事件A有

P ( A ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i) P(A)=i=1∑n​P(A∣Bi​)P(Bi​)

4.貝葉斯公式

定理（貝葉斯公式）：設試驗 E E E的樣本空間為 Ω \Omega Ω， A A A為 E E E的事件， B 1 , B 2 , B 3 , . . . B n B_1,B_2,B_3,...B_n B1​,B2​,B3​,...Bn​為樣本空間 Ω \Omega Ω的一個劃分，且 P ( A ) > 0 , P ( B i ) > 0 , i = 1 , 2 , 3... n P(A)>0,P(B_i)>0,i=1,2,3...n P(A)>0,P(Bi​)>0,i=1,2,3...n，則

P ( B j ∣ A ) = P ( B j A ) P ( A ) = P ( A ∣ B j ) P ( B j ) ∑ i = 1 n P ( A ∣ B i ) P ( B i ) , j = 1 , 2 , 3... n P(B_j|A)=\frac{P(B_jA)}{P(A)}=\frac{P(A|B_j)P(B_j)}{\sum_{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,3...n P(Bj​∣A)=P(A)P(Bj​A)​=∑i=1n​P(A∣Bi​)P(Bi​)P(A∣Bj​)P(Bj​)​,j=1,2,3...n

5. 關于模式識别的貝葉斯決策

對于模式識别貝葉斯決策，是引入随機變量以後，将上面的條件機率變成類條件機率密度函數，先驗機率變成類别的先驗機率（實際上這兩個合在一起就是聯合機率密度函數，某類 ω i \omega_i ωi​和随機變量的取值 x i x_i xi​的函數，但是在模式識别分類中，這個類别 w i w_i wi​的機率 P ( ω i ) P(\omega_i) P(ωi​)是離散的， P ( x ∣ ω i ) P(x|\omega_i) P(x∣ωi​)是連續的），聯合機率（有沒有都可以判别，因為各個類别的分母都一樣，變成系數）就變成了邊緣機率積分。這裡注意，貝葉斯決策重要的是要估計類條件機率密度，估計出來的是連續的機率密度函數，将樣本值代入機率密度函數中進行判别類别。

引入随機變量以後，貝葉斯公式就變成了分子是聯合機率分布，分母是邊緣分布。