機率論與數理統計學習筆記之——機率論的基本概念

機率論的基本概念

1、随機試驗

随機試驗具有以下特點：

1. 可以在相同的條件下重複地進行；
2. 每次試驗的可能結果不止一個，并且能事先明确試驗的所有可能結果；
3. 進行一次試驗之前不能确定哪一個結果會出現。

2、樣本空間、随機事件

2.1、樣本空間

我們将随機試驗 E 的所有可能結果組成的集合成為 E 的樣本空間，記為 S。樣本空間的元素，即 E 的每個結果，稱為樣本點。

2.2、随機事件

一般，我們稱試驗 E 的樣本空間 S 的子集為 E 的随機事件，簡稱事件。在每次試驗中，當且僅當這一子集中的一個樣本點出現時，稱這一事件發生。

特别，由一個樣本點組成的單點集，稱為基本事件。

樣本空間 S 包含所有的樣本點，它是 S 自身的子集，在每次試驗中它總是發生的，S 稱為必然事件。空集 ∅ 不包含任何樣本點，它也作為樣本空間的子集，它在每次試驗中都不發生，∅ 稱為不可能事件。

2.3、事件間的關系與事件的運算

設試驗 E 的樣本空間為 S，而 A，B，Ak（k = 1,2，…）是 S 的子集。

1. 若 A ⊂ B，則稱事件 B 包含事件 A，這指的是事件 A 發生必導緻事件 B 發生。

   若 A ⊂ B 且 B ⊂ A，即 A = B，則稱事件 A 與事件 B 相等。

2. 事件 A ∪ B = {x | x ∈ A 或 x ∈ B} 稱為事件 A 與事件 B 的和事件。當且僅當 A,B 中至少有一個發生時，事件 A ∪ B 發生。
3. 事件 A ∩ B = {x | x ∈ A 且 x ∈ B} 稱為事件 A 與事件 B 的積事件。當且僅當 A,B 同時發生時，事件 A ∩ B 發生。 A ∩ B 記作 AB。
4. 事件 A - B = {x | x ∈ A 且 x ∉ B} 稱為事件 A 與事件 B 的差事件。當且僅當 A 發生、B 不發生時事件 A - B 發生。
5. 若 A ∩ B = ∅，則稱事件 A 與 B 是互不相容的，或互斥的。這指的是事件 A 與事件 B 不能同時發生。基本事件是兩兩互不相容的。
6. 若 A ∪ B = S 且 A ∩ B = ∅，則稱事件 A 與事件 B 互為逆事件。又稱事件 A 與事件 B 互為對立事件。這指的是對每次試驗而言，事件 A 、B 中必有一個發生，且僅有一個發生。A 的對立事件記為 A ̅ 。 A ̅ = S - A。

在進行事件運算時，經常要用到下述定律。設 A,B,C 為事件，則有：

• 交換律：A ∪ B = B ∪ A；A ∩ B = B ∩ A。

• 結合律：A ∪ (B ∪ C) = (A ∪ B) ∪ C；

  ​ A ∩ (B ∩ C) = (A ∩ B) ∩ C。

• 配置設定律：A ∪ (B ∩ C) = (A ∪ B) ∩ (A ∪ C)；

  ​ A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)。

• 德摩定律：

  A ∪ B ‾ = A ˉ ∩ B ˉ \overline{A \cup B}=\bar{A} \cap \bar{B} A∪B=Aˉ∩Bˉ

  A ∩ B ‾ = A ˉ ∪ B ˉ \overline{A \cap B}=\bar{A} \cup \bar{B} A∩B=Aˉ∪Bˉ

3、頻率與機率

3.1、頻率

定義 在相同的條件下，進行了 n 次試驗，在這 n 次試驗中，事件 A 發生的次數 nA 稱為事件 A 發生的頻數。比值 nA / n 稱為事件 A 發生的頻率，并記為 fn(A)。

3.2、機率

定義 設 E 是随機試驗，S 是它的樣本空間。對于 E 的每一事件 A 賦予一個實數，記為 P(A)，稱為事件 A 的機率，如果集合函數 P(·) 滿足下列條件：

1. 非負性：對于每一個事件 A，有 P(A) ≥ 0；
2. 規範性：對于必然事件 S，有 P(S) = 1；

3. 可列可加性：設 A1,A2,… 是兩兩互不相容的事件，即對于 AiAj = ∅，i ≠ j，i,j = 1,2,… 有

   P(A1 ∪ A2 ∪ …) = P(A1) + P(A2) +…

性質：

1. P(∅) = 0；
2. （有限可加性）若 A1,A2,…,An 是兩兩互不相容的事件，則有 P(A1 ∪ A2 ∪ … ∪ An) = P(A1) + P(A2) + … + P(An)；
3. 設 A,B 是兩個事件，若 A ⊂ B，則有：P(B - A) = P(B) - P(A)；
4. 對于任一事件 A，P(A) ≤ 1。
5. （逆事件的機率）對于任一事件 A，有：P(A ̅ ) = 1 - P(A)；
6. （加法公式）對于任意兩事件 A，B 有：P(A ∪ B) = P(A) + P(B) - P(AB)。

4、等可能概型（古典概型）

古典概型（等可能概型）的特點：

1. 試驗的樣本空間隻包含有限個元素；
2. 試驗中每個基本事件發生的可能性相同。

下面我們來讨論等可能概型中事件機率的計算公式：

設試驗的樣本空間為 S = {e1,e2,…,en}。由于在試驗中每個基本事件發生的可能性相同，即有：

P ( { e 1 } ) = P ( { e 2 } ) = ⋯ = P ( { e n } ) P(\{e_{1}\})=P\left(\left\{e_{2}\right\}\right)=\cdots=P\left(\left\{e_{n}\right\}\right) P({e1​})=P({e2​})=⋯=P({en​})

又由于基本事件是兩兩互不相容的。于是：

1 = P ( S ) = P ( { e 1 } U { e 2 } U ⋯ U { e n } ) = P ( { e 1 } ) + P ( { e 2 } ) + ⋯ + P ( { e n } ) = n P ( { e i } ) \begin{aligned} 1 &=P(S)=P\left(\left\{e_{1}\right\} U\left\{e_{2}\right\} U \cdots U\left\{e_{n}\right\}\right) \\ &=P\left(\left\{e_{1}\right\}\right)+P\left(\left\{e_{2}\right\}\right) \\ &+\cdots+P\left(\left\{e_{n}\right\}\right)=n P(\{e_{i}\}) \end{aligned} 1​=P(S)=P({e1​}U{e2​}U⋯U{en​})=P({e1​})+P({e2​})+⋯+P({en​})=nP({ei​})​

P ( { e i } ) = 1 n , i = 1 , 2 , ⋯   , n P\left(\left\{e_{i}\right\}\right)=\frac{1}{n}, i=1,2, \cdots, n P({ei​})=n1​,i=1,2,⋯,n

若事件 A 包含 k 個基本事件，即：

A = { e i 1 } U { e i 2 } U ⋯ U ⋅ { e i k } A=\left\{e_{i_{1}}\right\} U\left\{e_{i_{2}}\right\} U \cdots U \cdot\left\{e_{i_{k}}\right\} A={ei1​​}U{ei2​​}U⋯U⋅{eik​​}

則有：

P ( A ) = ∑ j = 1 k P ( { e i j } ) = k n = A 包 含 的 基 本 事 件 數 S 中 基 本 事 件 的 總 數 P(A)=\sum_{j=1}^{k} P\left(\left\{e_{i_{j}}\right\}\right)=\frac{k}{n}=\frac{A 包含的基本事件數}{S 中基本事件的總數} P(A)=j=1∑k​P({eij​​})=nk​=S中基本事件的總數A包含的基本事件數​

5、條件機率

5.1、條件機率

定義 設 A,B 是兩個事件，且 P(·|A) > 0，稱

P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)​

為在事件 A 發生的條件下事件 B 發生的條件機率。

不難驗證，條件機率 P(·|A) 符合機率定義中的三個條件，即：

1. 非負性
2. 規範性
3. 可列可加性

5.2、乘法定理

乘法定理 設 P(A) > 0，則有：

P ( A B ) = P ( B ∣ A ) P ( A ) P(AB)=P(B|A)P(A) P(AB)=P(B∣A)P(A)

5.3、全機率公式和貝葉斯公式

定義 設 S 為試驗 E 的樣本空間，B1,B2,…,Bn 為 E 的一組事件。若：

1. BiBj = ∅，i ≠ j，i,j = 1,2,…,n
2. B1 ∪ B2 ∪ … ∪ Bn = S，

則稱 B1,B2,…,Bn 是樣本空間的一個劃分。

若 B1,B2,…,Bn 是樣本空間的一個劃分，那麼，對每次試驗，事件 B1,B2,…,Bn 中必有一個且僅有一個發生。

定理 設試驗 E 的樣本空間為 S，A 為 E 的事件，B1,B2,…,Bn 為 S 的一個劃分，且 P(Bi) > 0 (i = 1,2,…,n)，則：

P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) + … + P(A|Bn)P(Bn)

稱為全機率公式。

定理 設試驗 E 的樣本空間為 S。A 為 E 的事件，B1,B2,…,Bn 為 S 的一個劃分，且 P(A) > 0，P(Bi) > 0 (i = 1,2,…,n)，則：

P ( B i ∣ A ) = P ( A ∣ B i ) P ( B i ) ∑ j = 1 n P ( A ∣ B j ) P ( B j ) , i = 1 , 2 , . . . , n . P(B_{i}|A)=\frac{P(A|B_{i})P(B_{i})}{\sum_{j=1}^{n}P(A|B_{j})P(B_{j})},\quad i=1,2,...,n. P(Bi​∣A)=∑j=1n​P(A∣Bj​)P(Bj​)P(A∣Bi​)P(Bi​)​,i=1,2,...,n.

稱為貝葉斯公式。

6、獨立性

定義 設 A,B 是兩事件，如果滿足等式

P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)

則稱事件 A 和事件 B 互相獨立，簡稱 A,B 獨立。

定理一 設 A,B 是兩事件，且 P(A) > 0。若 A,B 互相獨立，則 P(B|A) = P(B)。反之亦然。

定理二 若事件 A 與 B 互相獨立，則下列事件也互相獨立：

A 與 B—，A— 與 B，B— 和 A—。

定義 設 A,B,C 是三個事件，如果滿足等式

​ P(AB) = P(A)P(B)

​ P(BC) = P©P(B)

​ P(AC) = P(A)P©

​ P(ABC) = P(A)P(B)P©

則稱事件 A,B,C 互相獨立。

由此，可以得到以下兩個推論：

1. 若事件 A1,A2,…,An (n ≥ 2) 互相獨立，則其中任意 k （2 ≤ k ≤ n）個事件也是互相獨立的；
2. 若 n 個事件 A1,A2,…,An (n ≥ 2) 互相獨立，則将 A1,A2,…,An 中任意多個事件換成它們各自的對立事件，所得的 n 個事件仍然互相獨立。