機器學習基礎知識之機率論基礎詳解
文章目錄
- 機器學習基礎知識之機率論基礎詳解
- 引言
- 一、随機事件以及其運算
- 1、樣本空間的概念
- 2、随機事件
- 3、随機變量
- 4、事件之間的關系
- 4.1包含關系
- 4.2相等關系
- 4.3互不相容
- 5、事件間的運算
- 5.1并
- 5.2交
- 5.3差
- 5.4對立事件
- 5.5運算性質
- 6、事件域
- 二、機率的定義以及其确定的方法
- 1、排列與組合公式
- 1.1乘法原理
- 1.2加法原理
- 1.3排列問題
- 1.4重複排列問題
- 1.5組合問題
- 1.6重複組合問題
- 2、确定機率的方法
- 3、确定機率的古典方法
- 4、确定機率的集幾何方法
- 5、主觀方法
- 三、機率的性質
- 1、機率的可加性
- 2、機率的單調性
- 3、機率的加法公式
- 4、機率的連續性
- 四、條件機率
- 1、定義
- 2、乘法公式
- 3、全機率公式
- 4、貝葉斯公式
- 五、獨立性
- 1、兩個事件的獨立性
- 2、多個事件的獨立性
- 3、實驗的獨立性
引言
本文旨在講解、介紹機率論的基礎知識，為後續的機率論的深入研究以及機器學習的研究打下一個基礎，本文講解比較基礎，而且主要是一些基本的概念，主要介紹了機率論中的機率、頻數、事件、機率的性質、獨立性等問題進行了簡單的闡述，希望對大家有一些幫助。
一、随機事件以及其運算
機率論以及數理統計研究的都是随機現象。機率論是研究機率的分布，數理統計是研究随機現象的資料的收集以及處理。
随機現象：在一定的條件之下，并不是總會出現相同的結果的現象成為随機現象，例如：抛硬币。
随機現象的特點：
1、結果不止一個；
2、人們并不知道會出現哪一個結果。
隻有一個結果的現象成為确定性現象。
對在相同條件下可以重複的随機現象的觀察、記錄、實驗稱為随機實驗。
1、樣本空間的概念
随機現象的一切可能的基本結果組成的集合稱為樣本空間，即為：Ω={ω}，其中，ω表示基本的結果，又稱為樣本點。樣本點是抽樣的最基本的機關。認識随機現象首先需要列出樣本空間。
需要注意的是：
1、樣本空間中的元素可以是數字，也可以不是數字；
2、樣本空間中至少需要有兩個樣本點；
3、從樣本空間含有的樣本的數目可以将樣本空間分為：有限、無限兩類。（通常把有限個或者可列無限個樣本的空間稱為離散樣本空間；把有不可列無限個樣本的空間稱為連續樣本空間。）
2、随機事件
随機現象的某些樣本點組成的集合稱為随機事件，簡稱事件。用大寫字母A,B,C…表示。
注意事項：
1、可以使用韋恩圖來表示一個事件和樣本空間的關系；
2、事件A發生了當且僅當A中某一個樣本點出現了；
3、事件可以使用集合或者韋恩圖表示，也可以使用明白無誤的語言進行表達；
4、由樣本空間中的單個元素組成的子集稱為基本事件，而樣本空間的最大的子集是必然事件，樣本空間的最小的子集是稱為不可能事件。
韋恩圖執行個體：
這是一個非常簡答的韋恩圖的執行個體。
3、随機變量
用來表示随機現象結果的變量稱為随機變量，用大寫字母X,Y,Z…表示。很多事件都可以用随機變量來表示，表示時候應該寫明白随機變量的含義，而随機變量的含義是按照人們的需要表示出來的。
随機變量是人們根據實際問題的需要設定出來的，如果使用等号或者不等号與某些實數連接配接起來就可以表示很多事件。随機變量的設定是需要事先進行設定的哦。
4、事件之間的關系
4.1包含關系
如果屬于A的樣本點也屬于B，那麼，我們就稱為A屬于B,或者B包含A，即就是，A發生必然會
導緻B發生。
4.2相等關系
A屬于B，B也屬于A，那麼，我們就稱，A等于B，A=B。
4.3互不相容
如果A以及B沒有相同的樣本點，那麼，我們就稱A與B是互不相容的。即就是說，A以及B不可能同時發生。
5、事件間的運算
5.1并
A∪B，表示的是：由事件A以及事件B中所有的樣本點組成的新的事件。
5.2交
A∩B，表示的是：由事件A以及事件B之中的公共的樣本點組成的新事件。即就是說，A與B同時發生。
5.3差
A-B稱為事件A對事件B的差，表示的就是，事件A發生但是事件B不發生。
5.4對立事件
1、對立事件一定是不互不相容的事件；
2、對立事件的并是樣本空間；
3、互不相容事件不一定是對立事件。
5.5運算性質
1、交換律
A∪B=B∪A
A∩B=B∩A
2、結合律
(A∪B)∪C=A∪(B∪C)
(A∩B)∩C=A∩(B∩C)
3、配置設定率
(A∪B)∩C=(A∩C)∪(B∩C)
(A∩B)∪C=(A∪C)∩(B∪C)
4、對偶律
事件取反的交=事件的并取反
事件取反的并=事件交的取反
6、事件域
事件域從直覺上來講就是一個樣本空間中某些子集以及其運算結果而組成的集合類。
一般而言事件域都是有可以測量的機率的。
二、機率的定義以及其确定的方法
機率簡單來說就是随機事件發生的可能性的大小。
機率的公理化定義：
1、非負性
2、正則性
3、可列可加性
1、排列與組合公式
1.1乘法原理
乘法原理想必大家一定都很熟悉了，這裡就不需要過多叙述了，隻是說一嘴，使用乘法原理的問題是不考慮次序的哦。
1.2加法原理
加法原理大家肯定也是十分熟悉的，就不必過多贅述了。
1.3排列問題
排列問題需要考慮次序的問題。
（取出不放回）
1.4重複排列問題
這裡與上一個問題的差別就在于是，這裡是取出要放回。
1.5組合問題
組合問題不需要考慮順序的問題。
（取出不放回）
1.6重複組合問題
這裡與上一個問題的差別還是在于，這裡是需要在取出來以後進行放回到的。
2、确定機率的方法
确定機率的方法是在大量的重複性實驗之中，用頻率的穩定值去（某一個事件的次數除以總次數是頻率）來獲得機率的。
基本思想：
1、該随機現象可以進行大量的重複性實驗；
2、一個事件出現的總次數/實驗的總次數=頻率；
3、頻率的穩定值可以作為機率。（頻率的穩定性）
缺點：人們無法将一個實驗進行無數次，是以想要得到精确的結果是比較苦難的。
3、确定機率的古典方法
機率=事件A所有的樣本點的個數/樣本空間中所有的樣本點的個數
這個計算其實我們在中學階段就已經計算過很多的案例了，
也是很好了解的額。
4、确定機率的集幾何方法
這裡跟上面的那個古典方法是類似的，隻不過是将個數相除變換為了面積相除而已啦。
5、主觀方法
貝葉斯學派的人認為：一個事件的機率是人們根據經驗對該事件發生的可能性所給出的個人的信念。這樣的機率叫做主觀機率。
1、主觀機率與主觀臆測不同；
2、用主觀方法得到的随機事件的可能性的大小，本質上是對于随機事件的機率的一種推斷與估計；
3、在遇到随機現象無法大量重複的時候，用主觀的方法去進行決策以及判斷是适合的。（主觀給定的機率也是需要符合公理化的定義的額。）
三、機率的性質
利用機率的公理化的定義，可以導出機率的一系列的性質。
1、機率的可加性
事件的并的機率等于每一個事件的機率的加和。
2、機率的單調性
如果A屬于B，那麼，A的機率小于等于B的機率（單調性）。
3、機率的加法公式
事件的并的機率=每一個事件的機率的和。
4、機率的連續性
這個定理用到的不多，了解一下即就可以了。
四、條件機率
條件機率是機率論中的一個既重要又實用的一個概念。
1、定義
所謂的條件機率就是：
在某一個事件B發生的條件之下求解另一個事件A發生的機率。
2、乘法公式
P(AB)=P(B)P(A|B)。
3、全機率公式
全機率公式是機率論中的一個重要的公式，它提供了計算複雜的事件的機率的一種有效的途徑，使得一個複雜的事件的機率計算問題的過程化繁為簡。
4、貝葉斯公式
在乘法公式以及全機率公式的基礎之上的一個很著名的公式就是貝葉斯公式。
五、獨立性
獨立性也是一個在機率論中的重要的概念，利用獨立性可以簡化機率的計算。
1、兩個事件的獨立性
兩個事件的獨立性是指：一個事件的發生不會影響到另一個事件。稱為兩個事件是互相獨立的。否則兩個事件是不獨立或者相依的。
2、多個事件的獨立性
在兩個事件獨立性的基礎之上我們可以說，在多個事件之中，如果這多個事件之中，兩兩獨立，那麼，我們就是說這些多個事件也是互相獨立的額。稱為多個事件的互相獨立。
3、實驗的獨立性
利用事件的獨立性可以定義實驗的獨立性。
定義：
如果實驗E1以及實驗E2，假如，實驗E1的任何一個結果與實驗E2的任何一個結果都是互相獨立的，那麼，我們就稱這兩個實驗是互相獨立的，叫做獨立性的實驗。
END.