天天看點

深度學習必懂的 13 種機率分布(附代碼連結)

本文為你介紹基本機率分布教程,大多數和使用 python 庫進行深度學習有關。

深度學習必懂的 13 種機率分布(附代碼連結)

機率分布概述

深度學習必懂的 13 種機率分布(附代碼連結)
  • 共轭意味着它有共轭分布的關系。
在貝葉斯機率論中,如果後驗分布 p(θx)與先驗機率分布 p(θ)在同一機率分布族中,則先驗和後驗稱為共轭分布,先驗稱為似然函數的共轭先驗。共轭先驗維基百科在這裡(https://en.wikipedia.org/wiki/Conjugate_prior)。
  • 多分類表示随機方差大于 2。
  • n 次意味着我們也考慮了先驗機率 p(x)。
  • 為了進一步了解機率,我建議閱讀 (pattern recognition and machine learning,Bishop 2006)。

分布機率與特征

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

均勻分布在 [a,b] 上具有相同的機率值,是簡單機率分布。

深度學習必懂的 13 種機率分布(附代碼連結)

2.伯努利分布(離散)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py 

  • 先驗機率 p(x)不考慮伯努利分布。是以,如果我們對最大似然進行優化,那麼我們很容易被過度拟合。
  • 利用二進制交叉熵對二項分類進行分類。它的形式與伯努利分布的負對數相同。
深度學習必懂的 13 種機率分布(附代碼連結)

3.二項分布(離散)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py 

  • 參數為 n 和 p 的二項分布是一系列 n 個獨立實驗中成功次數的離散機率分布。
  • 二項式分布是指通過指定要提前挑選的數量而考慮先驗機率的分布。
深度學習必懂的 13 種機率分布(附代碼連結)

4.多伯努利分布,分類分布(離散)

代碼:

https://github.com/graykode/distribution-is-all-youneed/blob/master/categorical.py 

  • 多伯努利稱為分類分布。
  • 交叉熵和采取負對數的多伯努利分布具有相同的形式。
深度學習必懂的 13 種機率分布(附代碼連結)

5.多項式分布(離散)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py 

多項式分布與分類分布的關系與伯努爾分布與二項分布的關系相同。

6.β分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py 

  • β分布與二項分布和伯努利分布共轭。
  • 利用共轭,利用已知的先驗分布可以更容易地得到後驗分布。
  • 當β分布滿足特殊情況(α=1,β=1)時,均勻分布是相同的。
深度學習必懂的 13 種機率分布(附代碼連結)

7.Dirichlet 分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py 

  • dirichlet 分布與多項式分布是共轭的。
  • 如果 k=2,則為β分布。
深度學習必懂的 13 種機率分布(附代碼連結)

8.伽馬分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py 

  • 如果 gamma(a,1)/gamma(a,1)+gamma(b,1)與 beta(a,b)相同,則 gamma 分布為β分布。
  • 指數分布和卡方分布是伽馬分布的特例。
深度學習必懂的 13 種機率分布(附代碼連結)

9.指數分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-youneed/blob/master/exponential.py 

指數分布是 α 為 1 時 γ 分布的特例。

深度學習必懂的 13 種機率分布(附代碼連結)

10.高斯分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py 

高斯分布是一種非常常見的連續機率分布。

深度學習必懂的 13 種機率分布(附代碼連結)

11.正态分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py 

正态分布為标準高斯分布,平均值為 0,标準差為 1。

12.卡方分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py 

  • k 自由度的卡方分布是 k 個獨立标準正态随機變量的平方和的分布。
  • 卡方分布是 β 分布的特例
深度學習必懂的 13 種機率分布(附代碼連結)

13.t 分布(連續)

代碼:

https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py 

t 分布是對稱的鐘形分布,與正态分布類似,但尾部較重,這意味着它更容易産生遠低于平均值的值。

深度學習必懂的 13 種機率分布(附代碼連結)

via:https://github.com/graykode/distribution-is-all-you-need

來源:AI開發者

原文連結:https://github.com/graykode/distribution-is-all-you-need

推薦閱讀:

1.一個量化政策師的自白(好文強烈推薦)

2.股票期貨經典的量化交易政策都在這裡了!(源碼)

3.期貨/股票資料大全查詢(曆史/實時/Tick/财務等)

4.當真躺着賺錢?量化交易的十大難題

5.從量化到高頻交易,不可不讀的五本書

6.如何有效的規避量化交易中的滑點?

繼續閱讀