花書+吳恩達深度學習（二）非線性激活函數（ReLU, maxout, sigmoid, tanh）

目錄

0. 前言

1. ReLU 整流線性單元

2. 絕對值整流線性單元

3. 滲漏整流線性單元

4. 參數化整流線性單元

5. maxout 單元

6. logistic sigmoid 單元

7. 雙曲正切單元

8. 徑向基函數

9. softplus 函數

10. 硬雙曲正切函數

如果這篇文章對你有一點小小的幫助，請給個關注，點個贊喔~我會非常開心的~

花書+吳恩達深度學習（一）前饋神經網絡（多層感覺機 MLP）

花書+吳恩達深度學習（二）非線性激活函數（ReLU, maxout, sigmoid, tanh）

花書+吳恩達深度學習（三）反向傳播算法 Back Propagation

花書+吳恩達深度學習（四）多分類 softmax

0. 前言

萬能近似定理（universal approximation theorem）表示，一個前饋神經網絡如果具有線性輸出層和至少一層具有任何一種擠壓性質的激活函數的隐藏層，隻要給予網絡足夠數量的隐藏單元，它可以以任意精度來近似任何從一個有限維空間到另一個有限維空間的可測函數，前饋神經網絡的導數也可以任意好的近似函數的導數。

假設，在神經網絡中不使用非線性激活函數，輸入層

 ，隐藏層輸出

 ，輸出層輸出 

 ，最終的輸出仍然是線性的。

在新技術的研究和開發期間，通常會測試很多不同的激活函數，并且發現許多标準方法的變體表現非常好。

1. ReLU 整流線性單元

大多數隐藏單元采用 ReLU 整流線性單元（rectified linear unit），

 ：

如上圖所示（圖源：深度學習），函數仍然非常接近線性，是以它保留了許多線性模型易于使用梯度優化的屬性。

ReLU 的一個缺陷是它們不能通過基于梯度的方法學習那些使激活函數為零的樣本。

2. 絕對值整流線性單元

絕對值整流線性單元（absolute value rectification）表示為，

 ：

3. 滲漏整流線性單元

滲漏整流線性單元（Leaky ReLU）表示為，

 ：

4. 參數化整流線性單元

參數化整流線性單元（parametric ReLU，PReLU）表示為，

 。

将 

 作為學習的參數。

5. maxout 單元

maxout 單元将輸入 

 劃分為每組 

 個值的幾個組，然後針對每組輸出組内最大的值：

換言之，輸入 

 個特征，在不損失資訊的情況下，每一組的 

 個特征用最大值概括，那麼輸出就能減少 

 倍的特征。

maxout 單元可以學習具有多達 

 段的分段線性凸函數，使用足夠大的 

 ，maxout 單元可以以任意精度來近似任何凸函數。

6. logistic sigmoid 單元

sigmoid 單元在其大部分區域内都飽和，使得基于梯度的學習變得非常困難，是以不鼓勵其作為隐藏單元激活函數：

7. 雙曲正切單元

雙曲正切函數定義為：

 ：

8. 徑向基函數

徑向基函數（radial basis function，RBF）表示為：

這個函數隻有在 

 很接近模版時才有用，大部分時候都飽和，是以很難優化。

9. softplus 函數

softplus 函數是 ReLU 的平滑版本：

10. 硬雙曲正切函數

硬雙曲正切函數（hard tanh）與雙曲正切函數和 ReLU 類似：

如果這篇文章對你有一點小小的幫助，請給個關注，點個贊喔~我會非常開心的~