激活函數簡介

在說激勵函數之前，我想先說一下softmax這個函數。

我之前一直認為softmax是激勵函數，但是感謝我的室友建哥糾正了我（什麼時候我的深度學習可以像建哥一樣優秀，我就滿足了）。softmax模型可以用來給不同的對象配置設定機率，将n分類的n個輸出，變為滿足以下機率分布要求的函數。簡單點說，softmax函數是一個分類函數。

激活函數：運作時激活神經網絡中某一部分神經元，将激活資訊向後傳入下一層的神經網絡。在很多情況下，神經網絡之是以能解決非線性問題（語音，圖像識别），本質上就是激活加入了非線性因素，彌補了線性模型的表達力，把“激活的神經元特征”通過函數保留并映射到下一層。

1. Sigmoid函數的有點在于，他的輸出映射在（0，1）内，單調連續，非常适合作用輸出層，并且求導比較容易（x*（1-x）），缺點是容易産生梯度消失。

2. tanh收斂速度比sigmoid快，但是也無法解決梯度消失的問題。

   tan h=(1-e^-2x)/(1+e^-2x)

3. rule：f（x）=max（x，0），softplus：f（x）=log（1+exp（x））

   rule在x<0時導數為0，在x>0時導數為1，是以rule在x>0時保持梯度不衰減，進而緩解了梯度消失問題。在機器學習中有一句話，天下沒有免費的午餐。我們很多時候都會用rule函數，但是rule會随着訓練的進行導緻部分權重無法更新，神經元死亡。