問題引入
在人工神經網絡中，神經元節點的激活函數定義了對神經元輸出的映射，簡單來說，神經元的輸出(例如，全連接配接網絡中就是輸入向量與權重向量的内積再加上偏置項)經過激活函數處理後再作為輸出。我們也知道在神經網絡中有許多的激活函數，那麼每個激活函數的優缺點是什麼呢？接下來慢慢說起來。
問題解答
這裡介紹下大家熟悉的sigmoid函數，sigmoid函數的表達式如下：
下圖展示了sigmoid函數以及它的導數。
Sigmoid函數是深度學習領域開始時使用頻率最高的activation function。它是便于求導的平滑函數，其導數為
優點：
1.便于求導的平滑函數；
2.能壓縮資料，保證資料幅度不會有問題；
3.适合用于前向傳播。
缺點：
1.容易出現梯度消失(gradient vanishing)
2.Sigmoid 的輸出不是 0 均值(zero-centered)
3.幂運算相對耗時
參考
https://blog.csdn.net/Dby_freedom/article/details/88946229
https://zhuanlan.zhihu.com/p/65472471
https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc
喜歡就關注一下啦~~~