轉自： https://blog.csdn.net/Jkwwwwwwwwww/article/details/52816433
ReLU
在神經網絡中，常用到的激活函數有sigmoid函數：
f(x)=11+e−xf(x)=11+e−x 雙曲正切函數： f(x)=tanh(x)f(x)=tanh(x) 而本文要介紹的是另外一種激活函數，Rectified Linear Unit Function(ReLU, 線性激活函數)
ReLU函數可以表示為 f(x)=max(0,x)f(x)=max(0,x) 顯然，線性激活函數簡單地将門檻值設定在零點，計算開銷大大降低，而且很多工作顯示 ReLU 有助于提升效果
sigmoid、tanh、ReLU、softplus的對比曲線如下圖所示：
使用ReLU函數時，有幾個重要的優點和缺點：
1. [優點]和sigmoid、tanh神經元昂貴的操作(指數等)相比，ReLU可以通過簡單的零門檻值矩陣進行激活，并且不受飽和的影響
2. [優點]和sigmoid、tanh函數相比，ReLU可以大大加快随機梯度下降算法的收斂，普遍認為原因在于其具有線性、非飽和的形式
3. [缺點]不幸的是，ReLU在訓練時是非常脆弱的，并且可能會“死”。例如，流經ReLU神經元的一個大梯度可能導緻權重更新後該神經元接收到任何資料點都不會再激活。如果發生這種情況，之後通過該機關點的梯度将永遠是零。也就是說，ReLU可能會在訓練過程中不可逆地死亡，并且破壞資料流形。例如，如果學習率太高，你可能會發現，多達40%的網絡會“死”（即，在整個訓練過程中神經元都沒有激活）。而設定一個适當的學習率，可以在一定程度上避免這一問題。
ReLU還存在一些變體，如圖所示：
概述如下：
Noisy ReLU
在ReLU中包含高斯噪聲，便可以得到noisy ReLU：
f(x)=max(0,x+N(0,σ(x)))f(x)=max(0,x+N(0,σ(x))) 改變種ReLU常被用在機器視覺任務裡的受限玻爾茲曼機(Restricted Boltzmann Machines)中
Leaky ReLU
Leaky ReLU是對于“ReLU死亡問題”的一次解決嘗試
可以表示為：
f(x)={x,ax,if x>0otherwisef(x)={x,if x>0ax,otherwise
其中，a為一個較小值，如0.01等
有研究表明采用這種形式的激活函數效果更好，但結果并不總是一緻的
優勢：
1. Biological plausibility：單邊，相比于反對稱結構（antisymmetry）的tanh
2. Sparse activation：基本上随機初始化的網絡，隻有有一半隐含層是處于激活狀态，其餘都是輸出為0
3. efficient gradient propagation：不像sigmoid那樣出現梯度消失的問題
4. efficient computation：隻需比較、乘加運算。使用rectifier 作為非線性激活函數使得深度網絡學習不需要pre-training，在大、複雜的資料上，相比于sigmoid函數等更加快速和更有效率。
Randomized Leaky ReLU
對于RReLU，訓練過程中負數部分的斜坡是在一個範圍内随機選取的，然後在測試過程中固定。在最近的Kaggle National Data Science Bowl (NDSB) 競賽中，據悉RReLU由于其随機的特性可以有效地減少過拟合。
Conclusion
ReLU的各種變體在一定程度上都超越了原始的ReLU，而PReLU和RReLU似乎是更好的選擇
—————————————————————————–
Web Reference
[1]Rectified Linear Unit (ReLU)
[2]修正線性單元(Rectified linear unit，ReLU)
[3][20140429] Rectified Linear Units