學習筆記，僅供參考，有錯必糾
文章目錄
- Deep Sparse Rectifier Neural Networks
- Abstract
- Introduction
- Background
- Deep Rectifier Networks
- Experimental Study
- Image Recognition
- 實驗結果
- 稀疏性實驗結果
- 半監督與監督學習
- Conclusion
Deep Sparse Rectifier Neural Networks
Abstract
本文提出一種RELU激活函數，該激活函數可以激發稀疏性，可以獲得與雙曲正切函數(Tanh)等同,甚至更好的效果.
Introduction
計算神經模型和機器學習中的神經網絡具有一定的差異. 這種差異可以被RELU激活函數消除.
Background
The main gaps that we wish to consider between computational neuroscience models and machine learning models are the following:
- 大腦中神經元隻有少部分(1%-4%)處于工作狀态，也就是有稀疏性。 如果不使用L1正則化，則神經網絡很難達到稀疏的狀态。
- 一種常見的生物學模型 leaky integrate-and-fire(LIF)如下所示 輸入電流與 firing rate的關系圖如下所示，可以看到，當電流較小時，firing rate一直為0；當輸入電流達到一定程度時，firing rate的值才大于0；随着電流越大，firing rate逐漸增長，但是增長速率也在逐漸降低.
經典DL論文研讀(part2)--Deep Sparse Rectifier Neural Networks
Deep Rectifier Networks
本文提出一種RELU激活函數，當輸入信号到達門檻值時，該激活函數才會非0. 下圖中的右圖為RELU激活函數圖，左圖為應用了RELU激活函數的神經網絡結構，可以看到當使用RELU激活函數時，部分神經元的輸出為0，則此時神經網絡具有系數性…
Experimental Study
Image Recognition
實驗結果
實驗中，在4個資料集上使用3個激活函數，并分别采用使用無監督預訓練(受限玻爾茲曼機：Restricted Boltzmann machines)和不使用無監督預訓練的方式進行實驗. 由結果可知，利用RBF對模型進行預訓練對基于RELU激活函數的神經網絡影響不大. 同時，使用RELU激活函數，可以得到與使用Tanh匹敵，甚至更好的結果.
稀疏性實驗結果
下圖中，橫坐标為稀疏度，縱坐标為錯誤率. 可以看出當系數率在[75%, 85%]的範圍内，錯誤率較低，但是随着稀疏度的增高，錯誤率逐漸上升.
半監督與監督學習
針對RELU激活函數來說，在半監督情況下，預訓練會得到很好的模型性能提升效果. 但是随着标簽數量的上升(監督學習)，是否對模型進行預訓練的效果将沒有顯著差別.
Conclusion
RELU激活函數可以在不使用預訓練的情況下，提高模型的性能，以獲得更好的結果.