Dropout: A Simple Way to Prevent Neural Networks from Over tting
基本原理
結果
敏感性分析
對特征圖譜的影響：
可以看到 使用dropout後cnn計算出來的特征圖譜要平滑的很多
稀疏性的影響
可以看出，使用droupout後 很多隐層單元的activation 激活值都接近與0，隻有少部分的神經元的激活值特别大。
p的影響
左圖表示 隐層節點不變的情況下，當p增加時，測試誤差先下降，然後再在[0.4,0.8]中平滑，最後在0.8~1時 誤差又上升，使用底部很寬的”U”形曲線，是以一般 我們讓隐層的p取0.5就是最優的。
資料集大小的影響
可以看到，從資料集較小的時候（ 102到103 ）左右，不帶dropout的标準神經網絡表現較好，當資料集再( 103 ）以上時，使用dropout的優勢就開始凸顯了。
雖然上面使用的是MMIST資料集做的測試，但是它基本可以反映在資料集較小時 dropout優勢不明顯 甚至沒有什麼優勢。當資料集增大時 就很厲害了。
但是 dropout 技術也抵不上使用大資料集的效果明顯。
是以說 ，增強資料集才是硬道理啊！
讀後感：
dropout是一個近似化的內建學習方法。它通過依某機率關閉神經網絡裡面的某些單元來生成一同的小神經網絡模型，這個過程就是有點像從神經網絡的所有節點中采樣出來一些樣本形成一個tiny neural network.然後通過對不同這個network的學習來完成不同小模型的訓練。在預測過程中無須再像內建學習那樣顯式滴計算每個模型的輸出，然後取平均。直接将使用模型進行預測即可，在計算的過程中就會隐式的進行內建決策。隐式的結果和進行顯式的內建預測是一緻的。
dropout的優勢：
1.可以在神經網絡上進行內建學習，它相當于 2n 個小型神經網絡的內建學習,其中n是網絡的除輸出層的節點個數。這個 2n 個網絡實際上隻有很少的幾個被訓練到，但是因為權值共享，導緻這個 2n 個網絡可以共享參數，是以即使大部分小網絡都沒被訓練過，但是它們可以使用其他小模型已經訓練好的參數。
2.訓練速度快，實作友善。