深度學習筆記整理（三）——卷積神經網絡

1.神經認知機模型

由負責對比度提取的G層，負責圖形特征提取的S細胞層和抗變形的C細胞層交替排列組成。

• 經過交替排列，反複疊代，底層提取的局部特征會逐漸變成全局特征；
• 因輸入模式變化引起的畸變可以很好地被C細胞消除，對變形有較好的穩健性。

2.卷積神經網絡CNN

基于人類視覺皮層感受野的結構得到的模型，由輸入層、卷積層、池化層、全連接配接層、輸出層組成，接下來分别具體介紹不同層。

卷積的本質：如果全部都是全連接配接層，參數太多，無法調整，無法實作，是以改用卷積核，共享參數，減少參數量。

卷積層

• 由輸入樣本和卷積核進行内積運算，得到特征圖；
• 特征圖尺寸一般小于輸入樣本大小，可以先對輸入樣本零填充得到尺寸大小相同的特征圖；
• 滑動步長越大，得到的特征圖越小；
• 将卷積結果通過激活函數計算得到特征圖；
• 一個卷積層可以有多個卷積核，每個卷積核對應一個特征圖。

池化層

• 目的：減小卷積層産生的特征圖的尺寸，降低了特征圖的次元，使特征表示對輸入資料的位置變化具有穩健性；
• 方法：

1. 最大池化：選取圖像區域内的最大值；
2. 平均池化：選取圖像區域内的平均值；
3. Lp池化：突出圖像區域内的中央值，p越大越能突出中心位置的值。

全連接配接層

• 首先計算激活值，然後通過激活函數(sigmoid/tanh/ReLU)計算各單元的輸出值。

輸出層

• 使用似然函數計算各類别的似然機率；
• softmax函數、線性輸出函數。

3.卷積神經網絡的訓練

池化層的誤差傳播

• 把池化層看作有部分連接配接的全連接配接層；
• 誤內插補點隻在激活值最大的單元之間傳播，即誤差隻傳遞給池化時標明的單元，該單元連接配接權重為1，其它單元連接配接權重為0。

卷積層的誤差傳播

• 改寫成全連接配接層的形式；

• 

• 

• 

參數設定對結果的影響

• 其中，卷積核數量。激活函數種類和預處理對卷積結果有較大影響；
• 在訓練過程中，應該先确定重要參數，然後對其它參數進行微調。

卷積核大小	無顯著影響
卷積核數量	越多越好
激活函數種類	ReLU和maxout好于sigmoid和tanh
全連接配接層個數	無顯著影響
有無預處理	ZCA白色化和GCN+ZCA白色化都可以提高性能
有無DropOut	提高些許性能
不同學習率	無顯著影響
Mini-Batch大小	無顯著影響
有無歸一化層	無顯著影響

4.一些問題

标準BP算法&累積BP算法

• 标準BP算法：每次針對一個訓練樣例更新參數，參數更新頻繁，疊代次數較多。
• 累積BP算法：針對累積誤差最小化，讀取整個資料集後更新參數，參數更新頻率低，累計誤差進一步下降會越來越緩慢。

BP神經網絡的過拟合問題

• 早停政策：訓練誤差+驗證誤差，當驗證誤差達到最小時停止訓練。
• 加入正則化項：

  

跳出局部最小值的方法

• 用多組不同的參數初始化多個神經網絡，取誤差最小的為最優解；
• “模拟退火算法”，以一定機率接受次優解，機率逐漸降低以保持算法穩定；
• 随機梯度下降；
• 遺傳算法。