目錄
感受野
多個小卷積核連續卷積和單個大卷積核卷積的作用相同
小卷積核的優勢
參考資料
| 感受野 |
在卷積神經網絡中，感受野（Receptive Field）的定義是卷積神經網絡每一層輸出的特征圖（feature map）上的像素點在輸入圖檔上映射的區域大小。再通俗點的解釋是，特征圖上的一個點對應輸入圖上的區域，如下圖所示：
傳回目錄
| 多個小卷積核連續卷積和單個大卷積核卷積的作用相同 |
像LeNet、AlexNet網絡，都是用了較大的卷積核，目的是提取出輸入圖像更大鄰域範圍的資訊，一般是卷積與池化操作相連。而小卷積核同樣可以做到這個效果，其結構可能有多個卷積相連，然後再連接配接池化層。
以一個5*5的卷積核舉例：
以2個3*3的卷積核舉例：
結論：
使用3*3的卷積核連續卷積2次可以達到5*5的卷積核卷積1次提取特征圖的能力；
同理，使用3*3的卷積核連續卷積3次可以達到7*7的卷積核卷積1次提取特征圖的能力；
| 小卷積核的優勢 |
優勢一：
整合了三個非線性激活層，代替單一非線性激活層，增加了判别能力。
優勢二：
減少了網絡參數。
以3個3*3的級聯卷積代替1個7*7的卷積為例：可以減少7*7-3*3*3=22個參數，減少了45%的參數。
以2個3*3的級聯卷積代替1個5*5的卷積為例：可以減少5*5-2*3*3=7個參數，減少了28%的參數。
優勢三：
減少了計算量
以3個3*3的級聯卷積代替1個7*7的卷積為例：可以減少7*7*L-3*3*3*L=22*L次計算，減少了45%的計算量。
以2個3*3的級聯卷積代替1個5*5的卷積為例：可以減少5*5*L-2*3*3*L=7*L次計算，減少了28%的計算量。
| 參考資料 |
《圖解深度學習與神經網絡：從張量到TensorFlow實作》_張平
《深-度-學-習-核-心-技-術-與-實-踐》