inception 論文閱讀筆記

inception V1

1. 提出inception unit，采用多個size的卷積核對輸入進行卷積。
2. 采用1x1 3x3 5x5的卷積核不是必須的，而是為了友善
3. 可以了解為不同大小的卷積核可以提取到圖像中不同大小的特征
4. 帶來的問題：需要訓練的參數太多   -------------解決方法：在使用3x3 5x5的卷積核之前使用一次1x1的卷積核進行降維，1x1的卷積核可以實作通道間的連接配接和資訊互通。

疑問：

決定3x3、5x5的卷積輸出次元的依據是什麼？

 Batch Normalization

1. 采用了批規範化Batch Normalization，使得訓練時可以采用更大的學習率、更少的關注參數初始化。
2. 論文中指出在最先進的圖像分類模型中采用批規範化可以減少14倍的訓練次數，卻能達到相同的準确率。
3. 為了減少訓練時梯度下降法帶來的nternal covariate shift，文章通過fixing the distribution of the layer inputs來提高訓練的速度。

4. We presented an algorithm for constructing, training, and performing inference with batch-normalized networks. The

   resulting networks can be trained with saturating nonlinearities, are more tolerant to increased training rates, and

   often do not require Dropout for regularization.

inception V3

1. 文章思考如何有效率的提升模型的規模而盡可能的減少計算代價。In this paper, we start with describing a few general principles and optimization ideas that that proved to be useful for scaling up convolution networks in efficient ways.
2. 提出了一些general principle:
3. 5x5的卷積核 可以通過兩個3x3的卷積核進行代替，同時減少了需要學習的參數數量，（18:25）

   

   

4. 同理，理論上來說 可以采用更加小的卷積核來代替3x3的卷積核，例如使用不對稱的卷積核組合 3x1 和 1x3

   

5. 網絡結構中采用了Auxiliary Classifiers，文中指出通過測試發現Auxiliary Classifiers結構出現在網絡深層效果比較好，在淺層網絡時，有無Auxiliary Classifiers對測試結果沒有影響。we argue that the auxiliary classifiers act as regularizer
6. 然而作者發現在使用這種不對稱的卷積核時，在淺層網絡的效果并不好，在中層的特征圖大小時得到較好的效果。——In practice, we have found that employing this factorization does not work well on early layers, but it gives very good results on medium grid-sizes (On m×m feature maps, where m ranges between 12 and 20). On that level, very good results can be achieved by using 1 × 7 convolutions followed by 7 × 1 convolutions..

   

Inception v4

1. 實驗結果表明 結合将residual結構結合到inception網絡中可以大大的加快inception網絡的訓練速度。
2. 在計算代價相當的情況下，residual inception網絡的表現稍好。
3. 文中提出了改進的inception結構稱之為V4，同時也将inception和residual結構進行結合。