inception 论文阅读笔记

inception V1

1. 提出inception unit，采用多个size的卷积核对输入进行卷积。
2. 采用1x1 3x3 5x5的卷积核不是必须的，而是为了方便
3. 可以理解为不同大小的卷积核可以提取到图像中不同大小的特征
4. 带来的问题：需要训练的参数太多   -------------解决方法：在使用3x3 5x5的卷积核之前使用一次1x1的卷积核进行降维，1x1的卷积核可以实现通道间的连接和信息互通。

疑问：

决定3x3、5x5的卷积输出维度的依据是什么？

 Batch Normalization

1. 采用了批规范化Batch Normalization，使得训练时可以采用更大的学习率、更少的关注参数初始化。
2. 论文中指出在最先进的图像分类模型中采用批规范化可以减少14倍的训练次数，却能达到相同的准确率。
3. 为了减少训练时梯度下降法带来的nternal covariate shift，文章通过fixing the distribution of the layer inputs来提高训练的速度。

4. We presented an algorithm for constructing, training, and performing inference with batch-normalized networks. The

   resulting networks can be trained with saturating nonlinearities, are more tolerant to increased training rates, and

   often do not require Dropout for regularization.

inception V3

1. 文章思考如何有效率的提升模型的规模而尽可能的减少计算代价。In this paper, we start with describing a few general principles and optimization ideas that that proved to be useful for scaling up convolution networks in efficient ways.
2. 提出了一些general principle:
3. 5x5的卷积核 可以通过两个3x3的卷积核进行代替，同时减少了需要学习的参数数量，（18:25）

   

   

4. 同理，理论上来说 可以采用更加小的卷积核来代替3x3的卷积核，例如使用不对称的卷积核组合 3x1 和 1x3

   

5. 网络结构中采用了Auxiliary Classifiers，文中指出通过测试发现Auxiliary Classifiers结构出现在网络深层效果比较好，在浅层网络时，有无Auxiliary Classifiers对测试结果没有影响。we argue that the auxiliary classifiers act as regularizer
6. 然而作者发现在使用这种不对称的卷积核时，在浅层网络的效果并不好，在中层的特征图大小时得到较好的效果。——In practice, we have found that employing this factorization does not work well on early layers, but it gives very good results on medium grid-sizes (On m×m feature maps, where m ranges between 12 and 20). On that level, very good results can be achieved by using 1 × 7 convolutions followed by 7 × 1 convolutions..

   

Inception v4

1. 实验结果表明 结合将residual结构结合到inception网络中可以大大的加快inception网络的训练速度。
2. 在计算代价相当的情况下，residual inception网络的表现稍好。
3. 文中提出了改进的inception结构称之为V4，同时也将inception和residual结构进行结合。