CNN經典網絡模型發展史：LeNet, AlexNet, VGGNet, GoogLeNet, ResNet, DenseNet（持續更新）

​​

LeNet

• 這是最早用于數字識别的CNN，标志着CNN的真正面世

• 7層（1Input+3Cov+1FC+1Output

​​

AlexNet

• 網絡增大（5Cov+3maxpool+1Softmax

• Data Augmentation：水準翻轉、随機裁剪、平移變換、顔色、光照變換；

• Dropout

• ReLU

• LRN歸一化層的使用

• 帶動量的随機梯度下降

• 百萬級ImageNet圖像資料，GPU實作

VGGNet

• 訓練時間長，網絡權重規模太大（VGG16 (553MB，VGG19(575MB

• 規整的網絡結構：對于同一輸出特征圖尺寸，這些網絡層有相同的filters，特征圖的尺寸減半，特征圖的filters翻倍。

• 引入了3*3 filter和maxpooling/2

• 網絡輸入224*224(input_size>=48*48

Inception V1

• NIN（Network in Network）中引入了1*1 filter，用于降維

• 增加了網絡的寬度和深度

• 同時使用了1*1，3*3，5*5的卷積，增加了網絡對尺度的适應性

Inception V2

• 加入了BN（Batch Normalization）層，增加了模型的魯棒性，much higher learning rate and less careful about initialization, eliminating the need for Dropout.

• 用2個連續的3*3 conv替代inception子產品中的5*5，進而實作網絡深度的增加，網絡整體深度增加了9層

Inception V3

• 提出了卷積分解（Factorization），将7*7分解成兩個一維的卷積（1*7,7*1），3*3也是一樣（1*3,3*1），加速計算，使得網絡深度進一步增加

• 增加網絡寬度，網絡輸入從224*224變為了299*299(input_size>=139*139

Inception V4

• 利用殘差連接配接（Residual Connection），将Inception子產品和ResidualConnection結合

ResNet

• Deeper (152 layers—8 deeper than VGG nets​
• Shortcut​
• ResNet 中的很多層級實際上對整體的貢獻非常小，在訓練中随機丢棄一些層級也不會有很大的影響。

DenseNet

• 提升網絡層級間資訊流與梯度流的效率，并提高參數效率

• 每一層的輸出都會作為後面所有層的輸入​

模型比較：