目标檢測(一)

卷積神經網絡結構發展曆程，那些留下過名字的模型：

LeNet ----> AlexNet ----> ZFNet —> VGGNet —> GoogleNet ---->ResNet ----> DenseNet

每個經典的模型都提出創意性的概念：

1、leNet :Gradient-Based Learning Applied to Document Recognition

特點：

• shared weight 權值共享：減少神經網絡中間變兩個數。全職共享為什麼有效：圖像和核進行卷積結果反應了一定的邊緣和梯度資訊，每個神經元(卷積核)代表了不同的(邊緣)特征，是以同一層中的每個神經元卷積結果反映了前一層的不同特征模式，本質上還是神經網絡(多組特征的組合)。
• 确定了之後卷積神經網絡的基本套路：卷積、非線性化->池化 + 全連接配接層分類或回歸

  

2、AlexNet ：ImageNet Classification with Deep Convolutional Neural Networks

特點：

• 正則化方法Dropout:（之前的總結）

  1、前向傳播中，在隐藏層以一定的機率使個别神經元失活

  2、前向傳播中，要對沒有失活的資料進行scale

  3、反向傳播中，在前向階段失活的神經元依然保持失活

  4、test 和應用階段，不需要進行 dropout

• loca response normalization(LRN)： 目的提高泛化能力(已經很少使用了)
• 使用激活函數Relu ： 防止梯度彌散，加快模型訓練速度

  

3、ZFNet Visualizing and Understanding

Convolutional Networks

網絡結構上面：調整了卷積核大小，stride 。取得一些提升，也證明了感受野的大小對結果時有影響的。不同深度的網絡學習到的特征對分類有作用。

特點

• 特征可視化：反卷積、反激活、反池化

4、VGG-Net Very Deep Convolutional Networks for Large-Scale Visual Recognition

特點：

• 深：就像文章的名稱一樣，VGG-Net在深度上進行的探索。

  提出了分階段預訓練的方法來初始化權重。先訓練一部分淺層的網絡然後在此基礎上進行加深。

• 小尺寸的卷積核多次使用1X1的卷積核：1X1的卷積和不改變輸入的次元，增加非線性性。（可以起到降維的作用）

GoogleNet(Inception)：Going deeper with convolutions

特點：

• inception結構：

  

  這個結構的意義在于，在該層中感受野是可選擇的，自适應的，這個中結構相當于提供了多種感受野，訓練的權重會傾向于某些大小的核。卷積不同核的pading 選擇不同的大小確定卷積後的大小（H、W）一緻。
• 1X1的卷積核： 降維，減少參數

5、ResNet Deep Residual Learning for Image Recognition

特點

• resdual 結構：這種結構是的，神經網絡在更深的層數時能夠保持性能。