論文閱讀感想：
Alexnet:
Alexnet其實是非常早期的神經網絡。在現在看來，其實基本已經沒有什麼特别出奇的地方了。Alexnet采用了五個卷積層和三個全連接配接層。
結構：
上面這個結構這麼奇怪的原因，是因為它在兩個gpu上訓練了，這主要是因為gpu性能不夠。。。
創新點：
相比于更早期的LeNet，它效果更好的原因除了深度略有加深以外，就是采用了當時比較新穎的激活函數——RELU。RELU的好處首先是減少了計算量而且緩解了梯度消失的風險。另外，RELU會使一部分激活單元的輸出為0，這就緩解了過拟合的風險。
AlexNet中使用了LRN，但是LRN基本上就是對激活單元進行了局部歸一化，但是據說LRN泛用性不太好，是以現在應用很少。
重疊池化也在AlexNet中提出，現在已經廣泛使用了，論文中說可以降低錯誤率，避免過拟合。
論文中提到了Data Augmentation，它其實就是一種通過對資料進行處理然後增大資料集的方法，可以有效避免過拟合，以後要是資料集不夠可以參考這種方法。
論文的網絡使用了Dropout的方法。Drop out的應用方法很簡單，就是創造一個和激活值次元相同的随機數矩陣，讓随機數矩陣中小于門檻值的數都變為0和激活值相乘即可。現在最常用的Drop out方法是Inverted Dropout，它是讓所有的激活值除以門檻值，以保證激活值的期望與原先相同。它能用來緩解過拟合。
除此之外，alexnet還用了動量法和批梯度下降等方法。
效果：
VGG：
在現在看來，VGG都算是一個比較深的網絡。作者一共實作了六種網絡結構，如下：
它們從11層一直到19層。
創新點：
因為VGG的深度比較大，是以VGG采用了更小的卷積核，以減少參數量，而且作者也發現更小的卷積核效果會更好。另外，VGG也在多個GPU上訓練神經網絡，最後取平均值。
除此之外，VGG将多種網絡模型的sofmax層進行平均，感覺比較類似內建學習中的投票，這樣達到了一個更好的效果。VGG還将multi-crop和dense評估進行了結合，達到了更好的效果。
VGG比較吸引研究人員的一點是它雖然采用了更深的網絡層，但它的網絡結構确實被簡化了。它發展出了卷積-池化的網絡模式，而且随着深度增加，通道數量不斷翻倍，圖像的高度和寬度以一定的規律減少，這種一緻性是很多人很感興趣的。
效果：
ResNet:
解決的問題：
當網絡的層數發展得越來越深，因為梯度消失問題和梯度爆炸問題的出現，是以随着網絡的加深，網絡的效果卻沒有增加甚至會變差。Resnet成功解決了這個問題，如下：
結構：
創新點：殘差設計思想
殘差元的主要設計有兩個，快捷連接配接和恒等映射，快捷連接配接使得殘差變得可能，而恒等映射使得網絡變深，而恒等映射主要有兩個：快捷連接配接為恒等映射和相加後的激活函數。
本質上，殘差網絡的訓練可以轉換為學習一個殘差函數F(x) = H(x) - x. 隻要F(x)=0，就構成了一個恒等映射H(x) = x。這樣就可以讓網絡自主選擇網絡的深度。
簡單來說，殘差網絡有很多像下面這樣的殘差塊組成，而殘差塊就是通過Shortcut Connections的方式讓殘差網絡的結構可以自行調控，已達到網絡的加深效果。