天天看點

【論文學習記錄】Densely Connected Convolutional Networks

DenseNet是CVPR 2017的文章,論文原文《Densely Connected Convolutional Networks》。

在深度神經網絡中,随着網絡深度的加深,梯度消失問題越來越明顯。論文作者為了解決這個問題,直接将所有層連接配接起來。DenseNet 是一種具有密集連接配接的卷積神經網絡。在該網絡中,任何兩層之間都有直接的連接配接,也就是說,網絡每一層的輸入都是前面所有層輸出的并集,而該層所學習的特征圖也會被直接傳給其後面所有層作為輸入。

【論文學習記錄】Densely Connected Convolutional Networks

即每一層的輸入來自前面所有層的輸出。L層的網絡有L*(L+1)/2個連接配接。

DenseNet網絡更窄,參數更少。

ResNet通過identity function來解決深層網絡梯度消失問題。

【論文學習記錄】Densely Connected Convolutional Networks

而DenseNet則是通過直連前面所有層的輸出。

【論文學習記錄】Densely Connected Convolutional Networks

其中H(.)表示的三個連續的操作:batch normalization(BN),rectified linear unit(ReLU)和3x3 convolution(Conv)。

正是因為這種密集連接配接的結構,才能把網絡設計的非常窄,否則容易出現欠拟合現象。

作者将DenseNet分成多個dense block,原因是希望各個dense block内的feature map的size統一,這樣在做concatenation就不會有size的問題。

【論文學習記錄】Densely Connected Convolutional Networks

 dense block的3*3卷積前面都包含了一個1*1的卷積操作,就是所謂的bottleneck layer,目的是減少輸入的feature map數量,既能降維減少計算量,又能融合各個通道的特征。作者為了進一步壓縮參數,在每兩個dense block之間又增加了1*1的卷積操作。

【論文學習記錄】Densely Connected Convolutional Networks

 這裡的k表示每個H(.)會産生的feature maps的數量,第l層就有k0+kx(l-1)個輸入的feature maps,其中k0是輸入層的通道數。

繼續閱讀