DenseNet是CVPR 2017的文章，論文原文《Densely Connected Convolutional Networks》。
在深度神經網絡中，随着網絡深度的加深，梯度消失問題越來越明顯。論文作者為了解決這個問題，直接将所有層連接配接起來。DenseNet 是一種具有密集連接配接的卷積神經網絡。在該網絡中，任何兩層之間都有直接的連接配接，也就是說，網絡每一層的輸入都是前面所有層輸出的并集，而該層所學習的特征圖也會被直接傳給其後面所有層作為輸入。
即每一層的輸入來自前面所有層的輸出。L層的網絡有L*(L+1)/2個連接配接。
DenseNet網絡更窄，參數更少。
ResNet通過identity function來解決深層網絡梯度消失問題。
而DenseNet則是通過直連前面所有層的輸出。
其中H(.)表示的三個連續的操作：batch normalization（BN），rectified linear unit（ReLU）和3x3 convolution（Conv）。
正是因為這種密集連接配接的結構，才能把網絡設計的非常窄，否則容易出現欠拟合現象。
作者将DenseNet分成多個dense block，原因是希望各個dense block内的feature map的size統一，這樣在做concatenation就不會有size的問題。
dense block的3*3卷積前面都包含了一個1*1的卷積操作，就是所謂的bottleneck layer，目的是減少輸入的feature map數量，既能降維減少計算量，又能融合各個通道的特征。作者為了進一步壓縮參數，在每兩個dense block之間又增加了1*1的卷積操作。
這裡的k表示每個H(.)會産生的feature maps的數量，第l層就有k0+kx(l-1)個輸入的feature maps，其中k0是輸入層的通道數。