一. 提出背景
CVPR2017 的 Best Paper,簡單大氣上檔次!
論文:Densely Connected Convolutional Networks 【點選下載下傳】
Caffe代碼:【Github】
受 Highway、ResNet 等算法思路的啟發,提出一種跨層的連接配接網絡,思路非常簡單,直接上圖:
二. 算法思路
作者這個提法比較大膽,每個層的 input 包括之前所有層的資訊,通過将前面N多個層的 Feature 組合起來,形成對特征更豐富的描述和判别。從思想上來講,是比較容易接受的,看一個完整的網絡結構圖:
這個網絡包含3個 Dense Block,中間通過 Convolution 和 Pooling 連接配接。
但是明顯這将帶來很大的計算量,我們來看作者是怎麼處理的?
由于每個Layer的輸入會比較多,是以可以減少每一層的 Channel 數量,Feature 使用率比較高,整體算下來,同樣的連接配接數量,會比 ResNet 的 Feature 更少,通過實驗對比,用一半的計算量達到了 ResNet 的效果。
三. 實驗結果
在CIFAR和SVHN資料集上的錯誤率:
和 ResNet 在 參數 和 浮點運算量 進行對比:
給總結吧,根據自己的了解,密集的網絡連接配接更能反映真實的人腦連接配接情況,更複雜的互聯方式也許還在路上,這應該就是留給我們的期待,越來越接近真理!