天天看點

DenseNet:更接近于真實神經網絡的跨層連接配接

一. 提出背景

       CVPR2017 的 Best Paper,簡單大氣上檔次!

       論文:Densely Connected Convolutional Networks 【點選下載下傳】

       Caffe代碼:【Github】

       受 Highway、ResNet 等算法思路的啟發,提出一種跨層的連接配接網絡,思路非常簡單,直接上圖:

DenseNet:更接近于真實神經網絡的跨層連接配接

二. 算法思路

       作者這個提法比較大膽,每個層的 input 包括之前所有層的資訊,通過将前面N多個層的 Feature 組合起來,形成對特征更豐富的描述和判别。從思想上來講,是比較容易接受的,看一個完整的網絡結構圖:

DenseNet:更接近于真實神經網絡的跨層連接配接

       這個網絡包含3個 Dense Block,中間通過 Convolution 和 Pooling 連接配接。

       但是明顯這将帶來很大的計算量,我們來看作者是怎麼處理的?

       由于每個Layer的輸入會比較多,是以可以減少每一層的 Channel 數量,Feature 使用率比較高,整體算下來,同樣的連接配接數量,會比 ResNet 的 Feature 更少,通過實驗對比,用一半的計算量達到了 ResNet 的效果。

三. 實驗結果

       在CIFAR和SVHN資料集上的錯誤率:

DenseNet:更接近于真實神經網絡的跨層連接配接

        和 ResNet 在 參數 和 浮點運算量 進行對比:

DenseNet:更接近于真實神經網絡的跨層連接配接

       給總結吧,根據自己的了解,密集的網絡連接配接更能反映真實的人腦連接配接情況,更複雜的互聯方式也許還在路上,這應該就是留給我們的期待,越來越接近真理!

繼續閱讀