CNN卷積神經網絡之ResNeXt

• 前言
• 網絡結構
• 對比實驗
• 思考

前言

《Aggregated Residual Transformations for Deep Neural Networks》

論文位址：https://arxiv.org/abs/1611.05431

2017CVPR上的論文，ResNeXt是ResNet和Inception的結合體，是以你會覺得與InceptionV4有些相似，但卻更簡潔，同時還提出了一個新的次元： cardinality （基數），在不加深或加寬網絡增加參數複雜度的前提下提高準确率，還減少了超參數的數量。

網絡結構

相比于InceptionV4這裡将卷積核設計為統一的尺寸，也就是将resnet在寬度上進行複制。

實際實作上，是再進一步進行了等效轉換的，采用了分組卷積的方法。

網絡結構和參數：

對比實驗

模型的參數：

假設是第一列C=1 d=64：256 · 64 + 3 · 3 · 64 · 64 + 64 · 256 ≈ 70k

再滿足總的參數差不多的情況下，作者設計了多種組合模型進行對比實驗(trade off)：

卷積核次元變小，Cardinality增多，效果更好。其實也可以把ResNet看作是ResNext的特殊形式。

為了展示增加Cardinality在比增加深度和寬度更有優勢，作者對其他模型進行了對比：

也超過了當時的InceptionV4等：

思考

從資料上來看，ResNeXt比InceptionV4的提升也算不上質的飛躍，是以選擇的時候還是要多加考慮。

1. Inception系列網絡設計得複雜，有個問題：網絡的超參數設定的針對性比較強，當應用在别的資料集上時需要修改許多參數，是以可擴充性一般。
2. ResNeXt确實比Inception V4的超參數更少，但是他直接廢除了Inception的囊括不同感受野的特性仿佛不是很合理，在有些環境中Inception V4的效果是優于ResNeXt的。ResNeXt的運作速度應該是優于Inception V4的，因為ResNeXt的相同拓撲結構的分支的設計更符合GPU的硬體設計原則。
3. ResNeXt和ResNet相比，本質上是引入了group操作同時加寬了網絡，每個block的前兩個卷積層寬度和原來ResNet相比增加了一倍（卷積核次元）。寬度增加應該是效果提升的主要來源。但是如果不用group操作，單純增加寬度的話，顯然計算量和參數要增加不少，是以采用group操作可以減少計算量和參數量，通過控制分組的數量（基數）來達到兩種政策的平衡。至于Cardinality，差不多就是寬度的同義詞。

😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃😃

上一篇：CNN卷積神經網絡之SENet