本文為 AI 研習社編譯的技術部落格，原标題 ：
Review: RoR — ResNet of ResNet / Multilevel ResNet (Image Classification)
作者 | Sik-Ho Tsang
翻譯 | 斯蒂芬·二狗子
校對 | 醬番梨 稽核 | 約翰遜·李加薪 整理 | 立魚王
原文連結：
https://towardsdatascience.com/review-ror-resnet-of-resnet-multilevel-resnet-image-classification-cd3b0fcc19bb
在本文中，我們簡短地回顧一下RoR（殘餘網絡的殘餘網絡）。在成為最先進的深度學習方法并赢得衆多競賽認可的ResNet成功之後，有許多研究者對如何推廣或改進ResNet的做出了研究，相關的有 Pre-Activation ResNet, ResNet in ResNet (RiR), ResNet with Stochastic Depth (SD), Wide Residual Network (WRN)。RoR就是一篇改進ResNet的論文，它們引入了一組概念，就是帶有短連接配接的ResNet子產品。這個創新使得網絡成為多級分層的ResNet模型。這篇論文于2016年首次出現在ResNet之後，于2017年被接受并最終于2018年TCSVT發表，已經有數十篇引文。
本文包括的内容：
RoR的概念（Res網絡子產品的殘差網絡）
RoR-m：等級數m
RoR的不同版本
結論
1.RoR概念（殘差網絡的殘差網絡）
原始ResNet（左），RoR（右）
Original ResNet 顯示在左上方，許多Res塊級聯在一起并形成一個非常深的網絡。
在 Res塊 中，有兩條路徑：
卷積路徑，執行卷積以提取特征。
短連接配接方式将輸入信号直接傳輸到下一層的連接配接路徑。
利用短連接配接路徑，可以減少梯度消失問題，因為在反向傳播期間誤差信号可以更容易地傳播到前面的層。
上面右側顯示的RoR的建議，我們也可以在多個Res塊上進行短連接配接。除此之外，我們還可以在一組“剩餘塊組”中建立另一級别的短連接配接。
作者認為：
RoR将學習問題轉變為學習殘差到殘差映射，這比原始 ResNet 更簡單，更容易學習。
并且上面的塊中的層也可以将資訊傳播到下面塊中的層。
2.RoR-：Level Number m
級别編号m介紹：
當m = 1時，RoR僅具有最終級短連接配接，即原始殘差網絡。
當m = 2時，RoR隻有root-level（最外層）和最終級别的短連接配接。
當m = 3時，RoR具有根級别，中級和最終級别的連接配接。
對于中級連接配接，每個短連接配接将跨越具有相同數量的特征圖的Res塊。
對m = 4和5也進行了測試，但在論文中沒有任何關于它的細節。結果與m = 3相比不夠好。
3.RoR的不同版本
RoR-3使用原始ResNet（左），RoR-3使用Pre-ResNet或WRN（右）
如上圖所示，RoR适應于不同版本的ResNet。
RoR-3：使用原始ResNet且m = 3的RoR
Pre-RoR-3：使用Pre-Activation ResNet且m = 3的RoR
RoR-3-WRN：使用WRN且m = 3的RoR
簡而言之，RoR-3使用Conv-BN-ReLU。 Pre-RoR-3使用BN-ReLU-Conv，而WRN是更寬更淺的Pre-RoR-3。 （如果有興趣，請閱讀我對原始ResNet，Pre-Activation ResNet和WRN的評論，見原文。）
4.結果
4.1三個資料集CIFAR-10, CIFAR-100, SVHN
CIFAR-10: 10類分類資料
CIFAR-100: 100類分類資料
SVHN: 街景房屋号資料集
CIFAR-10，CIFAR-100，SVHN資料集上的測試的錯誤率（％）
RoR-3-164：通過将RoR應用于164層原始ResNet，
（+ SD 表示使用随機深度，以減少過度拟合），分别獲得CIFAR-10和CIFAR-100資料集的4.86%和 22.47%測試錯誤率。
（164是模型深度。）
Pre-RoR-3-164 + SD：通過用Pre-ResNet替換原始殘差子產品的RoR模型，分别獲得CIFAR-10和CIFAR-100資料集的4.51％和21.94％測試錯誤率。
RoR-3-WRN40-4 + SD：通過用更寬的40層WRN40-4替換pre-ResNet，分别獲得CIFAR-10和CIFAR-100資料集的4.09％和20.11％測試錯誤率。
RoR-3-WRN58-4 + SD：對于更深層的58層WRN-58-4，分别獲得了CIFAR-10和CIFAR-100資料集的3.77％和19.73％的測試錯誤率。
4.2 ImageNet資料集
ImageNet：ILSVRC中的1000類的大規模資料集。
ImageNet資料集上的10個目标的Top1和Top5測試錯誤率（％）
RoR-3的不同層版本始終優于ResNet的不同層版本。本文中有詳細的驗證明驗。如有興趣，請通路論文。
使用長跳過連接配接和短跳過連接配接的類似方法也已應用于生物醫學圖像分割。希望我也可以下一次談這個。
相關參考
[2018 TCSVT] [RoR]
Residual Networks of Residual Networks: Multilevel Residual Networks
我對圖像分類的相關評論博文
[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Inception-v3] [Inception-v4] [Xception] [MobileNetV1] [ResNet] [Pre-Activation ResNet] [RiR] [Stochastic Depth] [WRN] [DenseNet]
感謝 Ludovic Benistant.
想要繼續檢視該篇文章相關連結和參考文獻？雷鋒網雷鋒網雷鋒網(公衆号：雷鋒網)
點選【RoR（ResNet of ResNet） - 用于圖像分類的多級殘差網絡】或長按下方位址通路：
https://ai.yanxishe.com/page/TextTranslation/1526
Python中文書籍大集合
100本Python中文電子書，6份源代碼，Python從入門到出家，一條龍服務。
包含Python基礎、進階、爬蟲、算法實作、深度學習、TensorFlow、NLP等等
友情提示：檔案大小為2.89GB，慎用流量下載下傳，可以先收藏喲~~！
點選連結即可擷取：https://ai.yanxishe.com/page/resourceDetail/676