近日，一篇題為《Training Neural Networks with Very Little Data-A Draft》IEEE 論文提出了一種使用少量資料訓練神經網絡的新方法，即通過極坐标空間中的徑向變換（radial transform) 實作圖像增強。它并未改變資料的資訊内容，而是改進了資料的多樣性，并最終提升了神經網絡的泛化表現。
摘要：深度神經網絡是由許多節點層組成的複雜架構，結果導緻大量需要在訓練中評估的參數，包括權重、偏差等。相比于簡單的架構，更大、更複雜的神經網絡需要更多的訓練資料滿足适當的收斂。然而，可用于訓練網絡的資料要麼有限、要麼不均衡。我們提出在極坐标空間中的徑向變換（radial transform) 進行圖像增強，進而幫助資料較少的神經網絡進行訓練。每像素的坐标變換提供了原始圖像與增強後的資料在極坐标系統中的表征，且又能增加表征較弱的圖像類别的多樣性。使用我們提出的方法，在 MNIST 上，以及使用 AlxNet、GoogLeNet 神經網絡模型的一系列多模型醫療圖像上的試驗表現出了極高的分類準确率。
圖 1：徑向變換采樣。a）使用徑向變換從笛卡爾坐标系統（左）中把樣本映射到極坐标系統（右）。b）極坐标系統中的徑向變換。c）使用徑向變換篩選 256 × 256 圖像（2D 平面）中的離散樣本。任意標明的極點在像素（170，50）處。d）把 c）中篩選的樣本從極坐标系統映射到笛卡爾坐标系統。紅色樣本表明了樣本從 c）到 d）的映射方向。
圖 2 ：來自 MNIST 資料集的樣本和使用極坐标系中的徑向變換 RT（·）的相應表征。
圖 3：多模态醫療資料集的樣本，以及在極坐标系統中使用徑向變換的相應表征。
表 4：使用 MNIST 和醫療多模态資料集中的原始和徑向變換圖像訓練的 AlexNet 和 GoogLeNet 模型的收斂行為。術語「RT」是指徑向變換圖像，術語「Original」是指用很少的原始圖像訓練的模型。x 軸表示訓練疊代，左 y 軸表示訓練時的模型損失，右 y 軸表示使用驗證資料集訓練時的模型準确度。
表 1：通過原始和徑向變換的多模态醫療圖像訓練的 AlexNet 和 GoogLeNet 的準确度（「Acc.」in %）和置信度（「Conf.」in %）值。「Abd」是指腹部 MRI，「Std」是标準偏差。黑體部分是最佳結果。
表 2 ：通過原始和徑向變換的 MNIST 圖像訓練的 AlexNet 和 GoogLeNet 的準确度（「Acc.」in %）和置信度（「Conf.」in %）值。「Std」是标準偏差。黑體部分是最佳結果。
成功地訓練深度神經網絡需要大量均衡的資料。在實踐中，大部分資料集都是不均衡的，或者特定類别的資料集可用的資料有限。在此論文中，我們提出了極坐标系統中的徑向變換來增加資料集中的樣本量，進而幫助對神經網絡的訓練。提出的這種資料增強方法并未改變資料的資訊内容，而是改進了資料的多樣性。我們的結果顯示這種方法增加了神經網絡的泛化表現，也就是機器學習模型預測未知資料的輸出值的準确率。在非常少的資料上訓練目前最佳的 AlexNet 和 GooLeNet 神經網絡模型，表明該方法在整個學習流程中訓練損失和驗證準确率都有極大的波動。
原文釋出時間為：2017-09-13
本文作者：李亞洲、黃小天
本文來自雲栖社群合作夥伴極市網，了解相關資訊可以關注極市網。