原文連結：
小樣本學習綜述: 三大資料增強方法mp.weixin.qq.com
本文内容來源于最新小樣本學習綜述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》中的第三節——Data部分。該部分内容主要講如何通過先驗知識達到資料增強的目的。文中把現有的資料增強方法歸納為三種:（1）Transforming Samples from Dtrain，（2）Transforming Samples from a Weakly Labeled or Unlabeled Data Set ，（3）Transforming Samples from Similar Data Sets。本文将會對這三種資料增強方法做相關介紹。
✎ Tip
全文共計2945字，預計閱讀時長8分鐘。關注公衆号背景回複"200430",即可擷取《Generalizing from a Few Examples: A Survey on Few-Shot Learning》論文原文
Data augmentation via hand-crafted rules is usually used as pre-processing in FSL methods. They can introduce different kinds of invariance for the model to capture. For example, on images, one can use translation [12, 76, 114, 119], flipping [103, 119], shearing [119], scaling [76, 160], reflection [34, 72], cropping [103, 160] and rotation [114, 138].許多增強規則根據資料集制定，使得他們很難應用到其他資料集中。是以manual data augmentation 不能完全解決FSL問題。還有一些資料增強方式依賴于樣本是如何轉化和添加到訓練集的。我們把他們分類在Table 3當中。
下面，我們将分别介紹這三種方法。
01 Transforming Samples from Dtrain
這個政策通過轉換訓練集中原有的(xi,yi)(xi,yi)為多個樣本來增加訓練集DtrainDtrain. 轉換過程作為先驗知識包含在經驗E中，以便生成其他樣本。早期的FSL論文[90]通過将每個樣本與其他樣本反複對齊，從相似的類中學習了一組幾何變換。将學習到的變換應用于每個（xi，yi）以形成大資料集，然後可以通過标準機器學習方法學習大資料集。類似地，[116]從相似類中學習了一組自動編碼器，每個自動編碼器代表一個類内可變性。通過将習得的變化量添加到xixi來生成新樣本。在[53]中，通過假設所有類别在樣本之間共享一些可變換的可變性，可以學習單個變換函數，将從其他類别學習到的樣本對之間的差異轉移到（xi，yi）。在[74]中，不是枚舉成對的變量，而是使用從大量場景圖像中獲悉的一組獨立的屬性強度回歸将每個xixi轉換為幾個樣本，并将原始xixi的标簽配置設定給這些新樣本。[82]在[74]的基礎上進行了改進，将連續屬性子空間用于向x添加屬性變化。
02 Transforming Samples from a Weakly Labeled or Unlabeled Data Set
此政策通過從标記弱監督或未标記的大資料集中選擇帶有目标标記的樣本來增強Dtrain。例如，在用監控攝像頭拍攝的照片中，有人，汽車和道路，但沒有一個被标記。另一個示例是一段較長的示範視訊。它包含說話者的一系列手勢，但是沒有一個被明确注釋。由于此類資料集包含樣本的較大變化，是以将其增加到Dtrain有助于描繪更清晰的p（x，y)p（x，y)。而且，由于不需要人工來标記，是以收集這樣的資料集更加容易。但是，盡管收內建本很低，但主要問題是如何選擇帶有目标标簽的樣本以增加到Dtrain。在[102]中，為Dtrain中的每個目标标簽學習了一個示例SVM，然後将其用于從弱标簽資料集中預測樣本的标簽。然後将具有目标标簽的樣品添加到Dtrain中。在[32]中，标簽傳播直接用于标記未标記的資料集，而不是學習分類器。在[148]中，采用漸進政策選擇資訊豐富的未标記樣品。然後為標明的樣本配置設定僞标簽，并用于更新CNN。
03 Transforming Samples from Similar Data Sets
該政策通過彙總和改編來自相似但較大資料集的輸入輸出對來增強DtrainDtrain。聚集權重通常基于樣本之間的某種相似性度量。在[133]中，它從輔助文本語料庫中提取聚合權重[133]。由于這些樣本可能不是來自目标FSL類，是以直接将彙總樣本增加到DtrainDtrain可能會産生誤導。是以，生成對抗網絡（GAN）[46]被設計為從許多樣本的資料集中生成不可區分的合成x [42]。它有兩個生成器，一個生成器将few-shot類的樣本映射到大規模類，另一個生成器将大規模類的樣本映射到少數類（以彌補GAN訓練中樣本的不足） 。
Discussion and Summary
使用哪種增強政策的選擇取決于具體的應用。有時，針對目标任務（或類）存在大量弱監督或未标記的樣本，但是由于收集注釋資料和/或計算成本高昂（這對應于引入的第三種情況）。在這種情況下，可以通過轉換标記較弱或未标記的資料集中的樣本來執行增強。當難以收集大規模的未标記資料集，但few-shot類具有某些相似類時，可以從這些相似類中轉換樣本。如果隻有一些學習的轉換器而不是原始樣本可用，則可以通過轉換訓練集中的原始樣本來進行擴充。總的來說，通過增強DtrainDtrain解決FSL問題非常簡單明了, 即通過利用目标任務的先驗資訊來擴充資料。另一方面，通過資料擴充來解決FSL問題的弱點在于，擴充政策通常是針對每個資料集量身定制的，并且不能輕易地用于其他資料集（尤其是來自其他資料集或域的資料。最近，AutoAugment [27]提出了自動學習用于深度網絡訓練的增強政策的來解決這個問題。除此之外，因為生成的圖像可以很容易地被人在視覺上評估，現有的方法主要是針對圖像設計的。而文本和音頻涉及文法和結構較難生成。[144]報告了最近對文本使用資料增強的嘗試。
推薦參考文獻
[108]T. Pfister, J. Charles, and A. Zisserman. 2014. Domain-adaptive discriminative one-shot learning of gestures. InEuropean Conference on Computer Vision. 814–829.
[32] Y. Duan, M. Andrychowicz, B. Stadie, J. Ho, J. Schneider, I. Sutskever, P. Abbeel, and W. Zaremba. 2017. One-shot imitation learning. In Advances in Neural Information Processing Systems. 1087–1098.[27] E. D. Cubuk, B. Zoph, D. Mane, V. Vasudevan, and Q. V. Le. 2019. AutoAugment: Learning augmentation policies from data. In Conference on Computer Vision and Pattern Recognition. 113–123.
更多參考文獻可通過
閱讀原文獲得。