小樣本學習 few-shot learning

小樣本學習

在現實世界中，人可以通過很少量的示例就很好很快的接受一個新的事物，比如，看過一兩張北極熊的照片，人們就可以很輕易的從黑熊、棕熊、北極熊、熊貓中找到哪一種動物是北極熊。這是因為随着歲月的積累，人們已經擁有了大量的先驗知識(prior knowledge)，使得對一個新鮮事物，隻需要少量的例子就可以“學習”到該事物的特點。

機器學習、人工智能的目标就是模仿人的行為，現如今在CV領域，利用CNN等深度學習方法來進行圖檔分類已經在很多領域達到甚至超越了人類專家的水準，然而這些成果的獲得都需要海量的資料集來支援網絡的訓練，這對于一些領域是難以接受的，例如醫學圖像分析領域，醫學圖像往往比較難以獲得，特别是病情比較嚴重的圖像。小樣本學習就是為了解決這個問題，小樣本學習的目标就是使得計算機能夠在已經擷取了許多其他領域或相關領域的先驗知識的情況下，在面對一個新的領域中的很少量的資料時，能夠對其進行很好的識别。

小樣本學習的模式通常為：

在其他領域的大資料集上訓練一個模型->用新領域的少量資料集略作優化或直接使用原模型->得出結果

• 基于Finetune的小樣本學習方法

  Finetune的方法主要思想是在一個龐大的資料集上預訓練一個模型，然後利用目标領域的少量資料集對該模型再進行訓練，更新參數，達到對模型的微調效果。

• 基于metric的小樣本學習方法

  基于度量(metric)的方法的模型大多由兩部分組成，第一部分為一個特征抽取器，第二部分為一個基于metric的分類器。訓練所用資料集同樣為一個數量龐大的其他領域資料集，然後在目标資料集上測試。基于度量的方法往往将訓練資料集化為一個個episode模拟小樣本模式進行訓練，在每個episode中又分出support set (Xi, Yi)和 query set (Xj, Yj)， 将support set作為基準，對query set 中的X分類為y，然後根據y 與 Yj 計算loss 更新特征抽取器以及帶參數的分類器。

  基于metric的分類器分為兩種，一種是帶有參數的由模型訓練出一個分類器，另一種是簡單的距離度量，如歐式距離、餘弦距離等。

（未完待續）