我們常用的基于梯度優化的深層網絡往往需要大量的資料和疊代步驟。
我們面對的資料場景是有一系列小的資料集而不是一個大的資料集，每一個類有很少的标記資料，這種情況和人類的學習很像，通過一個給定的資料，就能總結出對事物全面的認識，其中主要有兩個原因導緻了基于梯度的優化算法在小樣本下表現不好。元學習被認為是實作人類水準的智能的一個關鍵點，元學習在兩個層次間學習，（1）在每項任務中學習，（2）同時積累任務之間相似性和差異的知識。
受參數梯度更新的啟發，提出了基于lstm的元學習模型，因為元學習的更新和lstm細胞狀态的更新相似，是以我們訓練一個基于lstm的元學習器來學習訓練網絡過程中的更新規則，我們把lstm中單元的狀态看作元分類器的參數，将元學習器的更新規則和LSTM的細胞狀态更新相比對。
元學習優化器能夠在給定一系列分類器在訓練集的梯度和損失下，為分類器生成一系列更新，進而使分類器達到較好的表現。每一步疊代t，基于lstm的元學習器都接受到分類器傳來的梯度，損失等資訊，元學習器基于此計算學習率和忘記門的值，并傳回給分類器要更新的參數的值，每疊代T步，分類器的損失在測試集上計算出來傳回給元學習器，用來訓練元學習器，更新元學習器的參數。
帶注釋論文的下載下傳連結如下：
https://download.csdn.net/download/qq_34562093/10975718