神經網絡圖靈機DAY2

學習論文Memory Networks。Memory Networks又一個記憶數組和4個元件構成。其中記憶數組類似于Neuron Turing Machines中的external memory一樣，也是用額外的記憶體來增強整個網絡的能力。四個元件分别是：

I（輸入特征映射）：對原始資料預處理部分并将處理轉化後的資料特征傳給下一個元件，比如對圖像的模糊化之類的，當然最簡單的就是不做任何處理，直接将原始資料傳給下一個元件。

G（更新記憶）：在從I步驟得到資料特征後，基于此更新記憶數組，最簡單的方式就是直接将得到的輸入特征存入記憶數組，原論文中也有基于資料更新整個記憶數組的方法。

O（輸出）：基于最新的記憶和輸入特征映射，得到初步的輸出，也就是得到一個o = O（I（x），m），其中o為輸出、O為輸出函數、I（x）為輸入特征映射、m為更新後的記憶。原論文給出o1=O1(x,m)=argmax（O(I(x),mi)），這裡的意思就是周遊整個記憶數組，得到是的O(I(x),mi)最大的一個作為o輸出，注意這裡我們可以有多個輸出，也就是說可以輸出o1、o2…。這裡o2一般為o2=O2(x,m)=argmaxO([I(x),mo1],mi)而這裡(I(x)變成了[I(x),mo1]，也就是說我們之前得到的記憶要考慮在内。

R（響應）：基于o獲得我們最後想要的輸出，我們的o得到的是與問題最相關的記憶，我們是從最相關的記憶再來得出最後的輸出，這就是R，r=R([x,mo1,mo2],w)最後輸出r，這裡的R和O一樣都是基于一定條件（這裡是[x,mo1,mo2]）來比對我們的輸出集合W中的内容（注意這個架構我們所有的輸出必定存在于輸出集合内），并将最比對的那個w作為最終的輸出。

這是最後的loss function，其中我們可以發現這裡的優化需要O、R部分參與，且對于監督學習我們必須同時提供O、R的标簽，這在實際應用中顯然不現實，我們很難給出O這個中間過程的标簽，接下來的End-to-End将解決這個問題。