#2020.8.19
蘇神部落格的基礎seq2seq架構
玩轉Keras之Seq2Seq自動生成标題 | 附開源代碼
關于seq2seq的多種模式
模式一：
Encoder端、Decoder端都采用RNN。在編碼的每個時刻，RNN除了上一時刻産生的隐層狀态編碼時，還有目前時刻的輸入字元；而在解碼階段沒有這種輸入。最簡單的一種方式是：把編碼端得到的隐層向量作為解碼端的每一時刻的輸入向量。
模式二：帶回饋的解碼模式：
在解碼階段，每一時刻依賴于上一時刻的輸出與隐層向量
模式三：
帶編碼向量的解碼模式
模式四：帶注意力機制的解碼模式：
下圖是模式四模型實作的詳細圖解：
注：
兩個黃色的輸入使用的是相同的embedding data。
參考：大神部落格