論文閱讀：《Neural Machine Translation by Jointly Learning to Align and Translate》

4.EXPERIMENT SETTINGS

• task:英法翻譯
• 使用ACL WMT’14提供的雙語平行語料庫。作為對比，采用RNN 的Encoder-Decoder模型在相同的訓練集上進行對比。

4.1 資料集

采用雙語平行語料庫，選用每種語言中最常見的30,000個單詞來訓練模型，沒有包括在裡面的被映射成([UNK])。沒有采用小寫或者詞幹。（lowercasing or stemming to data）。

4.2 Models

訓練了兩種模型：

• RNN Encoder–Decoder (RNNencdec ）

• 該文章提出的模型：RNNsearch

  每個模型訓練兩次：一次是sentence長度為30words;第二次是sentence長度為50words。

• difference：

RNNencdec	RNNsearch
encoder和decoder各有1000個hidden units	1. encoder由forward and backward recurrent neural network組成，每個有1000 hidden units。2.decoder有1000個hidden units。

• common：

1.都使用單個的maxout層計算每個target word的條件機率。

2.使用SGD和Adadelta 來訓練每個模型，SGD每80個sentences更新一次方向。

5 QUALITATIVE ANALYSIS

5.2 ALIGNMENT

通過可視化 α i , j \alpha_{i,j} αi,j​來檢查源句子和翻譯中單詞的軟對齊。

.