dropout與lstm的結合使用

1、dropout是神經網絡中最有效的正則化方法；

2、傳統的dropout在rnn中效果不是很好；dropout在rnn中使用的效果不是很好，因為rnn有放大噪音的功能，是以會反過來傷害模型的學習能力；

3、在rnn中使用dropout要放在時間步的連接配接上，即cell與cell之間傳遞，而不是神經元；對于rnn的部分不進行dropout，也就是說從t-1時候的狀态傳遞到t時刻進行計算時，這個中間不進行memory的dropout；僅在同一個t時刻中，多層cell之間傳遞資訊的時候進行dropout

參考：https://arxiv.org/pdf/1409.2329.pdf

參考：https://blog.csdn.net/mydear_11000/article/details/52414342