天天看点

RNN和LSTM理解结构图

一篇讲解RNN输出与状态之间区别的文章,很多手绘讲解图:https://zhuanlan.zhihu.com/p/28919765

以下图片摘自https://www.jianshu.com/p/f3bde26febed

RNN结构图:

内部循环展开的为hidden state,即ht

RNN和LSTM理解结构图

LSTM分解步骤图:

C(cell state)为贯穿整个循环过程中的状态(Ct为t时刻状态),包括了所有的状态。我个人理解相当于贯穿始终的仓库。

并且整个过程由遗忘门,输入门,输出门来控制Ct的增加与删除。

  • 遗忘门控制 保留多少Ct-1
  • 输入门控制 从ht-1和xt-1中增加多少东西到Ct-1中,两者构成Ct
  • 输出门控制 从Ct中选取多少内容作为新的t时刻的输出,即ht

对于一个LSTM单元来说,输入xt,ht-1,Ct-1 ,输出ht,Ct

具体见下图:

RNN和LSTM理解结构图

继续阅读