从Seq2Seq到Attention：彻底改变序列建模注意力机制是神经机器翻译模型中解决上下文压缩、短期记忆限制和偏差问

从 Seq2Seq 到 Attention：彻底改变序列建模

注意力机制是神经机器翻译模型中解决上下文压缩、短期记忆限制和偏差问题的重要工具，其起源可以追溯到很久以前。本文介绍了注意力机制的基本原理，并详细解释了加性注意力和Bahdanau注意力的原理。注意力机制的三个主要组件是编码器、解码器和注意力评分函数。编码器和解码器由双向和单向RNN组成，通过注意力评分函数，网络可以自动（软）搜索源句子中与预测目标单词相关的部分，从而生成更准确和上下文感知的序列。