ElMo模型_3分钟热情学NLP第10篇

3分钟热情学NLP第10篇，ELMo模型

1、word2vec和glove面临的严重问题

word2vec和glove面临的1个严重的问题是多义词问题。

在Word Embedding 时，单词的向量值是唯一的，如中文“苹果”，英文“bank”，在训练时，这些多义词会被训练成“同义词”，即它们在模型中向量值是1个。word2vec无法表示多义。

ElMo模型，可以有效地解决多义词问题。

2、ElMo模型简介

ELMO，Embedding from Language Models，

对应的论文为：Deep contextualized word representation，地址：https://www.aclweb.org/anthology/N18-1202/

相比于Word2vec等静态的Word Embedding模型，ELMo模型的特点就是，根据实际单词的上下文，动态地去调整预训练好的Word Embedding的向量值。

比如，在“苹果”的上文有“水果”这个词，那么，我们就可以调整 当前 苹果 的向量值。

2、ElMo的2个阶段

第一个阶段是利用语言模型进行预训练；

第二个阶段是在做下游任务时，从预训练网络中提取对应单词Embedding作为新特征补充到下游任务中。