ELMo 原了解析

本文首發于我的個人部落格：Sui Xin’s Blog

原文：https://suixinblog.cn/2019/09/elmo.html

作者：Sui Xin

ELMo (Embeddings from Language Models) 是一個深度上下文相關的詞嵌入語言模型。運用了多層雙向 LSTM 編碼器。

論文：Deep contextualized word representations

模型架構

整體上，ELMo 采用了多層雙向 LSTM 編碼器（上圖為雙層）建構語言模型，最終取各層 LSTM 的 hidden state 與初始的 word embedding 構成下遊任務的輸入。

Bi-LSTM LM

前向的語言模型為：

p ( t 1 , t 2 , … , t N ) = ∏ k = 1 N p ( t k ∣ t 1 , t 2 , … , t k − 1 ) p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{1}, t_{2}, \ldots, t_{k-1}\right) p(t1​,t2​,…,tN​)=k=1∏N​p(tk​∣t1​,t2​,…,tk−1​)

後向的語言模型為：

p ( t 1 , t 2 , … , t N ) = ∏ k = 1 N p ( t k ∣ t k + 1 , t k + 2 , … , t N ) p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{k+1}, t_{k+2}, \ldots, t_{N}\right) p(t1​,t2​,…,tN​)=k=1∏N​p(tk​∣tk+1​,tk+2​,…,tN​)

最終的語言模型極大似然函數為：

∑ k = 1 N ( log ⁡ p ( t k ∣ t 1 , … , t k − 1 ; Θ x , Θ ⃗ L S T M , Θ s ) + log ⁡ p ( t k ∣ t k + 1 , … , t N ; Θ x , Θ ← L S T M , Θ s ) ) \begin{array}{l}{\sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{L S T M}, \Theta_{s}\right)\right.}{\left.+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \overleftarrow \Theta_{L S T M}, \Theta_{s}\right)\right)}\end{array} ∑k=1N​(logp(tk​∣t1​,…,tk−1​;Θx​,Θ

LSTM​,Θs​)+logp(tk​∣tk+1​,…,tN​;Θx​,Θ

LSTM​,Θs​))​

其中， Θ x \Theta_{x} Θx​ 是 token 表示層的參數， Θ s \Theta_{s} Θs​ 是 softmax 層的參數，這兩個參數在前向和後向的語言模型中是共享的，隻有 LSTM 的參數不同。

ELMo

對于一個 token t k t_k tk​， L L L 層的 Bi-LSTM 可以得到 2 L + 1 2L+1 2L+1 個表示，最終通過拼接得到 L + 1 L+1 L+1 個特征：

R k = { x k L M , h → k , j L M , h ← k , j L M ∣ j = 1 , … , L } = { h k , j L M ∣ j = 0 , … , L } \begin{aligned} R_{k} &=\left\{\mathbf{x}_{k}^{L M}, \overrightarrow{\mathbf{h}}_{k, j}^{L M}, \overleftarrow{\mathbf{h}}_{k, j}^{L M} | j=1, \ldots, L\right\} \\ &=\left\{\mathbf{h}_{k, j}^{L M} | j=0, \ldots, L\right\} \end{aligned} Rk​​={xkLM​,h

k,jLM​,h

k,jLM​∣j=1,…,L}={hk,jLM​∣j=0,…,L}​

其中， h k , 0 L M = [ x k L M ; x k L M ] \mathbf{h}_{k, 0}^{L M}=[\mathbf{x}_{k}^{L M}; \mathbf{x}_{k}^{L M}] hk,0LM​=[xkLM​;xkLM​] 是 token embedding 重複拼接得到的向量， h k , j L M = [ h → k , j L M ; h ← k , j L M ] \mathbf{h}_{k, j}^{L M}=[\overrightarrow{\mathbf{h}}_{k, j}^{L M}; \overleftarrow{\mathbf{h}}_{k, j}^{L M}] hk,jLM​=[h

k,jLM​;h

k,jLM​] 是雙向的 LSTM 層 hidden state 拼接得到的向量。

對于下遊的監督學習任務，一般的做法是直接取 LSTM 最頂層的 hidden state 作為特征，但 ELMo 認為模型不同層學到的是不同的資訊，是以應該對得到的 L + 1 L+1 L+1 個特征計算一個權重組合：

E L M o k t a s k = E ( R k ; Θ t a s k ) = γ t a s k ∑ j = 0 L s j t a s k h k , j L M \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}=E\left(R_{k} ; \Theta^{t a s k}\right)=\gamma^{t a s k} \sum_{j=0}^{L} s_{j}^{t a s k} \mathbf{h}_{k, j}^{L M} ELMoktask​=E(Rk​;Θtask)=γtaskj=0∑L​sjtask​hk,jLM​

其中， s j t a s k s_{j}^{t a s k} sjtask​ 是一個 softmax 歸一化的權重系數，用于訓示每一層應該放置多少關注度， γ t a s k \gamma^{t a s k} γtask 是一個全局的縮放系數，實驗證明其非常重要。

下遊任務使用

對于一部分任務，将原始的嵌入向量和 ELMo 權重向量拼接即可作為下遊任務的特征： [ x k ; E L M o k t a s k ] \left[\mathbf{x}_{k} ; \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}\right] [xk​;ELMoktask​]

對于一部分任務，将 LSTM 某些中間層的嵌入向量和 ELMo 權重向量拼接可提升效果： [ h k ; E L M o k t a s k ] \left[\mathbf{h}_{k} ; \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}\right] [hk​;ELMoktask​]

某些情況下，在下遊任務中 fine-tuning 可極大的提升效果。

模型特點

優勢

• 上下文相關的 contextual 語言模型：減輕一詞多義的影響；
• 雙向編碼語言模型；
• 模型深。
• 不同的層捕獲到不同的自然語言資訊：較低層捕獲到文法資訊，較高層捕獲到語義資訊。

缺點

• 是僞的雙向模型；
• 特征抽取器為 LSTM 而不是更強的 Transformer。

參考

官方網址：https://allennlp.org/elmo

官方 GitHub：https://github.com/allenai/bilm-tf