本期給大家介紹的是康奈爾大學Fei Wang教授課題組在AAAI-19上發表的一篇關于醫學命名實體識别和标準化的文章。該文章提出了一種新的深層神經多任務學習架構，該架構采用顯示回報政策來聯合模組化醫學命名實體識别和标準化，并将這兩個分層任務轉化為并行多任務，同時保持了任務之間的互相聯系，使得實體識别和标準化模型的性能都得到了很大的提升。
1
介紹
醫學命名實體識别(MER)的标準化(MEN)的目标是找到實體邊界，并将它們映射到受控詞彙表上。最新研究表明，聯合模組化醫學命名實體識别和标準化，比流水線模型具有更精确的效果。流水線模型有兩個主要的局限性：(1)識别标記錯誤會導緻标準化錯誤；(2)識别和标準化是互惠互利的，但流水線模型不能利用這些潛在的好處。許多學術者已經提出了一些聯合模組化醫學命名實體識别和标準化的方法，但這些方法任然存在一些缺點：(1)嚴重依賴手工特征和特定任務資源，不能對字元級、語義級等複雜的特征進行編碼；(2)使用簡單的方法對醫學命名實體識别和标準化進行聯合模組化，不能為兩者提供必要的互相支援。
為了解決這些問題，文章提出了一種新的具有顯示回報政策的深度神經多任務學習（MTL）架構，來聯合模組化實體識别和标準化。這種方法可以更先進、更智能的利用實體識别和标準化之間的互惠關系，并通過具有正則化效應的多任務學習，為兩個任務提供通用表示，最大限度地減少了特定任務的過度适應，使學習到的表示在任務之間更具有普遍性。其次，該方法可以将分層任務轉換為并行多任務，同時保持任務之間的互相支援。該方法的創新之處在于它結合了從低級任務到進階任務，進階任務到低級任務的回報政策。使階層化任務(MER和MAN)在保持任務間互相支援的同時，轉化為并行多任務模式成為可能。
在本文中，作者将MER和MEN看做兩個并行的任務。MER和MEN采用相同的輸入但具有不同的輸出。對于每個單詞序列w1，…，wn，MEN輸出來自不同标簽集合的标簽序列。是以，可以将MEN視為具有與MER相同的輸入的序列标記任務。文章使用Bi-LSTM來支援文本的順序模組化，用CNN來編碼隐藏在字元級特征(如Zolmitritan、Zomig和Zomigon)中的線索。
2
方法
2.1 符号說明
2.2 模型
文章模型分三個步驟完成：1）用CNN從單詞中提取字元表示資訊（如單詞字首或字尾）；2）用Bi-LSTM進行序列标記；3）顯示回報政策的多任務模型将MER和MEN轉換成并行任務。
本文使用字元嵌入作為CNN的輸入，沒有字元類型特征，并且在CNN之前對字元嵌入應用一個dropout層。
每個詞的特征經過CNN提取後都被傳送到forward LSTM和backward LSTM。每個網絡在每個時間步長的輸出由線性層和log-Softmax層解碼成每個标簽類别的對數機率。然後将這兩個矢量簡單地相加，産生最終輸出。其工作原理如式1所示：
作者認為vi=Fθ(x1：n，i)是在焦點單詞wi周圍的無限視窗，然後使用多類分類函數f(vi)的輸入來向每個輸入位置i配置設定标簽yi。标簽之間沒有交集。或者，将Bi-LSTM的輸出向量饋送到CRF層，以聯合解碼最佳标簽序列。對于MER和MEN的k層Bi-LSTM标記器得到：
其中E是詞嵌入函數。
經過Bi-LSTM提取标簽序列特征後，文章嘗試了一種基于堆棧Bi-LSTM、CNN和CRF的多任務學習架構。多任務學習可以看作是一種通過與其他歸納法共享表示來标準化模型歸納的方法。作者使用堆疊的Bi-LSTM-CNNS-CRF與來自多個任務的任務監督，共享Bi-LSTM-CNNs層。其工作原理如圖1所示：
圖1 神經多任務學習模型的主要結構
3
實驗
3.1 資料集
作者在實驗中使用了兩個資料集：
BC5CDR：包含1500篇PubMed摘要，這些摘要平均分為三個部分，訓練集、驗證集和測試集。每個摘要中提到的一個疾病都是用它所指的受控詞彙表的概念辨別符手動注釋的。
NCBI Disease：NCBI疾病語料庫由793篇PubMed摘要組成，這些摘要又分為訓練（593）、驗證（100）和測試（100）子集。NCBI疾病語料庫使用MeSH或OMIM中的概念辨別符，用疾病提及進行注釋。
3.2 參數設定
作者分别用四種公開的預訓練的詞嵌入來初始化單詞嵌入矩陣：Word2Vec、GloVe、Senna和randomly initialized。使用概念精度、召回率和F1來評估模型性能。采用動量梯度下降優化模型，dropout rate=0.5，學習率為0.001，動量為0.9，持續20個時期。
3.3 實驗結果
為了評估MTL模型的有效性，作者将其與現有的實體識别和标準化模型進行了比較，其結果如表2所示。整個表格分為6個部分，第一部分證明了聯合模型要顯著優于流水線模型；第二部分證明了添加CRF層并不能帶了顯著改善，而添加CNN層能夠提取字元級資訊提高模型準确率；第三部分證明了多任務學習同樣能夠提高模型性能；第四和第五部分分别在MER和MEN任務的回報進行的改進，證明了回報政策都能提高這兩個任務的性能，其中對MER效果尤為明顯；最後一部分展示了将Bi-LSTM、多任務學習（MTL）和MER，MEN的回報政策聯合起來的模型效果，最終證明了文章提出的模型效果是最優的。
3.4 其他實驗
除此之外，作者還證明了dropout層、詞嵌入對模型性能的影響，實驗表明了有dropout層和使用在PubMed摘要和全文文章上訓練的Word2vec嵌入的模型效果更佳。最後作者還分析了普通模型和本文模型的邊界不一緻誤差，實驗結果表明MTL可以顯著的緩解MER和MEN邊界不一緻問題，進而提高模型性能。
4
總結
以往的研究表明，醫學命名實體識别與規範化之間是是互惠互利的。為了更先進、更智能地利用兩者之間的關系，文章提出了一種新的具有兩種顯式回報政策的深層神經多任務學習架構來聯合模組化MER和MEN。該方法可以将分層任務，即MER和MEN，轉換成并行的多任務模式，并在任務之間保持互相支援。實驗結果表明，這樣的模型優于以往的任何模型。