論文閱讀:MIX: Multi-Channel Information Crossing for Text Matching(KDD2018)

今天同樣讀了一篇文本比對相關的論文，提出了一個多通道資訊融合的方法，文章提出這個模型的動機主要有以下幾點：

1、在局部資訊比對過程中，為了考慮到單個詞語比對過程中存在的不準确性（比如文中提到的hard work\work hard以及all in\in all這兩個詞組，同樣是颠倒了一下詞序，前者語義相近，而後者語義完全不同，這說明比對過程中不能僅以單個詞語為機關），文中引入了unigram,bigram,trigram三種處理方式，這樣對于同一個文本就得到了三個表達方式，分别計算相似度可以得到9個相似度矩陣，這就是局部比對的9個通道。

2、引入全局資訊。在有了局部比對資訊之後，為了引入全局的比對資訊，文章設計了3個attention機制，分别是用詞的idf表示的詞權重attention、Part-of-Speech(PoS)權重資訊以及詞語所在的位置權重。其中詞的idf作為attention可以突出一個句子中的關鍵詞在比對過程中的作用，比如文中舉得一個例子，勒布朗詹姆斯獲得總決賽MVP和斯蒂芬庫裡獲得總決賽MVP這兩句話中，明顯勒布朗詹姆斯和斯蒂芬庫裡這兩個詞對于比對的影響更大，雖然其他詞的相似度很高，但是由于這兩個詞不同使得整個句子的意思完全不同。第二個PoS權重資訊的原理與上述例子類似，類型為人名、地名、機構名的詞語在比對過程中明顯會提供更多的資訊，将這些類型的詞語比對權重提高，同時降低一些虛詞的權重（比如the、a）。最後文章考慮到處在同一個句子中不同位置的詞語也應該具有不同的權重。将這些權重加到局部比對結果上，總共可以得到27個比對矩陣，即27個通道。

3、融合多通道，文章使用的是卷積神經網絡來将多通道的結果融合，最終池化之後将得到的矩陣flatten放入多層感覺機中訓練即得到最終的比對得分。模型總體結構如下圖所示：