DeepQA技術揭秘——文本比對模型

在Chatbot整體解決方案中， 既有面向任務型的taskbot（諸如訂機票、查天氣等）， 也有更偏向知識問答的qabot，而在客服場景下，最基礎的類型也是這類。如果從知識庫的形式來區分qabot，可以有 基于「文檔」的doc-qabot、基于「知識圖譜」的kg-qabot、基于「問答對」的faq-qabot等。我們這裡重點關注的是最後一種faq-qabot（也簡稱faqbot）， 這種形式的方案對使用者而言易了解易維護，也是目前chatbot解決方案中不可缺的一部分。

本篇内容已被ACL2019收錄，《Simple and Effective Text Matching with Richer Alignment Features》，下載下傳位址：

https://102.alibaba.com/downloadFile.do?file=1565937869795/Simple%20and%20Effective%20Text%20Matching%20with%20Richer%20Alignment%20Features.pdf

faqbot就是将query比對到一條「問答對」上，從技術的角度看，有兩大類方法， 一是text classification， 二是text matching，它們各有适合的場景，前者适合咨詢量大且比較穩定的faq，後者适合長尾或時常變化的faq。

店小蜜是我們提供給阿裡平台商家的一套智能客服解決方案。在店小蜜中， 基于Faq的問答是個很基礎的部分，我們在這個領域，在文本分類和文本比對上進行了各方面的研究和實踐， 在本篇中重點對文本比對的基礎模型進行介紹。

「文本比對」是NLP方向的一個重要研究領域，有着悠久的曆史，很多NLP任務都與此相關，比如 natual language inference、parahparase identification、answer selection等，都可以歸結成「文本比對」問題。

有很多人研究這個課題， 目前優秀的比對模型有哪些？這些模型有什麼異同？這些模型存在哪些問題？這些都是我們展開這個項目需要先分析和回答的問題。我們通過分析SNLI榜單上的模型，有幾個結論：

1. 優秀的比對模型都可以歸納成embed-encode-interacte-aggregate-predict五個步驟， interact部分主要是做inter-sentence alignment；
2. 在interact步驟中的對齊操作，設計會比較複雜；而且很多模型隻有一次interact步驟；
3. 也有些更深的模型結構，會做多次的inter-sentence alignment， 但因為較深的模型面臨着梯度消失、難以訓練的問題；
4. 不管是參數量還是響應時間，支撐像店小蜜這樣對實時性能要求比較高的場景，都不是很理想。

是以我們在設計的時候， 要求我們的模型在更少的參數量、更簡潔的模型結構、更少的inference cost， 保證更容易訓練、更适合部署到生産環境， 在這幾個前提下， 我們也希望能借鑒深層網絡的優勢，讓我們可以很友善地加深我們的網絡層次， 讓模型有更強的表達能力。