新智元報道
作者：陳江捷
編輯：好困
【新智元導讀】網際網路技術的發展讓資訊得以快速傳播，同時也讓我們每日能夠接收到的資訊以接近「爆炸」的速度增長。大量的資訊輸入使得人們已經難以依賴自己有限的知識鑒别這些消息的真假，尤其是在一些如新冠疫情的重要事件上。是以，我們需要尋求自動化的事實驗證算法，利用可靠的資訊源（如百科）來判斷給定的陳述是否可信。
事實檢驗算法旨在利用現有知識庫來檢驗文本的事實正确性。
目前，事實驗證的方法通常是将問題拆解為兩個步驟：檢索階段（retrieval）和驗證階段（verification）。
在檢索階段，檢索模型根據給定的陳述文本（claim）從知識庫中檢索得到相關的文本描述，作為用于驗證最終結果的證據（evidence）；在驗證階段，驗證模型則會根據檢索到的證據來推理得出最終的預測結果。
然而，大多數現有模型通常隻是給出最終分類結果，缺乏對一個陳述正确與否的解釋，導緻我們很難知道模型為何做出了這樣的預測。這對于建構值得信任的人工智能應用是十分有害的。
為了解決事實檢驗中的可解釋性問題，位元組跳動人工智能實驗室和複旦大學的團隊提出了 LOREN ，一種全新的可解釋事實檢驗範式：将針對整個陳述的驗證拆解為短語級别的驗證。
Paper: https://arxiv.org/abs/2012.13577
Code: https://github.com/jiangjiechen/LOREN
在該範式下，模型能夠給出整個陳述的細粒度驗證結果，進而以更直覺的方式幫助大家了解模型推理過程，也能夠更快地鎖定事實錯誤。
可解釋驗證
問題模組化
LOREN的主要思想是将句子級别（sentence-level）的驗證拆解為短語級别（phrase-level的驗證。
圖2：LOREN 架構
針對給定的陳述
以及證據集
組成的輸入
，模型需要在得到最終預測結果
的同時，給出陳述中所有短語
的驗證結果
，其中
，
分别表示符合事實 (Supports），不符合事實 (Refutes) 和無法驗證 (Not Enough Information)。
定義隐變量
為所有短語的預測結果，顯然最終的預測結果
依賴于每個短語的預測結果
，是以可以将最終的預測結果用機率表示為：。
在給定輸入資料
對應的标簽
後，可以得到整個模型的優化目标：
。
該問題的一種解法是使用 EM 算法，然而
的真實後驗分布
很難求解（intractable）。
是以，利用變分推斷（variational inference）的方法，通過引入一個變分後驗分布
，将問題轉化為優化對應的變分下界目标函數——negative Evidence Lower BOund（ELBO）：
為KL散度。
為了得到短語驗證結果的先驗分布
，作者借鑒了自然語言推理（Natural Language Inference，NLI）的工作，将 NLI 中的
和
标簽分别對應到
借助在 NLI 資料上預訓練好的預訓練模型，就可以計算得到先驗分布
邏輯限制
本工作中最大的挑戰在于：現有的資料并不支援短語粒度的學習，因為沒有（也不可能有）短語的事實正确性
标注結果。
針對這個問題，作者提出并利用了事實檢驗問題中天然存在的一套邏輯聚合規則來提供弱監督信号來幫助學習
，并事實上将其轉化為最終标簽與短語級别标簽之間的一種邏輯限制。
可以觀察到以下邏輯規則：
如果一個陳述是不符合事實的（REF），那麼其中至少存在一個短語不符合事實；
如果一個陳述是符合事實的（SUP），那麼其中所有短語都應該符合事實；
如果一個陳述是無法驗證的（NEI），那麼應該不存在不符合事實的短語，并且其中至少一個短語是無法驗證的。
這種邏輯規則可以被形式化地表示為：
其中
分别對應于
表示驗證結果。
用機率軟化上述邏輯規則：
且
這樣通過機率聚合得到的結果
就包含了上述的邏輯知識。作者将其作為老師模型 (teacher model) 去指導
，即進行邏輯知識蒸餾：。
最終，模型的優化目标包含兩部分：。
構造局部前提
為了實作上述短語級别的驗證，需要解決兩個問題：
找到陳述中需要被驗證的短語；
在知識庫中找到足以檢驗這些短語的資訊。這些都可以在訓練上述驗證模型之前離線完成。
針對第一個問題，作者利用現有的 NLP 解析工具去識别給定陳述中的命名實體，名詞短語，動詞短語以及形容詞短語。例如給定陳述「Kung Fu Panda was released in 2016.」，我們可以将其拆分為「Kung Fu Panda」（命名實體）， 「released」（動詞短語）以及「2016」（名詞短語）。
針對第二個問題，作者将其模組化為一種閱讀了解 (MRC) 任務。給定陳述和短語，首先對給定的短語構造引導問題，如「Kung Fu Panda was released in [MASK].」和「When was Kung Fu Panda released?」，并利用 MRC 模型從證據集中擷取到對應的事實部分，如證據集中存在描述「Kung Fu Panda premiered in the United States on June 6, 2008.」，那麼我們希望模型能夠回答出「2008」。
将這個事實回填到陳述的對應位置後，就可以得到一個短語對應的局部前提（local premise）
，如「Joe Biden won the 2020 election.」。具體地，利用
的資料去自監督地構造資料并訓練這個生成式 MRC 模型。
事實驗證
得到了陳述的局部前提，就可以利用神經網絡參數化
這兩個分布以用于最終的事實驗證。
利用預訓練語言模型來編碼局部資訊（陳述與局部前提拼接為
）和全局資訊陳述與證據集拼接
），并得到了
與
得到全局與局部的資訊表示後，分别利用全連接配接網絡來建構最終的
：
接收标簽
的向量表示和全局資訊
與局部資訊
作為輸入，輸出
的預測機率分布。
接收隐變量
與全局與局部資訊作為輸入，輸出
的預測機率分布。在預測階段，通過随機初始化變量
并疊代地解碼
直至收斂，至此，就能夠在預測最終标簽的同時，針對給定陳述中不同的短語進行細粒度的驗證。
主要實驗結果
作者在事實驗證資料集 FEVER 上開展了實驗，并采用官方的 Label Accuracy 以及 Fever score 作為評估名額，整體結果如表1所示。對比 LOREN 與 KGAT[2]，可以發現在相同量級的模型下，LOREN 取得了顯著的效果提升。
雖然 DREAM[3] 與 LOREN 在檢索階段采用了不同的政策，但是 LOREN 在最終名額上的提升也表明了該架構的優勢。然而 LisT5[4] 因為其強大的預訓練模型（T5-3B，十倍于RoBERTa-large），在測試集上的效果要明顯優于其他模型。
表1：在FEVER資料及上的整體表現
短語驗證效果
LOREN 最大的優勢展現在能夠針對短語級别進行驗證，而這一特性則是通過引入
實作的，是以作者驗證了在不同超參
下 LOREN 的表現，如表2所示。
結果顯示，通過 LOREN 架構學習得到的解釋既正确又忠實。具體地，
表示利用邏輯聚合得到最終的結果的準确率（accuracy），而
則表示聚合結果與模型最終預測結果之間的一緻性（faithfulness）。
可以看到引入邏輯限制之後，模型在
上都得到了提升，并且機率軟邏輯的聚合方式整體上要優于離散邏輯的聚合方式。
特别地，當
時，短語事實正确性的學習沒有了邏輯限制，是以這些中間結果也就失去了意義和可解釋性。
表2：邏輯限制對模型效果的影響
Case study
圖3：Case study
圖3展示了 LOREN 的一些驗證結果。在第一個例子中，LOREN 能夠正确地在給定的陳述中找到錯誤的短語「number three」并将其糾正為「number one」，并且基于局部的驗證結果，LOREN 正确地給出了最終的驗證結果。
然而 LOREN 也會在一些缺少充分證據支援的場景下出現錯誤，如例2的證據隻提及了「Ashley Cole」出生于「England」，而沒有提及「England」和「Iranian」的關系，是以隻能給出
，但是 LOREN 錯誤地給出了
。例3則表明 LOREN 具備檢測包含多個錯誤的陳述的能力。
總結
本文提出了一種基于短語級别分解的可解釋事實檢驗算法 LOREN。通過利用 MRC 對分解的短語尋找驗證資訊，并通過聚合邏輯限制短語正确性的學習，使黑盒模型獲得了既準确又忠實的解釋性。
與此同時，在事實檢驗基準資料集 FEVER 上的結果說明了 LOREN 模型達到了與相同量級模型更好的結果。
當然，LOREN 也存在許多尚未解決的問題，如常識推理能力、更強的證據檢索能力、更一般的陳述分解方法等等。
LOREN 在事實檢驗領域做出了可解釋推理的簡單嘗試，希望未來出現更多推動模型具備推理能力的研究 (make a system right for the right reasons)。
作者介紹
論文一作陳江捷，複旦大學三年級博士生，複旦大學知識工場實驗室成員。主要研究興趣為自然語言推理與生成。
參考資料：
Jiangjie Chen, Qiaoben Bao, Changzhi Sun, Xinbo Zhang, Hao Zhou, Jiaze Chen, Yanghua Xiao, and Lei Li. "LOREN: Logic Enhanced Neural Reasoning for Fact Verification." AAAI 2022 (pre-print).
Zhenghao Liu, Chenyan Xiong, Maosong Sun, and Zhiyuan Liu. "Fine-grained fact verification with kernel graph attention network." ACL 2020.
Wanjun Zhong, Jingjing Xu, Duyu Tang, Zenan Xu, Nan Duan, Ming Zhou, Jiahai Wang, and Jian Yin. "Reasoning over semantic-level graph for fact checking." ACL 2020.
Jiang, Kelvin, Ronak Pradeep, and Jimmy Lin. "Exploring listwise evidence reasoning with t5 for fact verification." ACL 2021.