作者丨周鵬
學校丨中山大學碩士
研究方向丨計算語言學，二語加工、認知與教學
諷刺是一種普遍存在的語言現象，由于其主觀性、缺乏語境和深刻的見解，解釋起來極具挑戰性。來自印度因陀羅普羅司泰資訊技術研究所的學者對此提出一種基于自然語言生成的多模态諷刺解釋（MuSE）——給定一個包含圖像和标題的多模态諷刺文本，生成一個自然語言解釋來揭示預期的諷刺。
為此，他們開發了MORE，一個新的資料集，解釋了3510篇多模态諷刺文章。每個解釋都是一個自然語言（英語）句子，描述隐藏的反諷。通過采用基于多模式轉換器的體系結構來進行更多的基準測試。它在Transformer的編碼器中包含了一個跨模式注意，它注意兩種模式之間的差別特征。随後，使用基于BART的自回歸解碼器作為生成器。實證結果表明，在五個評估名額的不同基線（MuSE采用）上得出了令人信服的結果。他們還對預測反諷進行人類評估，并獲得Fleiss的Kappa分數0.4，這是25名評估人員之間得出的公平一緻性。
源代碼和資料集：
https://github.com/LCS2-IIITD/MultimodalSarcasm-Explanation-MuSE.
MuSE任務的執行個體和主要貢獻
執行個體：
諷刺指使用諷刺或諷刺的陳述來傷害、侮辱或冒犯某人。這種陳述的表面含義通常不同于預期的含義，要了解諷刺，人們需要知道該陳述時的上下文。Joshi,Sharma和Bhattacharyya（2015）認為不協調的存在是諷刺的重要信号。而在MuSE模型中，它不僅能發現諷刺，而且能揭示隐含的諷刺，這對于從電子商務中的回報分析到敏感的社交媒體分析等各種應用來說，了解為什麼諷刺的内容就像以諷刺的形式檢測負面情緒一樣重要。該任務以一個多模态（圖檔及其标題）的諷刺文本作為輸入，目的是生成一個自然的語言句子來解釋諷刺文本中預期的諷刺。下面圖1就是MuSE任務的一個執行個體，圖檔顯示有一輛車停在一棟大樓前，上面有使用者寫的諷刺标題“這家夥在停車時得到了一顆金星；”。考慮到跨模态的不協調（圖檔和标題的不協調），我們可以意識到使用者突出了不當停車，因為它部分覆寫了為殘障人士預留的停車位。 作為MuSE任務的結果，我們對這個諷刺的文本進行類似的解釋。
▲ 圖1
标題（諷刺的話語）：這家夥因為停車而獲得金星。
解釋：這個家夥把車部分停在了殘障人士停車位上。
非諷刺的話語：這個家夥不會因為停車不好而獲得金星。
MuSE的制定：
突變的任務不同于使用注意力熱圖（attention heatmaps）的傳統可解釋系統或類似的機制來解釋模型行為（e.g., SHAP (Parsa et al. 2020),LIME (Pramanick et al. 2021; Mahajan, Shah, and Jafar 2021), etc.)，相比之下，我們将諷刺解釋作為一個自然語言生成任務。是以，MuSE的輸出需要是一個連貫的英語句子。我們對MuSE的正式定義如下：對于一個給定的多模态諷刺文本P= ⟨I, T[t1, t2, ..., tN ]⟩，其中 I 和 T[]分别表示圖像和标題，而T是标題中的标記，我們的目的是通過生成一個自然語言解釋E[e1，e2，...，eD] 來揭示預期的諷刺， 其中∀ti, ej ∈ V ocabEnglish（ej 表示解釋中的标記）。
該任務的貢獻和創新：
我們在圖1中提取了MuSE任務和Dubey，Joshi，Bhattacharyya（2019)提出的非諷刺解讀任務之間的差別。第一個差別是，與基于文本的非諷刺解釋相比，在 MuSE 中加入了多模态。第二個和最主要的差別是，非諷刺的解釋主要是對諷刺文本的否定。相比之下，MuSE 的定義是為了解 釋不協調——不一定是使用否定。
主要貢獻在四個方面：
• 我們介紹了MuSE，一個新的任務，旨在為一個給定的諷刺文本生成一個自然語言的解釋來解釋預期的諷刺。據我們所知，這是第一次試圖解釋有意的諷刺。
• 我們開發了MORE，一個新的資料集，包括3510個三元組（圖像、标題和解釋）。
• 我們用一個新的基于變壓器的編碼器-解碼器模型進行基準測試，它将作為一個強大的基線。實證結果表明， 五個評價名額優于所采用的現有模型。
• 我們進行了廣泛的人類評估，以衡量我們所提出的模型所産生的解釋的一緻性和凝聚力。
資料集和基準模型
為了解決 MuSE 問題，我們整理了MORE，一個新穎的多模态諷刺解釋資料集，包括 3510 篇諷刺文章和由專家注釋者手工生成的自然語言解釋。為了進一步進行基準測試，我們設計了一個基于變壓器的編碼器- 解碼器模型。我們使用兩個編碼器，每個編碼器的文本和圖像來獲得模态上的潛在表示，然後加入一個跨模态注意子產品。最後，在管道中添加了一個基于bart的解碼器來進行解釋生成。
資料集MORE：
由于MuSE需要一個諷刺的文本，我們探索了兩個現有的多模态諷刺檢測資料集-(Schifanellaetal.2016)和(Sangwanetal.2020)-提取那些諷刺的文本，Schifanella等人(2016)使用基于标簽的方法（#諷刺或#反諷）從推特、 Instagram 和 Tumblr 上收集了 10000 篇諷刺文章。另一方面，Sangwan等人（2020年）手動注釋了1600篇諷刺的文章。 此外，我們還探索了另一個多模态諷刺檢測資料集來收集10560篇諷刺文本。我們總共收集了22160篇諷刺的文本。
接下來，我們采用以下注釋指導方針來為每篇文章生成 一個解釋。
• 排除範圍：
丢棄以下文本
-沒有諷刺意味的文章會被丢棄。
-明确提到諷刺的文章将被丢棄。
-含有非英語内容的文章将被丢棄。
-那些需要額外的上下文來解釋諷刺或注釋者不熟悉這 些主題的文章将被丢棄。
• 包含：
考慮描述内部不一緻（文本内部或圖像内部）或内部不一緻（圖像和文本之間）的文本。
• 注釋方案：
使用以下說明來生成解釋。
- 所有實體，包括圖像、标題、标簽、符号等，都要考慮解釋諷刺并産生适當的解釋。
-如果潛在的諷刺可以用多種方式來解釋，則首選更短和更簡單的解釋。
- 避免在解釋中出現任何不相關的主題。
我們獲得了兩個注釋者的服務，他們仔細檢查了我們收集的個别文本。根據這些指導方針，注釋者對3510篇諷刺的文章進行了解釋。在這些樣本中，MORE包含1968個樣本的文本實體有圖像和标題，而其餘1542個樣本沒有圖像和文本重疊。我們稱前者為OCR樣本，而後者為非OCR樣本。
▲ MORE資料集的統計資料
基準模型：
▲ 圖2 ExMore的完整架構
結論
總之，印度因陀羅普羅司泰資訊技術研究所的學者提出了一種新的多模态諷刺解釋(MuSE)的任務，旨在通過标題和圖像來展開多媒體文章中的預期諷刺。 為了解決這項任務，我們開發了一個新的資料集-MORE，其中包含 3510 篇諷刺文章，用自然語言（英語）句子注釋了參考解釋。此外，他們提出了一個強大的基線 ExMore 來對 MORE 資料集進行基準測試。
評估顯示，ExMore 在五 套評估名額上優于各種基線(用于MuSE)。此外，他們還對所生成的解釋進行了廣泛的分析。POS 标簽和基于同義詞的語言學分析表明，ExMore 産生的語義準确輸出比最佳基線高。此外，25名評估者采用公平弗萊斯 Kappa 協定的人類評估支援了更高的解釋的品質（評估分析可參見原文：https://arxiv.org/abs/2112.04873）。他們認為，MuSE在諷刺分析和可解釋性領域開辟了一條新的途徑。
●參考文獻 ●
Poorav Desai, Tanmoy Chakraborty, Md Shad Akhtar.Nice perfume. How long did you marinate in it? Multimodal Sarcasm Explanation 2021. Indraprastha Institute of Information Technology, Delhi (IIIT Delhi), India
原文連結：
https://arxiv.org/abs/2112.04873
記得點個在看喲