摘要
基于方面的情感分析（ABSA）的現有工作采用了統一的方法，允許子任務之間的互動關系。然而，我們觀察到這些方法傾向于根據方面和意見術語的字面意思來預測極性，并且主要考慮單詞級别的子任務之間的隐含關系。此外，識别具有極性的多個方面-意見對更具挑戰性。是以，全面了解上下文資訊關于ABSA 進一步要求方面和意見。在本文中，我們提出了深度上下文關系感覺網絡（DCRAN），它允許基于兩個子產品（即方面和意見傳播以及顯式自我監督政策）具有深層上下文資訊的子任務之間的互動關系。特别是，我們為 ABSA 設計了新穎的自監督政策，它在處理多個方面具有優勢。實驗結果表明，DCRAN 在三個廣泛使用的基準測試中顯着優于以前的最先進方法。
針對問題
現存方法隻考慮子任務之間的詞級關系，沒有明确利用整個序列的上下文資訊。（例如表1中的E1，評價術語“更好”似乎代表了對“日本食品”的正面評價。E1的真實含義是“我在food court吃的日本料理比我在這家餐廳吃的日本料理更美味”。是以，以前的方法傾向于根據方面和觀點術語的字面意義來配置設定極性(E2)。）
解決方法
為了解決上述問題，我們提出了用于ABSA的深度上下文關系感覺網絡(Deep Contextualized relationship - aware Network, DCRAN)。DCRAN不僅隐式地允許ABSA子任務之間的互動關系，而且通過上下文資訊明确地考慮它們之間的關系。
DCRAN: Deep Contextualized Relation-Aware Network
2.1 Task Definition
我們的目标是解決三個子任務: aspect term extraction (A TE), opinion term extraction (OTE), and aspect-based sentiment classification (ASC) 作為序列标記問題。{B, I, O},那種。
2.2 Task-Shared Representation Learning
在現有工作的基礎上，我們利用預訓練的語言模型，如BERT和ELECTRA (Clark et al.， 2020)作為共享編碼器來建構上下文表示，并由子任務A TE、OTE和ASC共享。
給定一個句子S = {w1, w2，…， wn}，預訓練的語言模型取輸入序列，Xabsa= [[CLS]w1w2，…wn[SEP]]，輸出共享上下文表示序列，H = {h[CLS], h1, h2, …, hn, h[SEP]} ∈ Rdh×(n+2)，利用單層前饋神經網絡(FFNN)，
【字母含義】We represent the parameters of the shared encoder as Θs
The parameters of a single-layer FFNN are represented as Θa或Θo for ATE OR OTE.
2.3 Aspect and Opinion Propagation
當在預測序列極性時，我們利用transformer-decoder考慮aspect和opinion的關系.。我們的transformer-decoder主要由一個多頭自注意層、兩個多頭交叉注意層和一個前饋層組成。a multi-head self-attention, two multi-head cross attention, 和 a feed-forward layer.
（相關公式解釋如下，不好打字）結構如下圖（a）所示
2.4 Explicit Self-Supervised Strategies
為了進一步挖掘aspect–opinion的關系用句子的上下文資訊，我們提出了由兩個輔助任務組成的顯式自我監督政策: 1) type-specific masked termdiscrimination (TSMTD) and 2) pairwise relations discrimination (PRD).
Type-Specific Masked Term Discrimination
我們mask掉aspects,和 opinions, 以及terms that do not correspond to both，輸入序列被表示成Xtsmtd=[[CLS]w1…[MASK]i… wn[SEP]]，然後扔給預訓練語言模型，輸出[CLS]用來分類哪類term被masked
type-specific masked term discrimination NLLLoss
這就讓model明确的利用句子資訊，通過區分什麼類型term被masked掉。
Pairwise Relations Discrimination
在這個任務中，我們使用特殊令牌[REL]統一替換方面和意見術語。如此一來，輸入表示成Xprd= [[CLS]w1…[REL]i…[REL]j… wn[SEP]],然後通樣扔進預訓練語言模型中，輸出的[CLS]被用來區分被替換的标記[REL]是否有成對的關系。
同理 pairwise relations discrimination的NLLLoss
2.5 Joint Learning Procedure
聯合訓練都加起來
注意，參數Θs針對所有子任務進行了優化。特别是通過Ltsmtd和Lprd進一步優化的參數Θs，明确利用了aspect和opinion之間的關系（不好翻譯，原句是：Especially, the parameters Θsare further optimized through Ltsmtd and Lprd to explicitly exploit the relations between aspect and opinion with context meaning.）
3 Experiments
3.1 Experimental Setup
資料集：laptop reviews (LAP14), restaurant reviews (REST14) and restaurant reviews (REST15)
設定了四個評估名額A TE-F1,OTE-F1, ASC-F1, and ABSA-F1.（隻有當A TE和ASC預測都是正确的）
3.2 Quantitative Results
預訓練語言模型我們用了兩種BERT和 ELECTRA
3.3 Ablation Study
為了研究aspect propagation (AP), opinion propagation (OP), type-specific masked term discrimination (TSMTD), and pair-wise relations discrimination (PRD),的有效性，我們在REST14資料集上進行消融實驗
我們觀察到AP比OP更有效，當不使用AP和OP時得分顯著下降。
在explicit self-supervised strategies中，PRD 比 TSMTD.更有效。
【啟發】由于PRD的目标是判别替換符号是否具有成對的方面-意見關系，這使得模型可以在句子水準上更多地利用方面和意見之間的關系。
3.4 Aspect Analysis
分析主要是兩點（1） Aspect and Opinion Propagation使當句子包含一個方面時，性能會較大提高，而當句子包含多個方面時，性能會有小的提高。（2）Explicit Self-Supervised Strategies很有效，當句子包含多個方面時，能有效地正确識别ABSA
4 Conclusion
在本文中，我們提出了基于方面的情感分析的深度上下文化關系感覺網絡(DCRAN)。DCRAN允許子任務之間以一種更有效的方式隐式互動和兩種顯式的自我監督政策進行深度上下文和關系感覺學習。我們在三個廣泛使用的基準上獲得了最新的研究結果。
主要貢獻：
1)我們設計了aspect和opinion propagation decoder，使模型對整個上下文有全面的了解，進而更好地預測極性。2)我們提出了新的ABSA自監督政策，該政策在處理多個方面和考慮方面和觀點術語的深層語境資訊方面非常有效。據我們所知，這是第一次嘗試為ABSA設計顯式的自我監督方法。3)實驗結果表明，在三個廣泛使用的基準測試中，DCRAN的性能顯著優于之前最先進的方法。
另2篇ACL2021的閱讀筆記
Towards Generative Aspect-Based Sentiment Analysis.
A Unified Generative Framework for Aspect-Based Sentiment Analysis論文速看.
不足之處請指正多包含，謝謝~