閱讀此文前，誠邀您點選一下“關注”，友善您随時查閱一系列優質文章，同時便于進行讨論與分享，感謝您的支援~
文|沐晚
編輯|智海弄潮
引言
近年來，情感分析（SA）受到了更多的關注。當一個人對一個實體（例如，産品、人或政策）發表評論時，自動預測文本項（例如，産品評論和部落格文章）的情感極性被稱為SA。
迄今為止，已經針對英文和中文SA提出了多種方法，在文本挖掘研究方面取得了很大進展。但是，SA仍然面臨文本順序、序列長度可變、邏輯複雜等問題。
由于缺少切分符号，這些問題在中文中更為嚴重。例如，英文中用空格将句子分隔成詞，而中文中就沒有這樣的切分符号。
SA技術主要包括兩種類型，即基于詞典的方法和機器學習方法。
基于詞典的SA方法的核心思想是建立一個包含表達觀點或情感的詞的情感詞典。然後，将所提出的情感詞典進一步應用于文本分類。
為了提高情感極性分類的準确性，情感詞典應該覆寫盡可能多的情感詞。
從情感詞典的角度提出了許多具有代表性的SA方法。在最近的一項研究中，Wu等人提出了一種資料驅動的情感詞典建構方法，該方法在微網誌分類中取得了良好的性能。
他們的方法利用改進的統計名額增強互資訊（EMI）來檢測中文新詞，提高情感詞典的覆寫率和品質。
盡管情感詞典不再完全用于SA，但它仍然提供有價值的特征并且是一種有前途的方法。
一、相關工作
SA的現有工作分為兩種類型。第一類方法是情感詞典方法，第二類方法屬于機器學習方法，第一類方法主要考慮建構一個包含盡可能多的情感詞的高品質情感詞典。
一個高品質的情感詞典不僅應該涵蓋許多正常的情感詞，還應該涵蓋使用者發明的情感詞。
例如，建構的情感詞庫在微網誌中包含了許多使用者發明的中文情感詞。2016年，Khan等人。以半監督的方式建立了一個通用的情感詞典。
他們使用期望似然估計平滑優勢比來定義詞語義，并将定義明确的詞語義與基于監督機器學習的模型選擇方法相結合。
然而，由于忽略了文本順序、序列長度和複雜的邏輯，基于詞典的SA方法的性能受到限制。
第二種方法側重于訓練強大的機器學習模型來對文本項目進行分類。LSTM模型和BiLSTM模型考慮了文本順序和序列長度，而CNN]旨在利用文本中的局部特征。
所有模型都需要有效的詞嵌入。然而，現有方法不能完全解決SA的嵌入問題。另一方面，神經網絡架構的設計缺乏理論指導。
除了深度模型之外，其他一些方法，例如采用樸素貝葉斯和基于條件随機場的方法，在SA上也取得了良好的性能。
部分SA方法試圖設計有效的文本嵌入來解決文本順序、可變序列長度和複雜上下文等問題。在中，Santos等人。
提出了一個名為CharSCNN的深度CNN模型，其中字元級表示包含在短文本的SA中。字元級表示提供了促進CNN模型訓練的補充資訊。除了文本表示，另一部分研究人員更關注深度模型的強大架構。
為此，提出了區域CNN-LSTM模型，以便在分類時考慮句子内的局部資訊和句子間的長距離依賴。該模型的架構經過精心設計，以結合CNN和LSTM模型的優點。Yoon和Kim提出了一個以有序方式結合CNN和BiLSTM的SA架構。
他們首先從word2vec（static&non-static）和sentimentlexicon的角度生成了多通道詞嵌入。
然後，使用CNN層提取局部特征，并将這些特征輸入BiLSTM層。與幾個基線相比，大量實驗證明了該模型的優越性。
同樣，Wang等人其中CNN和LSTM曾以有序方式組織。實驗結果表明，該模型在StanfordSentiment上獲得了state-of-the-art的結果。
二、填充操作
填充操作通常用于自然語言處理任務，如情感分析。
輸入資料樣本，無論是句子還是資料樣本中的整個文本，都用填充元素填充以使輸入大小一緻。
一種常用的填充操作是零填充，它用零填充缺失的位置。Kim使用零填充政策将句子填充到固定長度（必要時填充）以使用CNN進行文本分類。
Clich在使用CNN和LSTM執行SA任務時遵循與Kim相同的填充政策。Yu和Chang發現在實施Kim的零填充政策時，它不能很好地轉換到他們的資料集。
是以，他們改為将每條評論分割成固定長度的塊，并使用CNN來預測每條評論的情感取向。Feng和Lin使用門控循環單元對食品評論進行情感分類。
他們使用零填充将評論填充到88個單詞，零填充是在模型的開頭⽽不是結尾處完成的。它表明零填充确實有利于他們模型的測試準确性。
Prusa和Khoshgoftaar引入了一種新穎的文本資料表示方法，該方法将特殊字元（不包含在預定義字母表中的字元）表示為零向量。
王等提出了一種選擇加性學習程式，該程式在多模态SA的所有三種模态（口頭、聲學、視覺）中顯著提高了預測準确性。
對于語言通道，他們将句子中所有單詞的詞嵌入連接配接起來，并用适當的零填充它們，使它們具有相同的次元（固定長度為60）。除了零填充，Song等人。提出了基于注意力的LSTM模型，該模型使用韓語方面級SA的情感詞典嵌入。
零填充經常用于基于深度學習的SA模型。此操作的主要目标是確定輸入的長度固定。
在某些情況下，零填充應該有利于模型的性能，而在其他情況下，零填充不能提高模型的性能。除了零填充外，一些特殊字元也被用作填充字元。
基于這些觀察，情感填充旨在實作主要目标并提高基于深度學習的模型的SA性能。
三、提出的詞典內建雙通道CNN‒BiLSTM模型
在本節中，提出并較長的描述了詞典內建雙通道CNN‒BiLSTM模型。該模型的核心貢獻包括兩部分，即情感填充和并行雙通道CNN-BiLSTM結構。
情感填充是專門為文本SA任務設計的。與零填充不同，情感填充減少了輸入層和第一個隐藏層之間的梯度消失問題。此外，與灰階圖中的零填充相比，向量空間中的零填充不是指“無”。情感填充擴大了評論中情感資訊的比例，這對情感極性分類很有用。
CNN模型擅長提取局部特征，而BiLSTM模型能夠處理長序列。在這種情況下，以并行方式将CNN與BiLSTM相結合，将為彼此提供有價值的資訊。
文本分類的最大挑戰之一是可變序列長度。在斯坦福情感樹庫等文本資料集中，句子或消息的長度從一個詞到近百個詞不等。
這成為一個嚴重的問題，尤其是當CNN模型應用于文本分類時。在這種情況下，圖像分類中常用的填充邊界的填充操作啟發了我們在文本分類中處理上述問題。
情感填充操作将情感詞典資訊引入到建構的本文特征中。這種特征在本文中稱為詞典內建特征。
零填充對于圖像是合理的，因為圖像中的空缺量很小并且對卷積結果的影響很小。然而，在文本分類中，句子的長度經常變化。
在這種情況下，零填充會導緻大量無效資訊并降低分類器的性能。
此外，它對LSTM和CNN家族模型在文本分類中的結果有很大影響，因為它影響池化和權重更新的過程。
例如，如果有兩個情感極性不同的句子，分别隻包含一個詞和兩個詞，零填充操作幾乎不可能将這兩個詞分類将句子轉化為正确的情感極性。
是以，我們提出了一種名為情感填充的新穎填充操作，它将句子或消息擴充到固定長度，以更好地比對文分類任務。
四、結語
在本文中，我們提出了詞典內建的雙通道CNN-LSTM和CNN-BiLSTM模型。
考慮到情感詞典資訊，我們首先提出了情感填充方法，使輸入資料樣本大小一緻，提高情感資訊在每條評論中的比例。
情感填充緩解了使用零填充時可能出現的輸入層和第一個隐藏層之間的梯度消失問題。
情感填充操作為SA生成了內建的高品質詞典特征。同時，在幾個SA資料集上的實驗證明了情感填充的優越性。
受分叉玩具模型和跳過連接配接操作的啟發，我們提出了以并行方式結合CNN和BiLSTM分支的雙通道CNNBiLSTM模型。
精心設計的損失函數使得兩個分支可以以不同的速度進行訓練。
然而，我們發現與CNN-BiLSTM模型相比，CNN-LSTM模型在中國旅遊評論資料集上的表現更好。
此外，CNN-BiLSTM模型甚至無法在中國旅遊資料集上超過其單分支BiLSTM。
這表明并行雙通道模型的性能不一定取決于其單分支的性能；相反，它取決于兩個分支之間的耦合。語料庫可能會影響兩個分支之間的耦合。
參考文獻：
1.S. Poria、I. Chaturvedi、E. Cambria，基于卷積 MKL 的多模态情感識别和情感分析，載于：2016IEEE 16th Int。會議。
2.Pennington、R. Socher、CD Manning，Glove：⽤于單詞表⽰的全局向量，載于：Proc。 2014年會議。帝國。⽅法 Nat。郎。過程，2014 年。
3.FBX Zhu，測量多詞表達式的⾮組合性，載于：Proc。第 23 國際會議。電腦。語⾔學家，Coling 2010。
4.T. Munkhdalai，Y. Hong，⽤于⽂本了解的神經樹索引器，2017。
5.JD Prusa，TM Khoshgoftaar，⽤新的⽂本資料表⽰改進深度神經⽹絡設計，J. Big Data 4 (2017)。