閱讀文章前辛苦您點下“關注”，友善讨論和分享，為了回饋您的支援，我将每日更新優質内容。
文 | 憶禾溪
憶禾溪
引言
當重大公共衛生事件爆發時，群眾的生理和心理健康均受到不同程度的威脅，突發公共衛生事件的不可預測性、破壞性和演化的不确定性容易導緻人們産生極端的負面情感并導緻一系列嚴重的社會和經濟問題，随着移動網際網路的飛快發展和網絡社交媒體的興起，微網誌等社交媒體則是了解公衆想法的有效管道之一。
社交媒體作為人們溝通交流、表達觀點的讨論平台，積累了海量具有使用者痕迹數字化資訊，為文本情感分類和話題抽取提供了強大的資料基礎，近年來，微網誌、抖音、微信等移動交流終端成為群眾網絡溝通和情感表達的重要途徑，使用者進而成為資訊的生産者和消費者，可以在短時間内就不同主題發表和分享意見、興趣和情感，如居住意見、災害研究等領域微網誌資料已應用甚廣。
2020年初新冠肺炎暴發，對居民的生命健康與國民經濟的有序發展産生了極大的影響，疫情相關資訊得到高度關注，以微網誌為代表的社交媒體，成為目前疫情期間大陸群眾擷取疫情進展狀況、分享資訊和情緒宣洩的首選平台。
通過分析疫情期間的群眾微網誌資訊，挖掘文本資訊中使用者的情感極性，有助于了解公衆對于疫情的情感狀态和價值取向，進而使得有關部門能夠動态了解群眾心理傾向，準确把握事件相關輿論的發展動态，本文基于情感分析，對新型冠狀病毒疫情期間的網絡輿論情感态勢進行研究，文本情感分析最早由Nasukawa提出。
是指通過自然語言處理實作文本情感色彩的挖掘、分析、歸納和推理，本文的研究内容是對疫情期間大陸群眾在微網誌平台上所釋出的疫情相關信衆的博文進行情感極性分析。
微網誌短文本資訊包含大量的網絡用語、表情符号等，并且由于疫情的時間跨度長，人們所釋出的博文的情感極性往往會因為時間或某些特殊事件的發生而改變，是以傳統的情感分析方法并不适用于該任務，本文提出了一種融合注意力機制(attention)的CNNs-BiLSTM情感極性分析方法,将卷積神經網絡和雙向長短期記憶網絡結合起來，通過注意力機制擷取文本中的關鍵詞資訊,高效準确實作資料時序和語義資訊挖掘。
相關工作
現階段情感分析主要有三種方法，首先是基于情感詞典擷取情感詞的情感強度或者極性權重計算文本的情感傾向，基于情感詞典對評論資料進行情感分類，但由于情感詞典中情感強度值不靈活，後者以客觀詞出現在正面和負面酒店評論文本中的頻率高低為依據重新定義客觀詞的情感值來改進情感分類，并且通用情感詞典不能完全覆寫所有的情感詞，應用于不同領域時也存在着明顯的局限性。
網絡流行語言情感詞典、表情詞典的建構有利于微網誌文本情感分析，并且否定詞和修飾詞對情感分析也起到重要作用，利用機器學習方法進行情感分析的精準性、擴充性與可重複性皆優于情感詞典的方法，後來越來越多的學者将目光投入關于情感分析的機器學習方法研究中。
曾子明等建構了XGBoost的內建情感分析模型架構，取得了不錯的效果，基于城市Twitter資料進行公衆情緒分析，對比了三種傳統機器學習模型，但是結果皆不盡人意，分類精度不能滿足後續分析，随着資料量的激增，文本資訊的特征越來越複雜，深度學習的出現為自然語言處理任務提供了新的手段。
CNN模型最早應用于自然語言處理任務，通過CNN模型自動挖掘相關特征來進行情感分析，但是單一的卷積模型往往不能考慮上下文關系，發現BiLSTM技術對上下文關系的探索相對優于其他機器學習算法精度，也發現雙層BiLSTM模型具有較高的準确率，LSTM和CNN組成的神經網絡架構也有不錯的分類效果，徐緒堪等利用BiLSTM與多個CNN疊加的混合模型在微信推文評論的情感分類中取得理想效果。
同時融合注意力機制的情感分析模型也得到了越來越多研究者的關注，本文将基于情感分析，對新型冠狀病毒疫情期間的網絡輿論情感态勢進行研究，以疫情期間大陸群眾在微網誌平台上所釋出的疫情相關資訊的博文為研究對象進行情感極性分析。
提出了一種融合注意力機制的CNNs-BiLSTM情感極性分析方法，将卷積神經網絡和雙向長短期記憶網絡結合起來，通過注意力機制擷取文本中的關鍵詞資訊，高效準确實作資料時序和語義資訊挖掘。
模型設計
本文基于卷積神經網絡CNN和雙向長短期記憶網絡BiLSTM建構了COVID-19疫情輿情微網誌情感極性分類模型，在BiLSTM和CNN的基礎上引入了注意力機制，提出了一種适用于微網誌文本情感極性分析的卷積網絡與雙向長短期網絡相結合的多通道模型(Multi-Channel-CNNAtt-BLSTMAtt,MCCB)，具體結構如圖1所示。
CNN網絡
1、CNN網絡
CNN作為一種特殊類型的前向神經網絡，近年來被學者廣泛應用于自然語言處理領域，基本結構分為三個部分，輸入層、卷積層與池化層、全連接配接層，如圖2所示，卷積層提取特征首先是以詞向量矩陣形式表示文本，再通過不同大小的卷積核對矩陣進行掃描，在掃描的過程中，卷積核所組成的濾波器的參數值固定不變，過濾後映射出新的特征圖，該特征圖上的所有元素都來自于參數一緻的濾波器。
2、BiLSTM神經網絡
LSTM是一種特殊的循環神經網絡(RNN)，由一個個細胞單元與三個門組成，細胞單元是核心計算能力，記錄目前計算狀态，而遺忘門、輸入門和輸出門調節進出存儲單元的資訊流，遺忘門清除存儲單元中的無用資訊，輸入門選擇目前存儲單元的輸入資訊，輸出門決定資訊的最終輸出。
在對微網誌文本進行情感分析時，往往需要考慮到上下文語義特征對文本整體情感狀态的影響，但一般的LSTM模型語義捕獲隻針對于文本中單向的語義關系，也就是忽略了下文語義特征對整體狀态的影響。
而BiLSTM模型由正反兩個方向的LSTM網絡構成，基于兩個不同的順序充分捕獲上下文資訊，可以挖掘更為全面的文本語義，如在圖3所示，ℎ1是經過兩個LSTM層輸出的正向的隐藏狀态和反向的隐藏狀态拼接後得到相應的句子特征向量。
3、MCCB模型
本文提出的MCCB模型中，Input輸入層為第一層，讀取經過清洗後的資料集，經過分詞處理的微網誌文本資料傳入第二層Embedding層，向量化過程中使用Word2Vec模型，Embedding層根據傳入的詞嵌入相應的向量，将該向量傳輸
進多通道模型中。
模型的第三層為多通道特征提取層，進入BiLSTM模型通道，可通過正負兩個方向同時捕獲語義資訊，多個CNN模型則是為了提取句子不同尺度下的局部特征，使用不同大小的卷積核可提取不同次元的特征更好地實作語義資訊的提取，利用Word2Vec模型所訓練的詞向量次元為350，三個卷積通道的過濾器分别為1×350，2×350，3×350，池化層采用了MaxPooling操作，摒棄弱特征。
BiLSTM模型通道采取L2正則化處理，進而控制模型複雜度盡量避免過拟合發生，在第四層中引入注意力機制，提取各個通道更重要的特征資訊；拼接層将所有通道輸出的特征彙總，擷取更為豐富的特征資訊；彙總後的特征傳入全連接配接層，添加了随機失活機制以減少備援，并提高模型泛化能力，最後根據輸出層Softmax分類器判斷文本所屬的情感極性類别。
實驗分析
評估名額實驗參數設定
為進一步提升本文模型的性能需要對超參數進行優化，對所建構的MCCB模型的濾波器的視窗高度、濾波器數量、BiLSTM隐藏層單元數、随機失活率超參數進行了調節實驗。
由圖5可以看出，随着各通道濾波器高度的增加，模型的性能反而下降，這表明當各通道濾波器高度設定為[1,2,3]時，模型性能最佳，當各通道濾波器數量增多時，模型性能也随之上升，各個通道濾波器數量設定為[64,128,256]時模型表現最優，之後開始回落。
數量相對較多時模型特征提取能力增強，所提取的特征過多可能導緻過拟合，當BiLSTM隐藏層單元數為150時，精确率最高，隐藏層單元數較大會導緻模型參數增加，過拟合的風險也随之增大，當随機失活率大于0.4時，模型的整體性能有所下降，随機失活的比例越大，訓練過程中引入的噪聲就越多，特征資訊不足或導緻模型識别精度下降。
實驗結果與分析
為評估本文提出的MCCB模型預測效果，将選取一些基準模型在同等實驗環境下進行對比，本文選取的基準模型具體如下：
(1)邏輯回歸模型(LR)：主要解決二分類問題，是經典的機器學習分類模型。
(2)支援向量機(SVM)：使用TF-IDF來表示文本詞語，通過SVM算法進行情感情感極性判斷。
(3)LSTM和BiLSTM模型：利用LSTM捕獲單向語義或BiLSTM抽取句子上下文特征，通過softmax分類器進行情感分析。
(4)CNN-Att[25]和BiLSTM-Att模型：CNN提取文本局部特征資訊，或是利用BiLSTM擷取上下文語義資訊，再以Attention計算模型輸出特征的注意力權重，最終進入全連接配接層與分類器進行輸出。
(5)CNN-BiLSTM模型：将分詞後的句子經過詞嵌入進行向量化，再輸入CNN中，所抽取的局部特征進一步輸入BiLSTM中，最後通過分類器得到最終結果。
總結與展望
基于CNN、BiLSTM以及注意力機制，提出了基于MCCB模型的疫情微網誌情感極性分析方法，該方法聚焦于多尺度的文本輸入特征，通過注意力機制實作不同次元文本特征的重要度配置設定。
實驗結果證明，基于注意力機制的多通道CNNs-BiLSTM情感極性分類模型在疫情微網誌資料集上的實驗結果較其他基準模型性能更優，能夠有效識别和分析網絡輿情中網民微網誌博文的情感極性。
本研究在資料與方法上還存在一定的不足，研究資料僅限于微網誌短文本，未讨論模型對長文本資料的分類效果，同時未考慮加入中性文本，下一階段的研究工作是将模型部署至長文本分類中以及探讨三分類情感分析的效果。