随着社交媒體和移動資訊流應用的發展，湧現出了許多使用者生成内容模式下的自媒體應用，每個使用者都可以作為内容生産者，産生了海量線上文章内容。這些自媒體應用提供推薦和搜尋服務讓内容消費者可以浏覽他們感興趣的内容。同時，自媒體内容創作的開放性同時也導緻了文章品質的參差不齊。在推薦和搜尋系統中，結果品質是影響使用者體驗的的重要因素，評估自媒體線上文章品質對線上推薦、搜尋和廣告等應用場景都具有重要意義。
文章品質可以從兩個次元進行評價，一是從文章内容本身來進行品質的模組化和識别，包括内容語義、寫作邏輯等方面。二是根據文章在大衆使用者中的流行度和傳播度來判斷，文章的流行度和傳播量反應了使用者對文章的喜愛程度，内容消費者在閱讀和傳播過程中會對低品質内容進行篩選和過濾。
在 AAAI 2021 上，微信搜尋資料品質團隊在文章寫作連貫性模組化和實時傳播度預測兩個方面發表了研究論文，下面将分别進行介紹。
論文：Hierarchical Coherence Modeling for Document Quality Assessment
不同于其它文本分類任務（如文本主題分類、情感識别等）主要關注文本内容的語義，文章品質不止跟文章語義有關，也跟文章的寫作水準有關。寫作水準包括遣詞造句和文章結構組織的連貫性、邏輯性。
其中，如何模組化文章的寫作連貫性 (coherence) 是一個困難的任務，有很多研究人員已經在這個問題上做出了他們的貢獻。相關研究可以分為三類：(1) 基于實體的方法，識别句子中的實體，模組化相鄰句子中實體的聯系；(2) 基于詞彙的方法，模組化相鄰句子的詞共現資訊 (3) 基于神經網絡的方法，利用神經網絡學習詞和句字語義的向量表示，模組化語義向量的相似度。大部分現有方法都隻關注到了相鄰句子的相似性，但是相鄰句子的相似性隻是寫作連貫性的一部分。
連貫性不隻是兩個相鄰的句子描述相似的内容，多個相鄰句子可能構成更複雜修辭結構，比如排比、并列等。在這些修辭結構中，相鄰的句子不一定很相似，但是上下文整體是連貫的。除此之外，寫作連貫性也不止存在于局部上下文，文章寫作很可能存在層次結構，多個局部連貫的内容組成一個部分（段落），段落間的連貫性也是文章寫作連貫性的一個重要部分。是以模組化文章的寫作連貫性還需要解決這樣兩個挑戰：(1) 如何模組化複雜多樣的局部修辭結構？(2) 如何模組化文章的層次連貫性？
針對上述挑戰，微信搜尋資料品質團隊提出名為 Hierarchical Coherence Model (HierCoh) 的方法來模組化文章品質。模型包括 4 個部分：Sentence Layers 通過 Transformer Encoder 模組化詞向量，并通過 Attention Pooling 得到句子表示向量；Hierarchical Coherence Layers 模組化文章的層次連貫性得到連貫性向量；Document Layers 将句子表示向量彙聚在一起得到文章語義表示向量；最後将連貫性向量和語義向量合并起來輸入到任務相關的輸出層。
圖 1. HierCoh 模型架構圖
層次連貫性模組化
HierCoh 中最重要的部分是層次連貫性模組化部分。該部分首先提取每個句子的局部上下文(local context block) 語義，然後得到句子跟該上下文的多元連貫性表示向量。研究者将句子視為最低級（low-level）的語義單元，然後基于這樣一個假設得到進階 (high-level) 語義單元：如果連續的幾個低級語義單元具有高連貫性，那麼他們可以被視為一個進階語義單元。然後用同樣的方式得到進階語義單元的連貫性，以及更進階的語義單元和他們的連貫性。研究者用 Local Attention 來提取局部上下文，用雙線性層來模組化多元連貫性，并提出了 Max-coherence Pooling 來提取進階語義單元。
圖 2. Hierarchical Coherence Layer
Local Attention. 将 CNN 中的局部連接配接結構和 Attention 機制相結合，相比采用線性變化做卷積計算，Local Attention 更适合将相鄰句子的語義彙聚成上下文語義。
圖 3. Location Attention
Bilinear Tensor Layer. 雙線性層中包含一個參數張量，參數張量中的每個切片矩陣可以視為是一種修辭關系的表示，是以通過雙線性層得到的多元連貫性向量就表示了多種修辭關系的機率。
圖 4. Bilinear Layer
Max-Coherence Pooling. 以步長 p 在大小為 k 的視窗内将低級語義單元合并為進階語義單元，首先計算視窗内每個 local context block 的平均連貫性向量，然後取最大連貫性向量的最大次元（即機率最大的修辭關系的機率）作為該 local context 的連貫性分數，然後取視窗内連貫性分數最大的 local context 作為進階語義單元。
然後重複 Local Attention 和 Bilinear Tensor Layer 即可得到高階連貫性。最後用 Attention 将多級連貫性融合成連貫性向量，就得到了文章的多層次連貫性表示。
實驗驗證
該模型在兩個經典的文章品質評估任務上進行了驗證：自動作文打分和線上新聞品質判别。
自動作文打分（Automated Eassy Scoring）采用該任務最常用的 APSP 文檔集[1]。該資料集包含 8 個作文題目，每個題目下的作文得分被縮放到 [0,1] 區間内。解決該任務采用了 sigmoid 輸出層，均方誤差作為損失函數來訓練模型。
在自動作文打分任務上的結果如下表，可以看出 HierCoh 模型在作文題目 1-7 的集合上都取得了最優 / 較優的效果（作文集合 8 由于文章數量最少并且文章長度最長）。
此外，微信搜尋資料品質團隊采集了微信平台上的新聞文章，并将描述同一個主題或事件的新聞討論區成新聞對，雇傭标注人員标注了這兩篇新聞的品質哪個更好。共分為 3 個類别，類别 0 表示兩篇新聞品質相近，類别 1 表示第一篇新聞品質更好，類别 2 表示第二篇新聞品質更好。研究者用孿生網絡結構來模組化兩篇文章，然後合并最終的文章表示向量到 softmax 輸出層，得到三分類機率，并用交叉熵作為損失函數來訓練模型。實驗結果如下，HierCoh 模型取得了最優的效果。
論文：Fully Exploiting Cascade Graphs for Real-time Forwarding Prediction
傳播量是衡量線上文章受歡迎程度的最重要名額之一。線上文章的傳播量是指使用者通過社交媒體轉發線上文章的次數。在社交媒體中，使用者與他們的朋友共享并交換有趣的文章内容。是以，線上内容的傳播通常從作者開始，并通過社交網絡傳播，進而形成級聯圖。級聯圖通常是有向無環圖。其中有向路徑表示通過社交網絡的内容傳播過程。社交網絡上的資訊傳播形成為社交網絡強化模型和以社交中心為樞紐的模式。級聯圖的尺寸（節點數量）可被視為線上内容的轉發量。是以可以通過對級聯圖模組化，進而得到能準确預測傳播量的模型。
圖 1. 級聯圖示例
但是，現有的方法要麼無法有效模組化級聯圖、要麼忽略了級聯圖尺寸的宏觀變化資訊。盡管基于圖卷積神經網絡 (GCN) 的方法可以通過重複聚合鄰居節點特征并更新節點特征最終周遊所有節點，但它對于模組化深的級聯路徑來說是迂回曲折的。基于随機遊走 (Random Walk) 的方法會随機選擇片面的級聯路徑，可能會丢失社交中心的資訊。另一方面，隻聚焦于學習級聯圖的路徑結構和節點資訊，會忽略級聯圖尺寸的宏觀變化資訊。
為了解決這些挑戰，微信資料品質團隊提出了一個充分利用級聯圖資訊進行轉發量預測的方案。在該方案中，設計了針對級聯圖的圖嵌入算法，能有效捕獲對級聯圖中的深度傳播路徑和社交樞紐資訊；還設計了級聯圖尺寸模組化方法，該方法能有效應對級聯圖尺寸的急劇變化。作者還建構了一個大規模的真實世界評估資料集。充分的實驗結果表明，與之前的轉發量模組化和圖嵌入方法相比，所提出的方法在實時的轉發量預測方面，準确率有了極大的提升。
具體方法
微信搜尋資料品質團隊提出了時間級聯圖模組化（TempCas）方案，以解決上述挑戰。該方案包含兩部分：級聯圖嵌入和适應短期爆發的時間序列模組化。方案總覽如圖 2 所示。
圖 2. 方案總覽
（1）級聯圖嵌入
給定一個級聯圖快照系列，級聯圖嵌入負責捕獲級聯圖特征的三個方面，包括：擴散特征，尺寸特征和時間特征。本方案通過 4 個步驟捕獲這三個特征。
步驟 1：級聯路徑采樣。社交中心和深度級聯路徑對級聯圖影響最大，而其他葉節點等幾乎沒有傳播影響。為了充分獲得級聯圖擴散特征，社交中心和深度級聯路徑是捕獲級聯圖擴散特征的關鍵。為此，研究者設計了一個啟發式的路徑采樣政策，如算法 1 所示。
步驟 2：級聯路徑表示。在通過算法 1 進行路徑采樣之後，研究者通過 BiGRU 得到節點表示。再通過兩層 Attention 機制獲得級聯路徑的表示向量。
步驟 3：采樣的路徑涵蓋了最具影響力的節點和路徑，但可能會丢失許多瑣碎節點（例如葉子節點）的資訊，這些瑣碎節點構成了級聯圖的主要部分，但擴散影響很小。是以，研究者提取瑣碎節點資訊作為補充資訊（如下圖所示），以使模型了解瑣碎節點的結構和尺度。
步驟 4：最後，研究者通過一層 LSTM 來捕獲級聯圖的特征的時間序列資訊。
（2）适應短期爆發的時間序列模組化
級聯圖尺寸的短期爆發對實時轉發預測影響很大。研究者采用了一種 Attention CNN 機制來對短期暴發進行模組化。在 Attention CNN 機制之後堆疊一個 LSTM 層來對曆史短期暴發的影響進行模組化。
實驗
研究者從微信公衆号平台上收集處理線上文章資料，建構了一個自媒體線上文章品質分類資料集。研究者從 2019 年 8 月 1 日至 2019 年 9 月 30 日随機抽樣了 26,893 篇文章，并跟蹤 75 小時内每篇文章的所有轉發情況。除微信資料集外，為了更全面地評估模型，研究者還采用了微網誌轉發資料集。
對比實驗結果顯示，所提方法 TempCas 在各項名額上均顯著達到最佳。此外，将本方案的級聯圖嵌入部分（TempCasG）和其他圖嵌入方案相比，本方案提出的級聯圖嵌入也達到了最優的轉發量預測效果。
通過觀察 Table 3，可以看到，與基于時間序列的轉發量預測方法相比，基于級聯圖嵌入的轉發量預測方法的準确率相對較弱。實際上，當面對熱點線上内容時，基于級聯圖嵌入的方法比基于時間序列的方法更為準确。研究者對此進行了更進一步的探索以驗證此結論。
研究者将多個方案的 RMSE 預測結果與相應的最終轉發量相關上，并繪制了 Figure 4。可以看到，當面對熱點内容時，基于級聯圖嵌入的方法往往比基于時間序列的方法具有更好的性能。