利用自注意卷積網絡處理評論資訊

《A Hierarchical Self-attentive Convolution Network for Review Modeling in Recommendation Systems》論文閱讀筆記

1. 背景：

   從評論中學習使用者，項目的特征是非常重要的，可以解決資料稀疏性問題，提高推薦性能。

2. 已有方法：

   （1） 基于CNN的模型從評論中提取特征；

   （2） 基于RNN的方法從評論中學習上下文特征。

3. 存在問題：

   （1） 關注局部，不能模組化文本中的長期依賴關系；

   （2） 不能并行計算，模型訓練慢。

4. 本文：

   提出文本編碼器模型，結合自注意網絡和卷積網絡，模組化文本中的全局和局部互動。

   

5. 具體：

   卷積層獲得單詞之間的局部互動，自注意層學習文本中的全局互動。建構多層編碼器分層獲得評論資訊。

   5.1 句子編碼：

   編碼句子（通過單詞級的自注意卷積層 + 基于注意的聚合層模組化單詞的上下文特征）

   （1） 單詞嵌入層（将句子中的單詞映射為相關的嵌入向量）

   （2） 句子編碼（學習序列中每一個元素的上下文特征）

   （3） 聚合（使用注意網絡）

   5.2 評論級：

   從句子中學習評論特征

   5.3 使用者/項目級：

   使用注意網絡從評論中學習使用者項目特征