利用自注意卷积网络处理评论信息

《A Hierarchical Self-attentive Convolution Network for Review Modeling in Recommendation Systems》论文阅读笔记

1. 背景：

   从评论中学习用户，项目的特征是非常重要的，可以解决数据稀疏性问题，提高推荐性能。

2. 已有方法：

   （1） 基于CNN的模型从评论中提取特征；

   （2） 基于RNN的方法从评论中学习上下文特征。

3. 存在问题：

   （1） 关注局部，不能建模文本中的长期依赖关系；

   （2） 不能并行计算，模型训练慢。

4. 本文：

   提出文本编码器模型，结合自注意网络和卷积网络，建模文本中的全局和局部交互。

   

5. 具体：

   卷积层获得单词之间的局部交互，自注意层学习文本中的全局交互。构建多层编码器分层获得评论信息。

   5.1 句子编码：

   编码句子（通过单词级的自注意卷积层 + 基于注意的聚合层建模单词的上下文特征）

   （1） 单词嵌入层（将句子中的单词映射为相关的嵌入向量）

   （2） 句子编码（学习序列中每一个元素的上下文特征）

   （3） 聚合（使用注意网络）

   5.2 评论级：

   从句子中学习评论特征

   5.3 用户/项目级：

   使用注意网络从评论中学习用户项目特征