5.Recursive Deep Models for Semantic CompositionalityOver a Sentiment Treebank

Recursive Deep Models for Semantic CompositionalityOver a Sentiment Treebank情感树库上语义组成的递归深度模型

摘要

• 背景

  语义词空间非常有用，但是不能以原则性的方式表达较长短语的含义。 在理解情绪检测等任务中的合成性方面的进一步进步需要更丰富的监督训练和评估资源以及更强大的合成模型。

• 创新点

  为了解决这个问题，我们引入了一个情感树库。 它包含11,855个句子的稀疏树中的215,154个短语的细粒度情感标签，并在情感成分上提出了新挑战。

  为了解决这些问题，我们引入了递归神经张量网络。

  最后，它是唯一可以准确捕获否定词在正面和负面短语的不同树级别上的影响及其作用范围的模型。

  

二、Introduction

• The Stanford Sentiment Treebank是第一个带有完全标记的语法分析树的操作，可以对语言中的情感成分进行全面分析。
• In order to capture the compositional effects with higher accuracy, we propose a new model called theRecursive Neural Tensor Network (RNTN).为了更准确地捕获合成效果，我们提出了一种称为递归神经张量网络（RNTN）的新模型。Recursive Neural Tensor Networks take as input phrases of any length.递归神经张量网络采用任意长度的输入短语。They represent a phrase through word vectors and a parse tree and then compute vectors for higher nodes in the tree using the same tensor-based composition function.它们通过单词向量和解析树表示短语，然后使用相同的基于张量的合成函数为树中的较高节点计算向量。
• 我们比较了几种监督的组成模型，例如标准递归神经网络（RNN）（Socher等，2011b），矩阵向量RNN（Socher等，2012）和基线（例如神经网络）。 忽略字序的网络，朴素贝叶斯（NB），二元语法NB和SVM。 在使用新数据集进行训练时，所有模块都得到了显着提升，但是RNTN以80.7％的精度获得了最高的性能。

三、Stanford Sentiment Treebank

• 从语言学家的认知角度来看，在处理语义任务时忽略单词顺序是不合理的，而且，正如我们将要表明的那样，它不能准确地对否定的硬性示例进行分类。
• 在本节中，我们将介绍并提供新的情感树库的分析，该树库包括成千上万个句子中每个句法上合理的短语的标签，使我们能够训练和评估组成模型。
• We will name this fine-grained sentiment classification and our main experiment will be to recover these five labels for phrases of all lengths.我们将命名这种细粒度的情感分类，我们的主要实验将是为所有长度的短语恢复这五个标签。

  

  Figure2：情感注释的标准化直方图在每克长度上。 许多较短的语法是中性的；较长的短语分布良好。 很少有注释者在刻度或极值之间使用滑块位置。 因此，两个最强的标签和中间的刻度线位置被合并为5类。

四、Recursive Neural Models递归神经模型

• The models in this section compute compositional vector representations for phrases of variable length and syntactic type.本节中的模型为可变长度和句法类型的短语计算合成矢量表示形式。

  

• 4.1 RNN: Recursive Neural Network

  

• 4.2 MV-RNN: Matrix-Vector RNN

  

• 4.3 RNTN:Recursive Neural Tensor NetworkRNTN：递归神经张量网络

  

Figure 5:递归神经张量网络的单层。 每个虚线框代表多个切片中的一个，可以捕获孩子对其父级可能产生的影响

如先前模型中所定义。 然后三元组中的下一个父向量p2将被计算为相同的权重。

• 4.4 Tensor Backprop through Structure通过结构的张量反向传播

  我们在本节中描述如何训练RNTN模型。

  

  

  

  

  

五、Experiments

We include two types of analyses. The first type includes several large quantitative evaluations on the test set. The second type focuses on two linguistic phenomena that are important in sentiment.我们包括两种类型的分析。 第一类包括对测试集的几个大型定量评估。 第二种类型侧重于在情感上很重要的两个语言现象。

• 5.1 Fine-grained Sentiment For All Phrases所有短语的细粒度情感

  图6显示了该新语料库的结果。 RNTN的性能最高，其次是MV-RNN和RNN。 递归模型在较短的短语（否定和组成很重要）上工作得很好，而特征包基线仅在较长的句子上才能很好地发挥。RNTN精度上限在其他模型中最大为n-gram长度。

  

• 5.2 Full Sentence Binary Sentiment全句二元情感

  这些实验表明，即使使用情感树库，基线方法也可以实现改进

• 5.3 Model Analysis: Contrastive Conjunction模型分析：对比合取
• 5.4 Model Analysis: High Level Negation模型分析：高级否定

  

  Figure 7: Example of correct prediction for contrastiveconjunctionX but Y.

  i)Set 1: Negating Positive Sentences设置1：否定正句

  ii)Set 2: Negating Negative Sentences第二组：否定否定句

• 5.5 Model Analysis: Most Positive andNegative Phrases模型分析：最积极和消极的短语

六、Conclusion

我们介绍了递归神经张量网络和斯坦福情感树库。 新模型和数据的结合形成了用于单句情感检测的系统，该系统将现有技术的正面/负面情感分类推高了5.4％。 除此标准设置外，数据集还提出了重要的新挑战，并需要新的评估指标。 例如，与以前的模型相比，RNTN在所有短语的细粒度情感预测上均获得80.7％的准确度，并且更准确地捕获了不同情感和范围的否定