2019CVPR论文阅读：Latent Space Autoregression for Novelty Detection Davide 基于新颖性检测的潜在空间自回归

代码链接 < https://github.com/aimagelab/novelty-detection>

论文代码 https://github.com/aimagelab/novelty-detection

`Latent Space Autoregression for Novelty Detection 
           

Abstract

Novelty detection is commonly referred to as the discrimination of observations that do not conform to a learned model of regularity. Despite its importance in different application settings, designing a novelty detector is utterly complex due to the unpredictable nature ofnovelties and its inaccessibility during the training procedure, factors which expose the unsupervised nature ofthe problem. In our proposal, we design a general framework where we equip a deep autoencoder with a parametric density estimator that learns the probability distribution underlying its latent representations through an autoregressive procedure. We show that a maximum likelihood objective, optimized in conjunction with the reconstruction of normal samples, effectively acts as a regularizer for the task at hand, by minimizing the differential entropy ofthe distribution spanned by latent vectors. In addition to providing a very general formula- tion, extensive experiments ofour model on publicly available datasets deliver on-par or superior performances if compared to state-of-the-art methods in one-class and video anomaly detection settings. Differently from prior works, our proposal does not make any assumption about the na- ture ofthe novelties, making our work readily applicable to diverse contexts.

新颖性检测通常被称为对不符合规律性学习模型的观察结果的识别。尽管它在不同的应用环境中很重要，但是设计一个新颖的探测器是非常复杂的，因为新颖性的不可预测性和在培训过程中不可接近性，这些因素暴露了问题的无监督性。在我们的建议中，我们设计了一个通用框架，在这个框架中，我们为一个深度自动编码器配备了一个参数密度估计器，通过一个自回归过程来学习潜在表示的概率分布。我们证明了最大似然目标，与正态样本的重建相结合，通过最小化潜在向量所跨越的分布的差分熵，有效地作为当前任务的正则化器。除了提供一个非常通用的公式外，我们的模型在公共可用数据集上进行的大量实验，如果在一个类和视频异常检测设置中与最先进的方法相比较，则可以提供PAR或更好的性能。与之前的作品不同，我们的建议没有对小说的性质作出任何假设，使我们的作品很容易适用于不同的背景。

1. Introduction

   新颖性检测被定义为对样本的识别，这些样本在一个规则性的基础模型上表现出显著的不同特征，这是从一个正常样本集合中建立的。自主系统识别未知事件的意识使其能够应用于多个领域，从视频监控[7，11]到缺陷检测[22]到医学成像[38]。此外，由看不见的事件引发的惊喜正在成为加强学习环境的一个重要方面，也是好奇心驱动探索的一个促成因素[34].

   然而，在这种情况下，新实例的定义和标记是不可能的。因此，文献也同意通过模拟正态和新样本的三次特征来近似分离正态和新样本的理想边界形状。因此，先前的研究通过遵循从无监督学习范式中衍生出来的原则来解决这一问题[9、37、11、26、30]。由于缺乏监督信号，特征提取过程及其正态性评估规则只能由代理目标来指导，前提是代理目标将为手头的应用程序定义适当的边界。

   根据认知心理学[4]，新颖性可以用记忆事件的能力来表达，也可以用观察到的事件引起的某种程度的惊奇来表达。后者是根据在预期模型下发生的低概率或通过降低变分自由能进行数学建模的[16]。在此框架中，先前的模型利用参数[49]或非参数[14]密度估计。不同的是，记住一个事件意味着采用一个由普通原型字典（如稀疏编码方法[9]）或输入空间的低维表示（如自组织映射[20]或最近的深层自动编码器）表示的内存。因此，在新颖性检测中，通过测量重建误差[11，26]或通过在分布测试中进行鉴别来评估给定样本的记忆能力[37]。

   我们的建议通过将记忆和意外的方面合并到一个独特的框架中来为该领域做出贡献：我们设计了一个生成的无监督模型（即，如图1i所示的自动编码器），该模型利用端到端的培训，以最大限度地提高正常样本的记忆效率，同时最小化潜在重复的意外。演示。后一点是通过自回归密度估计实现潜在表示可能性的最大化，该估计与重建误差最小化一起执行。我们表明，通过共同优化这两个术语，模型隐式地寻求最小熵表示保持其记忆/重建能力。虽然在深度神经压缩中采用了熵最小化方法[3]，但据我们所知，这是为新颖性检测量身定制的第一个建议。在内存方面，我们的过程类似于使用尽可能少的模板来原型化正常性的概念。此外，评估估计器的输出可以评估给定样本引起的意外。

2. Related work

   Reconstruction-based methods.

   基于重建的方法。一方面，许多工作倾向于学习参数投影和正常数据重建，假设异常值会产生更高的残差。传统的稀疏编码算法[48，9，27]坚持这样的框架，并将正常模式表示为几个基本组件的线性组合，假设新的示例将在学习的子空间中显示非稀疏表示。在最近的研究中，投影步骤通常是从深度自动编码器中提取出来的[11]。在[30]中，作者通过在所学表示上实施稀疏正则化来恢复稀疏编码原则，而循环神经网络则在时间维度上强制它们的平滑性。相反，在[37]中，作者利用了一个敌对的框架，其中使用鉴别器网络作为实际的新颖性检测器，通过执行离散分布测试来发现异常。相反，未来帧预测[26]利用其对过去帧的知识最大化了对下一帧的期望；在测试时，观察到的与预测内容的偏差建议异常。与上述作品不同，我们的建议依赖于对潜在表现的先验分布进行建模。这一选择与密度估计界的最新研究相一致[41，6]。然而，据我们所知，我们的工作是第一次提倡这样一种设计选择对于新颖性检测的重要性。

   Probabilistic methods.

   概率方法。一个补充的研究线调查不同的策略，以近似的密度函数的正常外观和运动特征。该领域提出的主要问题是如何在高维复杂特征空间中估计密度。在这方面，先前的工作涉及手工制作的特征，如光流或轨迹分析，除此之外，还采用了非参数[1]和参数[5、31、25]估计量，以及图形建模[17、23]。现代方法依赖深度表示（例如，由自动编码器捕获），如高斯分类器[36]和高斯混合[49]。在[14]中，作者涉及从辅助目标检测网络激活的核密度估计（kde）建模。最近的一个研究趋势是在正常样本上训练生成性对抗网络。然而，由于这些模型近似于隐式密度函数，因此可以查询它们以获取新的样本，但不能查询似然值。因此，基于氮化镓的模型采用不同的启发式方法来评估新颖性。例如，在[38]中，利用引导潜空间搜索来推断它，而[35]直接向鉴别器查询正态性分数。

3. Proposed model

   拟用模型

   最大化潜在表示的概率类似于降低正常配置模型的惊奇，定义为潜在变量实例的负对数密度[42]。相反，记忆能力可以通过给定样本在其潜在表示下的重建精度来评估。我们在一个潜在变量模型设置中对上述方面进行建模，其中训练样本p（x）的密度函数通过一个辅助随机变量z进行建模，描述了所有观测结果背后的一组因果因素。通过因子分解

   

   其中p（x_z）是观察的条件可能性，给定一个具有先验分布p（z）的潜在表示z，我们可以明确记忆和对新颖性的意外贡献。我们通过一个推理模型来近似边缘化，该模型负责确定P（x_z）贡献最大的潜在空间矢量。在形式上，我们采用了一种深度自动编码器，其中重建误差起到p（x_z）负对数的作用，假设p（x_z）=n（x x，i），其中x表示输出重构。此外，通过在自动编码器上安装一个辅助深参数估计，学习潜在向量的先验分布p（z），并通过最大似然估计（MLE）对其进行训练，在该过程中注入了意外。

   

   编码器处理输入x并将其映射为压缩表示z=f（x；θf），而解码器则提供输入的重构版本∙x=g（z；θg）。概率模型h（z；θh）通过自回归过程估计z中的密度，从而避免采用特定的分布族（即高斯分布），可能对手头的任务没有回报。关于后一点，请参考补充材料进行比较，W.R.T.变分自动编码器[19]。

   利用这些模块，在测试时，我们可以评估两个新颖性来源：观察到的由正常样本引入的因果因素解释不清楚的元素（即，高重建误差）；表现出良好重建的元素，同时在已知先验项下显示出令人惊讶的潜在表征。

Autoregressive density estimation.

自回归密度估计。自回归

模型为涉及顺序预测的任务提供了一个一般公式，其中每个输出都依赖于以前的观察结果[28，32]。我们采用这样一种技术来分解联合分布，从而避免预先定义其景观[24，43]。形式上，p（z）被分解为

因此，估计p（z）减少到每个条件概率密度（cpd）的估计，表示为p（z i_z<i），其中符号<表示随机变量的顺序。一些先前的模型遵循手工制作的命令[46，45]，而其他模型则依赖于命令不可知论训练[44，10]。然而，对于一组给定的变量，如何估计正确的顺序仍然不清楚。在我们的模型中，这个问题是通过优化直接解决的。事实上，由于我们对学习到的潜在表示进行了自回归，MLE目标鼓励自动编码人员对其施加预先定义的因果结构。补充材料中给出了这种现象的经验证据。

从技术角度来看，估计量h（z；θh）输出d分布p（z i_z<i）的参数。在我们的实现中，每个CPD都被建模为一个超过b=100量化桶的多项式。为了确保对每个潜在密度进行条件估计，我们设计了适当的层，以确保每个符号zi的cpd是根据输入z1计算的。…，仅zi-1。

论文代码

https://github.com/aimagelab/novelty-detection