天天看点

Graphical Generative Adversarial Networks论文解读

假设在一个连续的或离散的高维空间 X 中,存在一个变量 X 服从一个未知分布 P_data (X )。我们根据一些可观测的样本 x(1),x(2),··· ,x(N) 来估计这个未知分布。生成模型就是建立一个分布模型 P_model (X )来近似未知的数据分布P_data (X ),并可以用这个模型来生成一些样本,使得生成样本和真实样本尽可能地相似。但在实际中,观测到的样本往往只是真实样本的一部分变量,叫做可观测变量。除了可观测变量外,还有一些变量是不可观测的,叫做隐藏变量 (Latent Variables),或隐变量。假设隐变量Z是另外一个相对低维的空间Z中的变量,完整的生成式模式应该是建模 P_model(X,Z)。根据链式法则P_model(X,Z) =P_model (Z )P_model (X |Z ),生成式模式可以转换为对两个分布的建模:一个是观测变量 X 的条件分布P_model (X |Z ),另一个是隐变量的先验分布P_model (Z )。

生成模型有两种,一种是 prescribed 模型,一种是 Implicit 模型。本文提到的深度隐式模型,即为后者与深度学习的结合,就是利用神经网络的方式来隐式地建模条件分布p(x | z)。而其中所谓的隐式建模,是指并不对条件分布p ( x | z )本身进行建模,而是建模生成过程,即学习一个映射函数 g : z → x。神经网络的输入为隐变量 z,输出为观测变量 x。本质上来说,GAN 也是深度隐式模型的一种形式。

目前已知的深度隐式模型能够生成相当真实的图像,但是没有能够很好地利用数据中的基本结构,例如图像的离散语义信息、视频帧之间的连续性等。

另一方面,在概率论和统计学中,概率图模型是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型。图,是由节点和节点之间的边组成。在概率图模型中,每一个节点都表示一个随机变量 (或一组随机变量),边表示这些随机变量之间的概率依赖关系。

常见的概率图模型可以分为两类:有向图模型和无向图模型。前者也叫做贝叶斯网络,为有向非循环图,边的方向代表了因果关系。本篇文章所采用的即贝叶斯网络。在机器学习中,很多机器学习模型都可以看作是概率模型,也即将学习任务归结于计算输入和输出之间的条件概率分布。概率图模型显然可以表示数据中结构,但是它的缺点是随着节点数的增加,算法将会变得非常复杂,因此它无法处理图像这类复杂的数据。

Graphical-GAN,如上面所说,结合了深度隐式模型和概率图模型两者的优点。具体来说,作者在 Graphical-GAN 中使用贝叶斯网络来表示变量间的结构;另一方面,用深度隐似然函数来为复杂数据建模。

Graphical Generative Adversarial Networks论文解读

上图中分别是离散结构和连续结构的生成模型示意图,在生成SAR图像的应用中用的是右边的结构,隐变量之间有依赖关系,通过深度隐式模型构建z → x的关系

其中X、Z如上所说为可观测变量和隐变量,而G表示关联有向无环图(也即贝叶斯网络)。由于贝叶斯网络的局部结构性质,分布可以进一步分解为:

Graphical Generative Adversarial Networks论文解读

这里的 Pa_G(x)(x 包含可观测变量和隐变量)即为前面贝叶斯定义中的 x_pi_k,表示了关联图 G 中 x_j 的父节点。当给定依赖性结构的情况下,变量之间的依赖函数就可以参数化为深度神经网络,进而来拟合复杂的数据。这种结合了图的深度隐式模型,作者将之称为图生成对抗网络(Graphical-GAN)。

由于模型本身是高度非线性的,这导致计算后验概率 p(z|*) 难以计算。为了解决这个问题,作者采用一个神经网络来近似计算,这在统计中称做推理网络;换句话说就是,利用一个神经网络来估计 p(z|x; θ) 的近似分布 q(z|x; φ),这里φ是网络参数。

Graphical Generative Adversarial Networks论文解读

剩下的工作就是同时学习生成模型和识别模型中的参数,让 p 和 q 尽可能地相似。作者提出两种基于散度最小化的算法,一种为全局算法,一种为局部算法。如图所示:

Graphical Generative Adversarial Networks论文解读

在全局算法中直接忽略数据中的结构信息,去最小化 p(X , Z) 和 q(X , Z) 之间的散度。最小化问题就变成了:

Graphical Generative Adversarial Networks论文解读

另一方面,局部算法考虑数据中的结构信息,将前面 P_G(X,Z) 简化写为:

Graphical Generative Adversarial Networks论文解读

这里,A 为前面 (x | Pa_G(x)) 或(z | Pa_G(z))的缩写,F_G 是相应的因子集合。于是这里的最小化问题以 GAN 的形式写出即为:

Graphical Generative Adversarial Networks论文解读

继续阅读