FactorVAE

論文：https://arxiv.org/pdf/1802.05983.pdf

摘要：

論文闡述了非監督學習在變量的獨立因子中生成資料的表示（學習）的解耦問題（disentangled representations），提出FactorVAE算法，算法通過激勵表示的分布，使之成為因式，在整個次元中獨立。論文展示了FactorVAE在解耦(disentanglement)和重建(reconstruction)中的表現優于β-VAE。論文指出了在常用解耦中的度量标準的問題，并引入了新的度量标準。

介紹：

在人工智能領域，學習資料的可解釋的表示來提取語義資訊有非常重要的意義，不僅對後續任務有用，在監督學習(supervised learning)，強化學習(reinforcement learning)，遷移學習(transfer learning)和 zero-shot learning中都非常重要，在上述四個任務中，機器學習的過程非常艱難。Bengio定義“表示”：表示是變量一個因素的改變對應這一個次元的改變，但是對于其他變量相對來說是不變的。論文提出在非監督學習下學習表示的理由有如下：① 人類能夠學習非監督的變量 ② 标簽需要人工标注，并且代價高昂 ③ 人工标注的标簽可能前後不一緻，或者其他人很難分辨。

β-VAE基于VAE的架構是一個非常實用的 disentangled 的非監督生成模型，β-VAE使用修正系數 β > 1 （變量後驗分布和先驗分布的KL散度）來修正VAE目标函數。β-VAE的一個缺點是犧牲一部分重建的效果來達到disentange的效果。本篇論文的提出在不減少重建品質的前提下達到更好的disentanglement。FatorVAE 在 VAE 部分使用一個懲罰來激勵表示的邊緣分布，将該懲罰作為一個因子而不影響重建效果。該懲罰定義為邊緣分布和該邊緣分布産生的結果之間的 KL 散度，且通過鑒别器網絡（借鑒GANs）來優化。

論文指出了之前β-VAE使用标準的不足之處，并提出一個新的标準。InfoGAN 與 β-VAE 類似，但是基于GAN的網絡結構，InfoGAN 通過獎勵“探索”和隐藏（資訊）之間的額互資訊來學習 disentangled representaitons。由于GAN在生成訓練的穩定性，論文總結出 InfoGAN-GP，是InfoGAN 的一個版本，使用 Wasser-stein 散度，并且在實驗評估中使用梯度懲罰。

論文的主要貢獻：① 提出了 FatorVAE 算法，該算法表現比β-VAE 優異 ② 論文指出了 β-VAE 标準的不足之處，并提出一個更加魯棒的标準 ③ 論文經過實驗對比了 FatorVAE 和 β-VAE 的表現。

Disentanglement 與 reconstruction 在β-VAE裡的平衡：

論文介紹了VAE的架構，假設“探索”

，是通過結合潛在因素

而生成的，上述“探索”是使用具有真實值的隐向量

生成的，并解釋為資料的表示。生成模型是通過标準的高斯先驗

定義的，并将之選擇作為分布因子。解碼器

通過一個神經網絡進行參數化，“探索”的後驗分布是

，其中均值mean和方差variance是編碼器生成的。變量的後驗分布可以看做是表示的分布，公式如下：

是一個邊緣分布，

是資料的經驗分布。

β-VAE假設所有因素獨立，則：

，得到最終的β-VAE的目标函數：

該方程表示期望

的下屆，當 β = 1 時，表示普通的 VAE，其他情況取 β > 1。公式的第一項表示重建誤差，第二項表示規則項，用來懲罰模型複雜度。

也可以使用互資訊的方式表示：

其中，

表示“探索”x和隐向量 z 在聯合分布

下的互資訊，

激勵隐變量之間的獨立性而使得模型更加 disentangle. 但是會導緻更差的重建效果。

TC 懲罰和 FactorVAE：

FactorVAE 在 VAE 的基礎上直接添加一項，公式如下：

其中：

，這個也是邊緣log似然函數

的下屆，其中

就是Total correlation，用來描述變量之間的聯系，

和

都包含許多元素，并且直接使用Monte Carlo估計時需要整個資料對每一個

的評估。FactorVAE 通過随機選擇資料點 x 在

中采樣，在

（該采樣是在q(z)中生成d個樣本）中采樣，最終的結果是兩個分布逼近。

使用密度比例技巧(density-ratio trick)：

其中

表示多層感覺機生成的鑒别器。

算法：