【論文閱讀】Triple GANs論文閱讀

我的前言

翻譯結合我自己想法啊，但是我賊菜的而且時間有限，是以，我都是簡單的大緻了解一下，然後翻譯。發出來的原因，更多是想做個筆記。

翻譯的亂七八糟的。。。這就是我現在的感受了

文章目錄

• 我的前言
• 論文
• • 論文作者
  • Abstract 概要
  • Introduction 介紹
  • Method
  • • 3.1 三個玩家的博弈

論文

論文作者

Chongxuan Li， Kun Xu, Jun Zhum, Bo Zhang

Tsinghua University

三位清華的大神

Abstract 概要

GANs （對抗生成神經網絡）已經在圖檔生成和半監督學習上有不錯的保證了。但是，目前的GANs在半監督學習上有兩個問題。

1. 生成器和判别器（即分類器）可能不是同時最優的。
2. 生成器不能控制生成樣本的語義

這個樣本實質上是由于兩個玩家的博弈制度。在這種制度下，一個判别式模型來分享一個不相容的角色，在識别一個假的樣本并且預測标簽，而且它隻評估沒有考慮标簽的資料。

為了解決這個問題，我們提出一個三人對抗的生成網絡。（Triple-GAN）。在這個模型中，包括有三個博弈參與者，分别是一個生成器，一個判别器，一個分類器。

• 這個生成器和分類器表現這個在圖檔和标簽之間的條件分布。
• 這個判别器隻（solely）專注于分辨假圖檔-标簽對

我們設計了相容的效用去保證這個分布被這兩個收斂到資料分布的分類器和生成器表現出來。

我們在不同資料上實驗的結果表明（demonstrate）Triple-GAN 作為一個統一的模型可以同時保證下面兩點

• 達到了最先進的，最高端的，最前沿的分類通過深度生成模型的分類結果
• 解決了，在資料空間，類别和風格的平滑地導入和轉化，通過在潛在的類别條件空間上的插值（interpolation）

附上這段的論文

Introduction 介紹

深度生成模型（DGMs）可以捕捉到資料的底層分布并生成新的樣本。

最近，在生成實際圖檔上有了一個有重大意義的進展基于生成對抗網絡（GANs）。生成對抗網絡是制定了一個兩個玩家的博弈。在這個博弈當中，生成器G把随機噪聲Z作為輸入，然後生成了樣本G(z)在資料空間；而，判别器（Discriminator）D 識别一個給定的樣本，來自于實際的資料分布P(x)，還是來自于生成器G。

G和D都是被參數化為深度神經網絡，并且訓練過程就是解決下面的這個最小值問題。

這裡， p z ( z ) p_z(z) pz​(z)是一個樣本分布（例如：均勻分布（uniform）或者是正态分布（norm））。然後 U ( ⋅ ) U(·) U(⋅)表示一個結果。

給出一個生成器然後定義分布 p g p_g pg​，最優的判别式就是

D ( x ) = p ( x ) / ( p g ( x ) + p ( x ) D(x) = p(x) / (p_g(x) + p(x) D(x)=p(x)/(pg​(x)+p(x) 在一個非參數化的設定中，然後這個博弈的均衡（equilibrium of the game）當且僅當 p ( x ) = p g ( x ) p(x) = p_g(x) p(x)=pg​(x)的時候達到。就圖像生成來言，這是理想的。

GANs和DGMs在一般情況下，已經被證明了在半監督學習（SSL）上的有效性，當保證了生成的能力。在同樣的兩個玩家的博弈模型中，Cat-GANs概括了GANs用一個分類判别的網絡，并且一個目标函數是去極小化一個預測基于真實資料的條件熵，同時也要最大化，預測基于生成的樣本的條件熵。

這有兩個問題在GANs應用在半監督學習SSL上

1. 生成器和判别器（即分類器）可能不是同時最優的。
2. 生成器不能控制生成樣本的語義

對于第一個問題，Salimans et al 提出兩個可選的訓練對象，效果在分類或者圖像生成的半監督模型上都是還不錯的，但不是同時都不錯。

這個特征比對在分類上非常不錯，但是在生成不同的樣本上，當另外一個損失函數 minibatch 判别函數，在實際的圖像生成上表現的很好。

這個現象沒有被深入地分析，并且，在這裡，我們認為主要源自于 兩個玩家的博弈機制，在這樣的機制下，隻有一個判别器去完成兩個不相容的内容–識别假的樣本，并且預測真的樣本。

特别地，我們人假設G是最優的，即 p ( x ) = p g ( x ) p(x) = p_g(x) p(x)=pg​(x) 并且考慮一個樣本x來自于 p g ( x ) p_g(x) pg​(x)。一方面，作為一個判别器，最優的D應該能識别x是一個假的樣本，有着非0機率。另一方面，作為一個分類器，這個最優的D應該總是預測這個正确的x的類别。

這就好像，D有兩個不同的收斂點一樣。表面G和D可能不是同時最優的。而且，給一個不是最優的G，這樣的情況占大多數。給一個樣闆來自于重疊區域，那麼兩個在D中的角色任然會通過不同的處理這個樣本完成，導緻很糟糕的分類。

對于第二個問題，disentangling （解開）有意義的實體因子，像有限監督的潛在表征的對象分類。然而根據目前的知識來看，沒有一個存在的GANs是可以學習一個解開的表征在半監督模型中，即使一些工作可以學習這樣的表述被給出來全部的标簽的。又一次的，我們認為這是來自兩個玩家的對抗的模型。

為了解決這些問題，提出了Triple-GAN。（後面的翻不動了。。。）

直接跳到Methods部分好了，看看算法實作。

Method

我們考慮在學習一個DGMs在半監督的設定下，這裡我們又部分标簽好的資料集。

• x表示輸入的資料
• y表示輸出的标簽

目标是去預測這個标簽y給沒有标簽好的資料，同時也給生成出來的新樣本x在基于y的條件下。

這是很不同于無監督設定的給純粹的生成，在無監督的條件下，唯一的目标就是去生成一個樣本x然後去欺騙判别器x。

是以兩個人的博弈是可以滿足去描述這個過程在GANs中的。

在我們的設定中，作為一個标簽資訊，y是不完整的（也是不确定的）。我們的密度模型應該是被表征在x和y的空間上。

是以，有一個聯合分布 P(x,y)在輸入的标簽對上。

雙人博弈的一個比較直接的應用，是不可行的，由這個缺失的y資料。

不像之前的工作，給兩人博弈有一個限制，然後可以導緻一個不相容的目标。我們建立了我們的博弈理論的對象，基于在這個聯合分布上的觀測。

表示出來就是，機率公式的條件公式（可以回去翻翻機率論的書）。

條件機率是針對于分類的過程的，和有分類的生成器。

為了去聯合得到評價這個條件分布（被表征為一個分類器網絡的模型和一個有類别條件的生成器網絡），我們定義了一個單獨的判别器，有一個特定的角色，就是去區分是否這個人樣本是來自于實際資料，還是來自這模型。

是以，我們很自然的擴充GANs到Triple-GANs，這樣的一個三人對抗的模型去表征分類的和有類别條件的生成模型。

3.1 三個玩家的博弈

Triple-GAN 包括有三個部分

1. 一個分類器C，近似地表征條件分布 P c ( y ∣ x ) = p ( y ∣ x ) P_c(y|x) = p(y|x) Pc​(y∣x)=p(y∣x)
2. 一個有類别條件的生成器G，禁止的表征為，一個條件分布的另外一個方向。 P G ( x ∣ y ) = p ( x ∣ y ) P_G(x|y) = p(x|y) PG​(x∣y)=p(x∣y)
3. 一個判别器D，區分一個資料對(x,y)來自于真實資料分布p(x,y)

所有的組成成員都被表示神經網絡的參數成員。