一、前置知識
奇異值分解：奇異值分解(SVD)原理詳解及推導_陳靖_的部落格-CSDN部落格_奇異值分解
雅克布矩陣：雅可比（Jacobian）矩陣 - 笨笨和呆呆 - 部落格園 (cnblogs.com)
截斷的含義以及在bigGans中的實際應用：https://blog.csdn.net/jtup1253/article/details/126836743
二、關于本文
不同于傳統意義上在DGNs(deep generative network)中為了得到更好的FID，以及生成更真實的圖檔而引入可控的參數去權衡生成樣本的精度和召回率（例如：截斷潛在空間中的采樣、插值截斷），本文采用了極值采樣。這是一種理論上可以實作即插即用的新型算法。
所謂的即插即用，是相對于傳統的改進方法。例如：bigGans為了生成更好的圖檔，在訓練期對DGN的參數進行了正交正則化。在訓練準備期以及後續的訓練過程中都起到了很大的影響，而且，一昧的對參數進行正交化、正則化可能會限制生成網絡在敏感應用中的部署。
而本文提出的積性采樣是一種原則性的解決方案。它不需要重新訓練，也不需要對模型訓練進行特定的調節，就可以對生成圖檔（fake picture）的精度與召回率進行平衡。總的來說“積性采樣“是一種樣本分布的分析形式之上的工作。
傳統的深度生成網絡是零散的線性映射。在大多數DGN設定中，一旦訓練完成，對新資料點的取樣是直接通過對潛在空間樣本進行取樣來進行的。
上圖的公式代表的其實是在潛在空間中選取一部分作為生成圖訓練網絡時取樣的側重部分。
傳統的做法是，在擷取到采樣潛在向量z之後，重複更新後者，使得所産生的資料具有更高的品質，進而提升整個網絡的品質。而截斷的使用也是在選取圖檔矩陣（或潛在向量矩陣）這一步中加入，用來去除生成圖檔中的僞影。
極性采樣的引入：
它主要應用于圖檔的輸出（生成）部分，是以可以實作即插即用，不需要額外的訓練，具體來說他是映入了一個新的參數，稱為極性參數
，用于在訓練後迫使潛在分布集中在DGN的高機率或低機率區域。
核心理論：
即深度生成網絡（DGN）的輸出空間的分布與非零奇異分解矩陣（或者直接說非零奇異值）乘積的根号分之一成正比。
同時：
由上公式可以看出：每個輸出空間區域的樣本濃度取決于該區域的斜率矩陣
,相對于其他區域如何收縮或擴充空間。同時從原始理論中可以得出通過控制斜率矩陣的大小，可以進一步控制輸出空間的樣本濃度。
将原始定理變形後可得：
整理可得：
極性采樣的僞代碼：
對于上圖算法中幾個關鍵點的解釋：
1、
:即
,用DGN網絡生成圖像矩陣的雅克布矩陣來表示
，這裡利用了自動差異庫的優勢；
2、如果完全控制使得
屬于z，那麼會消耗太多的資源，太過于昂貴。是以本文控制
使得他與
在Z中的斜率近似。進而控制的所屬問題。
3、對于樣本N為了獲得更好的效果，本文選取了更大的N作為樣本數目。
4、奇異值的計算也是一個昂貴的過程，是以k的值就是具體選取了前k哥奇異值加速計算。
5、作者在實踐中發現
6、為了減少ρ極值可能出現的舍入誤差，是以計算對數空間中奇異值的乘積（對數中相加可以數學變換為乘積形式）
7、最後sorftmax歸于0，1用于最後的采樣。
三、算法總結
其實前面也做過多次總結，但在進行最後的總結。本文提出的算法是一種在原則上進行變革的新型算法。這中算法不在Gan網絡的生成或者預處理做出改變，而是在生成的結果圖上做出創新性的算法變革，它通過引入極性采樣，使得生成圖檔（fake picture）中選取部分的機率密度更大即更多的落在我們的感興趣區域，進而得到一種更好的類重建效果。使得生成的圖檔具有更高的品質（即實作FID以及召回率之間的動态平衡）。
作者在自然圖像上實作了很好的實驗效果，也達到了一種類似于即插即用的泛用的DGN改造與變革的效果。在一些傳統的強大Gan網絡BigGan、StyleGan的改進中也取得了突破性的進展。