GAN & 對抗樣本

目錄

• 關于對抗樣本的解釋
• GAN原理簡介
• GAN生成對抗樣本的發展

關于對抗樣本的解釋

對于對抗樣本為何能夠攻擊成功，目前有以下三種解釋：

• 高維空間的線性模型解釋：當輸入為圖像時，沿着梯度方向很小的線性運動就可以導緻深度神經網絡增加很大的擾動，權重向量 ω \omega ω和對抗樣本 x ′ x′ x′的内積 ω T x ′ = ω T x + ω T n \omega^Tx'=\omega^Tx+\omega^Tn ωTx′=ωTx+ωTn，在 n n n維情況下會産生 n n n倍的擾動，以至于改變最終輸出結果。（Explaining and harnessing adversarial examples）
• 資料流形中的低機率區域解釋：對抗樣本是從總體樣本所在機率空間的某一子空間中抽樣得到的，是以，對于這些在訓練階段隻學習了一些局部子區域，且訓練樣本個數有限的分類算法而言，對抗樣本已經超出了分類器所能學習的機率分布。（A Boundary Tilting Persepective on the Phenomenon of Adversarial Examples）
• 模型決策邊界解釋：線性分類器并不總是遵循線性解釋的結果，作者認為分類決策邊界超出了樣本資料的子流形，是以存在對抗樣本。（A Boundary Tilting Persepective on the Phenomenon of Adversarial Examples）

GAN原理簡介

GAN的整體過程如圖所示：

生成對抗網絡( GAN): 給定一批樣本，訓練一個系統能夠生成類似的新樣本。其核心思想是博弈論中的納什均衡，判别器D的目的是判斷資料來自生成器還是訓練集，生成器的目的是學習真實資料的分布，使得生成的資料更接近真實資料，兩者不斷學習優化最後得到納什平衡點。

GAN生成對抗樣本的發展

• 2017，Shumeet Baluja等人提出了對抗變換網絡（Adversarial Transformation Networks，ATN）來生成對抗樣本，産生了比計算噪聲更多樣化的擾動。但缺點是，ATN生成的對抗樣本，會殘留有目标類别的典型模式，如植物紋理、動物眼睛和皮毛等，可遷移性差，擾動較大，存在圖像邊緣模糊的問題。（2018AAAI-Adversarial transformation networks: Learning to generate adversarial examples）
• Avishek等人在ATN的基礎上進行了GAN訓練，生成模型在人臉識别中産生了效果良好的攻擊。（2018IEEE MMSP-Adversarial Attacks on Face Detectors using Neural Net based Constrained Optimization）
• Zhengli Zhao等人在建構GAN訓練時使用了不同目标的判别器，試圖生成更加自然的對抗擾動。（2018ICLR-Generating Natural Adversarial Examples）
• Chaowei Xiao等人在GAN方向上做出了較為标準化的工作，提出了advGAN，通過生成器、判别器、目标模型三部分進行了生成對抗訓練，使生成器能夠生成擾動疊加到原始樣本上，實作通用的對抗樣本生成。(2018-Generating Adversarial Examples with Adversarial Networks)
• Puneet Mangla等人提出需要充分利用原始樣本的潛在特征進行對抗樣本的生成，訓練生成接近輸入分布的對抗樣本，在上一個的基礎上使用一個目标模型 M M M中間的卷積層 f f f作為特征提取，提出了advGAN++。（2019-AdvGAN++ : Harnessing latent layers for adversary generation）
• Xiaosen Wang等人提出了提出了一種新的生成攻擊模型，稱為AT-GAN（對抗遷移生成對抗網絡），以估計對抗樣本的分布，通過學習對抗樣本的分布，進而從随機噪聲中生成不受限制的對抗樣本。（2019-AT-GAN: A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets）
• Feng CHEN等人将掩碼機制（Mask Mechanism）引入GAN體系結構的生成器網絡中以優化限制問題，提出FF-GAN，選擇對分類器重要的特征進行擾動。（2020IJCNN-Few-Features Attack to Fool Machine Learning Models through Mask-Based GAN）
• Guoping Zhao等人針對圖像檢索（CBIR）、人臉搜尋（Face Search）、人員重新識别（ReID）等方向的對抗攻擊，提出無監督對抗攻擊GAN（UAA-GAN），專注于擾動樣本的深層視覺特征。（2019-Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN）
• Lingyun Jiang等人提出了周期一緻對抗性GAN（CycleAdvGAN），訓練兩個生成器分别進行對抗樣本生成和恢複對抗樣本，可以進行攻防一體地模型訓練。（2020SCN-Cycle-Consistent Adversarial GAN: the integration of adversarial attack and defense)
• Zilong Lin等人針對IDS檢測系統提出IDSGAN等。(2018-IDSGAN: Generative Adversarial Networks for Attack Generation against Intrusion Detection)

• GAN生成的樣本具有邊緣銳利、更富有多樣性的優點，在半監督學習中得到了廣泛的應用。但是GAN 也存在訓練不穩定，生成的樣本容易變形的問題。
• 在訓練GAN時，對生成器額外增加對抗性限制、距離限制，使産生圖像在足夠真實前提下，對目标模型成功産生對抗攻擊效果。