摘要
我們提出了一種廣泛的基于動量的疊代算法來增強對抗攻擊。通過将動量項內建到疊代過程中，我們的方法可以在疊代過程中穩定更新方向并避免糟糕的局部最大值
1.FGSM
我們先來了解一下疊代的FGSM算法,它通過以下公式來産生擾動 x ∗ x_* x∗
x ∗ = x + ϵ ∗ s i g n ( ∇ x J ( x ∗ , y ) ) ， ( 1 ) x_*=x+{\epsilon}*sign({\nabla}_xJ(x_*,y))，(1) x∗=x+ϵ∗sign(∇xJ(x∗,y))，(1)
FGSM通過尋找一個對抗樣本來使損失函數 J ( x ∗ , y ) J(x_*,y) J(x∗,y)最大化。這個算法這樣的一個假設，決策邊界周圍的資料點是線性的，但是，當決策邊界扭曲比較大時候，這個假設不一定成立[12]，是以造成了所生成的對抗樣本攻擊能力比較弱。
2.I-FGSM
再來看看疊代的I-FGSM算法，它通過以下公式産生擾動 x ∗ x_* x∗
x 0 ∗ = x , x t ∗ = x t − 1 + α ∗ s i g n ( ∇ x J ( x t ∗ , y ) ) ， ( 2 ) x_0^*=x,x_t^*=x_{t-1}+{\alpha}*sign({\nabla}_xJ(x_t^*,y))，(2) x0∗=x,xt∗=xt−1+α∗sign(∇xJ(xt∗,y))，(2)
I-FGSM通過在梯度sign的方向上疊代來産生對抗樣本。
以上兩個算法都很容易陷入局部最大值和對模型“過拟合”，會導緻對抗樣本的攻擊性對其他的模型不太好。
3.MI-FGSM
作者提出了MI-FGSM算法，把動量融入到I-FGSM算法中，通過公式(3-4)來産生擾動。
g t + 1 = μ g t + ∇ x J ( x t ∗ , y ) ∣ ∣ ∇ x J ( x t ∗ , y ) ∣ ∣ 1 , ( 3 ) x t ∗ = x t − 1 + α ∗ s i g n ( g t + 1 ) ， ( 4 ) g_{t+1}={\mu}g_{t}+\frac{{\nabla}_xJ(x_t^*,y)}{||{\nabla}_xJ(x_t^*,y)||_1},(3) \\ x_t^*=x_{t-1}+{\alpha}*sign(g_{t+1})，(4) gt+1=μgt+∣∣∇xJ(xt∗,y)∣∣1∇xJ(xt∗,y),(3)xt∗=xt−1+α∗sign(gt+1)，(4)
g t + 1 g_{t+1} gt+1在梯度方向上累積了速度矢量。對梯度正則化的原來在于每次疊代中變化幅度的範圍不一樣。
那麼為什麼要加入動量？
之前我們通過動量融入梯度下降法中加速了梯度下降和收斂。在文獻[20]中表明随機梯度上升中，用動量來更新同樣是有效的。
集合模型的方法中在比賽中很常用，作者也使用集合模型的方法來産生對抗樣本。作者對logit進行了融合，即輸入softmax前的值。
l ( x ) = ∑ k = 1 k w k ∗ l k ( x ) , ( 5 ) l(x)=\sum_{k=1}^k w_k*l_k(x),(5) l(x)=k=1∑kwk∗lk(x),(5)
損失函數定義為
J ( x , y ) = − 1 y ∗ l o g ( s o f t m a x ( l ( x ) ) ) J(x,y)=-1_y *log(softmax(l(x))) J(x,y)=−1y∗log(softmax(l(x)))
作者發現融合logit比融合預測值和loss值效果更好。
MI-FGSM算法如下：
[12]Y. Liu, X. Chen, C. Liu, and D. Song. Delving into transferable adversarial examples and black-box attacks. In ICLR,2017. 1, 2, 3, 4, 6, 7, 10
[20] I. Sutskever, J. Martens, G. Dahl, and G. Hinton. On the importance of initialization and momentum in deep learning.In ICML, 2013. 3
歡迎關注：CVpython，一個專注于分享Python教程和CV算法的公衆号