Abstract
論文提出了一種新的、簡單的、可以複制的方法，可以在不同的拍攝條件下攻擊最佳的公開Face ID系統ArcFace。
本文通過在在帽子上粘貼對抗 sticker 的方法來産生攻擊。
Introduction
近些年對深度神經網絡的對抗攻擊正逐漸被重視，其中一個原因是對抗攻擊已經可以在現實世界中被部署。之前提出了對普遍Face ID 模型的攻擊方法，但該方法一個缺點是你需要用紙裁剪出複雜的形狀，另一個缺點是拍攝條件是固定的。
AdvHat的優點如下：
- 通過在帽子上粘貼 sticker 進行攻擊現實攻擊
- 很容易複制這種攻擊，隻需要列印一張彩色長方形紙。
- 一種攻擊可以在不同的拍攝條件下起作用。
- 我們提出了一種不幹膠投影的新技術使圖像在攻擊過程中變得真實。
- 該攻擊可以轉移到其他面部識别模型。
Background and related works
Adversial attacks
對抗攻擊的基本觀點：稍微更改輸入，使得神經網絡分類錯誤。
先前工作将任務總結如下：
其中，cgt是正确分類，ct是目标實作的錯誤分類，r是對x的微小擾動。
若隻是使分類出錯，那麼該攻擊是 untargeted 的，若想讓分類識别為特定分類，則攻擊是 targeted 的。
之前提出的方法有：quasi-newton L-BFGS-B method , Fast Gradient-Sign Method(FGSM) 。
值得一提的是，在使用投影梯度下降（PGD）時，搭建對抗樣例時，在疊代程式中使用動量是一種好的方法來提高對抗攻擊的魯棒性。
本文讨論的是白盒輸入感覺對抗攻擊。
Attacks in physical world
Kurakin 等人發現将對抗樣本印在紙上，然後用照相手機拍攝，仍然可以成功的造成攻擊。這證明了在現實領域的研究潛力。
事實證明，構造現實世界對抗性示例的最成功範例是期望轉換（EOT）算法。這種方法考慮到在現實世界中，對象通常會經曆一系列轉換（縮放，抖動，亮度和對比度變化等）。 任務是找到一個對抗示例，該示例在這組轉換T下是可靠的。
Adversarial Patch，在這項工作中，作者使用EOT進行了一系列轉換，包括旋轉和平移，以構造ImageNet [28]分類器的通用更新檔。值得注意的是，作者使用的是L0而不是大于1的範式。
另一個論文基于 L0-limited 的使用通過對抗眼鏡來進行攻擊。該論文提出一個方法，基于Total Variation loss（TV） 和 non-printability score（NPS）将對抗幹擾畫在眼鏡架構上。TV loss旨在使圖像更平滑。 是以，對于裝置上的不同圖像插值方法而言，攻擊變得更穩定，并且對人來說更不顯眼。 NPS旨在處理數字RGB值的差異以及實際列印機複制這些值的能力。
總體來說，以前的工作大多數用到了 L0-limited perturbation、EOT、TV loss、NPS。
另一種有趣的方法使用嵌套對抗示例的概念，其中針對近距離和遠距離生成了單獨的不重疊的對抗擾動。 此攻擊是為更快的R-CNN和YOLOv3設計的。
Proposed method
本文的目标是生成一個可以挂在帽子上的矩形圖檔，它可以誘導 Face ID 系統減少與正确分類的相似度，使之低于判定門檻值。
為達成目标，我們使用一個攻擊管道：
- 我們對矩形圖像應用了一種新穎的非平面變換，該變換模仿了将矩形圖像放在帽子上之後的形式。
- 我們将獲得的圖像投影到高品質的人臉圖像上，并且投影參數的擾動較小，以使我們的攻擊更加魯棒。
- 我們将獲得的圖像轉換為ArcFace輸入的标準模闆。
- 我們減少了兩個參數的總和：初始矩形圖像的TV loss以及所獲得圖像的嵌入與ArcFace計算的錨點嵌入之間的餘弦相似度。
Off-Plain Sticker Transformation
我們将變形過程拆分為兩步：貼紙的平面外彎曲和貼紙的俯仰旋轉。
我們将平面外彎曲模拟為3d空間中的抛物線變換，改變換将初始坐标為（x，y，0）的點映射到（x‘，y，z’）的新點。新的點位于方程 z = a * x2的抛物柱面上。所有軸的原點位于貼紙的中間。 經過此轉換後，貼紙每個點的新z‘（平面外）坐标等于a·x’2。并且：
這個公式確定了貼紙的幾何長度不會改變。
為模仿貼紙的俯仰旋轉，我們應用一個3d的仿射變換來獲得坐标。
由于無法評估這些參數的确切值，是以在攻擊過程中我們會稍微改變抛物線速度和旋轉角度，以使攻擊更加可靠。
Sticker Projection
我們使用空間變換層（STL）将獲得的 sticker 投影到面部圖像上。在攻擊中，我們輕微的改動投影的參數。
将 sticker 投影到高品質的面部圖像上是非常關鍵的。在人臉識别系統中應用并建立人臉标準模闆的圖像插值方法使用相鄰像素的值，這就是為什麼如果我們将貼紙投影到小臉（饋入到ArcFace輸入）上，那麼貼紙邊界上的RGB值與實際情況下的RGB值不同，因為它們也使用臉部像素的值。
Final Transformation
我們使用STL将帶有标簽的圖像轉換為ArcFace的标準模闆。 與之前相同，在攻擊過程中我們稍微更改了轉換參數。
Loss Function
我們将通過許多參數變化獲得的一批圖像送入ArcFace的輸入。第一個要最小化的 loss 是得到圖像的嵌入 ex 和這個人的一些錨點的嵌入 ea之間的餘弦相似度。
考慮到之前提及的原因，我們還要最小化 TV loss。
最後的 loss 函數是前兩個 loss 的權重和。
我們沒有使用NPS loss 是因為它在我們的實驗中沒有起到作用。
Experiments and results
我們使用了一個 400 * 900 的圖檔作為sticker圖檔，然後将這個sticker投影到600 * 600 的人臉圖檔上，然後将其縮放到 112 * 112。
Attack Method
如前所述，我們在将圖像輸入到ArcFace之前對其進行了随機修改。 我們構造了一批生成的圖像，并使用整個管道在初始标簽上計算平均梯度。 由于每個變換都是可微的，是以我們可以直接評估梯度。
可以注意到這批圖檔上的stickers在一次疊代中都是一樣的，隻有變換的參數是不一樣的。
我們使用有動量、疊代的FGSM與有效的啟發式算法進行試驗。
我們将攻擊分為兩個階段。第一階段，我們使用 5/255 的步長和 0.9 的動量。在第二階段中，我們使用 1/255 的步長和0.995的動量。TV loss的權重一直為 1e - 4 。
我們使用一張帶有 Sticker 的固定圖像作為驗證，在該驗證中，我們将所有參數設定為最真實的外觀值。
我們使用最小二乘法通過線性函數對最後100個驗證值進行插值：第一階段進行100次疊代之後，第二階段進行200次疊代之後。 如果該線性函數的角系數不小于零，則：1）在第一階段，我們進入攻擊的第二階段； 2）在第二階段，我們停止攻擊。
Sticker Localization
為了找出最适合粘貼位置的位置，我們對粘貼位置進行了兩個實驗。 首先，我們使用貼在eyez線上方不同高度的标簽攻擊數字域中的圖像。 事實證明，較低的放置會導緻更好的驗證值。 此外，我們在每次疊代後相對于空間變換器層參數上的梯度值更改标簽的放置。 我們限制了使貼紙高于眼睛的位置。 在我們的實驗中，貼紙總是向下移到眼睛。
鑒于以上所述，我們在攻擊過程中将帽子和貼紙放在盡可能低的位置，以取得最佳效果。 是以，我們在實驗中戴上了帽子。
圖4中顯示了一些典型的對抗性貼紙示例。該模型看起來像在貼紙上畫了一個擡起的眉毛。 根據文章[45]，眉毛是人類面部識别的最重要特征。 是以，我們認為貼紙上會出現某種眉毛。 該模型繪制了臉部最重要的特征，并且擡起了眉毛，因為這是使眉毛比平常高的唯一原因。
Testing Protocol
首先，我們評估固定條件下攻擊的成功率和特征。 在此實驗中，我們僅使用光線均勻的全臉照片。 下一步，我們研究針對面部旋轉和光照條件不同角度的攻擊的魯棒性。 最後，我們探讨了預備攻擊對其他移動裝置的可轉移性。
我們将CASIA-WebFace資料集中的前1000個類别用作識别器的其他類别。 由于攻擊成功與否取決于Face ID系統中使用的門檻值，是以我們不會介紹成功躲避攻擊的百分比。 它可能會根據人臉識别的目的而有很大差異。 除了成功率，我們探索以下數值。
- 真實标注的嵌入與戴帽子的樣本嵌入之間的餘弦相似度，這是基本相似度。
- 真實标注的嵌入與對抗樣本嵌入之間的餘弦相似度，這是最終相似度。
- 比較基本相似度與最終相似度之間的不同。
- CASIA中的1000個分類的 top-1 相似度。
Experiments with fixed conditions
Experiments with various conditions
Experiments with transferability
最後，我們檢查了針對其他Face ID模型的攻擊的魯棒性。 這些模型取自InsightFace Model Zoo。 這些網絡具有不同的架構，與LResNet100E-IR ArcFace @ ms1m-refine-v2相比，它們使用了不同的損失函數和資料集進行訓練。
我們使用第一個實驗中的照片來評估相似性：一張全臉照片，一副戴着帽子的照片，一副在帽子上貼有對抗性标簽的照片。 我們計算10個人的基線和最終相似度。 每個模型的基線相似度和最終相似度之間的差異如圖8所示。
我們觀察到，現實世界中的攻擊行為就像數字領域中的正常對抗性攻擊一樣。 盡管攻擊強度降低，但仍使人難以識别。
Conclusion and future work
我們提出了一種攻擊人臉ID系統的新方法，稱為AdvHat。 我們的方法可以輕松重制，并且可以在不同的拍攝條件下有效地攻擊最佳的公開人臉ID模型。 實驗結果證明了我們對最新的Face ID系統ArcFace攻擊的魯棒性。 将來，我們希望将我們的模型應用于最先進的面部檢測器。