在這一新研究中，科學家們隻需用普通列印機打出一張帶有圖案的紙條貼在腦門上，就能讓目前業内性能領先的公開 Face ID 系統識别出錯，這是首次有 AI 算法可以在現實世界中實作攻擊：
變換角度、改變光照條件都不會改變錯誤的識别效果。加了貼紙後，我們可以看到 Person_1 的機率非常低。
使用對抗樣本攻擊圖像識别系統，在人工智能領域裡已經不算什麼新鮮事了，但是想要在現實世界裡做到無差别攻擊，還是人臉識别這種數千萬人都在使用的應用技術，這就顯得有些可怕了。使用這種新方法，人們可以輕松地列印一個破解紙條貼在腦門上，随後讓 AI 識别的準确率顯著下降。
從上面的動圖可以看出，研究者實作的是非定向的攻擊，且對抗資訊都內建在貼紙上。那麼如果我們要找到一種定向的攻擊方式，讓系統将我們識别為特定的某個人，然後解鎖 ta 的手機，這也并不遙遠，隻要我們将以前定向攻擊的方式遷移到貼紙上就行了。
研究人員不僅釋出了論文：
https://arxiv.org/abs/1908.08705 更是直接公開了項目的代碼： https://github.com/papermsucode/advhat「對抗樣本」是人工智能的軟肋，這是一種可以欺騙神經網絡，讓圖像識别 AI 系統出錯的技術，是近期計算機視覺，以及機器學習領域的熱門研究方向。
在這篇論文中，研究者們提出了一種全新且易于複現的技術 AdvHat，可以在多種不同的拍攝條件下攻擊目前最強的公共 Face ID 系統。想要實作這種攻擊并不需要複雜的裝置——隻需在彩色列印機上列印特定的對抗樣本，并将其貼到你的帽子上，而對抗樣本的制作采用了全新的算法，可在非平面的條件下保持有效。
研究人員稱，這種方法已經成功地破解了目前最先進的 Face ID 模型 LResNet100E-IR、ArcFace@ms1m-refine-v2，其攻擊方式也可以遷移到其他 Face ID 模型上。
現實 Face ID 也能被攻擊
以前對抗攻擊主要展現在虛拟世界中，我們可以用電子版的對抗樣本欺騙各種識别系統，例如通用的圖像識别或更細緻的人臉識别等。但這些攻擊有一些問題，例如人臉識别攻擊隻能是線上的識别 API，将對抗樣本列印出來也不能欺騙真實系統。
一個标準的線上人臉對抗樣本，它隻能攻擊線上人臉識别模型或 API，無法用于線下的真實人臉識别場景。
對抗樣本的這種局限性，很大程度在于真實識别系統不止有人臉識别子產品，還有活體檢測等其它處理子產品。隻要活體檢測判斷對抗樣本不是真人，那麼它自然就失去了效果。是以，很多研究者在思考，我們能不能将對抗資訊列印出來，貼在臉上或頭上某個位置，那麼這不就能攻擊真實的人臉識别了麼。甚至，我們可以把對抗資訊嵌入到帽子或其它飾品内，這樣不會更友善麼。
沿着這樣的思路，華為莫斯科研究中心的兩位研究者就創造了這樣的對抗樣本。他們表示在以前 Face ID 模型還需要大量的私有資料，而随着大規模公開資料的釋出，ArcFace 等研究模型也能與微軟或谷歌的模型相媲美。如果他們的對抗樣本能攻擊到 ArcFace，那麼差不多就能攻擊業務模型。
研究者表示他們提出的 AdvHat 有如下特點：
- AdvHat 是一種現實世界的對抗樣本，隻要在帽子加上這種「貼紙」，那麼就能攻擊頂尖的公開 Face ID 系統；
- 這種攻擊是非常容易實作的，隻要有彩印就行；
- 該攻擊在各種識别環境下都能起作用，包括光照、角度和遠近等；
- 這種攻擊可以遷移到其它 Face ID 系統上。
Face ID 該怎樣攻擊
在 Face ID 系統的真實應用場景中，并非捕獲到的每張人臉都是已知的，是以 top-1 類的預測相似度必須超過一些預定義的門檻值，才能識别出人臉。
這篇論文的目的是創造一個可以粘貼在帽子上的矩形圖像，以誘導 Face ID 系統将人臉與 ground truth 相似度降到決策門檻值之下。
這種攻擊大概包含以下流程：
- 将平面貼紙進行轉換以凸顯三維資訊，轉換結果模拟矩形圖像放在帽子上後的形狀。
- 為了提高攻擊的魯棒性，研究者将得到的圖像投影到高品質人臉圖像上，投影參數中含有輕微的擾動。
- 将得到的圖像轉換為 ArcFace 輸入的标準模闆。
- 降低初始矩形圖像的 TV 損失以及餘弦相似度損失之和，其中相似性是原圖嵌入向量與 ArcFace 算出嵌入向量之間的距離。
流程圖如下圖 2 所示：
圖 2：攻擊流程示意圖。
首先，研究者将貼紙重塑成真實大小和外觀的圖像，之後将其添加到人臉圖像上，然後再使用略為不同的轉換參數将圖像轉換為 ArcFace 輸入模闆，最後将模闆輸入到 ArcFace 中。由此評估餘弦相似度和 TV 損失，這樣就可以得到用于改進貼紙圖像的梯度信号。
圖 3：步驟 1 轉換貼紙的示意圖。
貼紙攻擊試驗細節
如前所言，在将圖像輸入到 ArcFace 之前，研究者對其進行了随機修改。他們構造了一批生成圖像，并通過整個流程計算在初始貼紙上的平均梯度。可以用一種簡單的方法計算梯度，因為每個變換都是可微分的。
注意，在每一次疊代中，批中的每一個圖像上的貼紙都是相同的，隻有轉換參數是不同的。此外，研究者使用了帶有動量的 Iterative FGSM 以及在實驗中非常有效的幾個啟發式方法。
研究者将攻擊分為兩個階段。在第一階段，研究者使用了 5255 的步長值和 0.9 的動量；在第二階段，研究者使用了 1255 的步長值和 0.995 的動量。TV 損失的權重一直為 1e − 4。
研究者利用一張帶有貼紙的固定圖像進行驗證，其中他們将所有參數都設定為看起來最真實的值。
他們使用了最小二乘法法，并通過線性函數來插入最後 100 個驗證值：經曆了第一階段的 100 次疊代和第二階段的 200 次疊代。如果線性函數的角系數不小于 0，則：1）從第一階段過渡到第二階段的攻擊；2）在第二階段停止攻擊。
「對抗樣本貼」效果怎麼樣
研究者在實驗中使用一張 400×900 像素的圖像作為貼紙圖像，接着将這張貼紙圖像投射到 600×600 像素的人臉圖像上，然後再将其轉換成 112×112 像素的圖像。
為了找出最适合貼紙的位置，研究者針對貼紙定位進行了兩次實驗。首先，他們利用粘貼在 eyez 線上方不同高度的貼紙來攻擊數字域中的圖像。然後，他們根據空間 transformer 層參數的梯度值，在每次疊代後變更貼紙的位置。
下圖 4 展示了典型對抗貼紙的一些示例。看起來就像是模特在貼紙上畫了挑起的眉毛。
圖 4：對抗貼紙示例。
為了檢測 AdvHat 方法在不同拍攝條件下的魯棒性，研究者為最開始 10 個人中的 4 人另拍了 11 張照片。拍攝條件示例如下圖 6 所示：
圖 6：研究者為一些人另拍了 11 張照片，以檢測不同拍攝條件下的攻擊效果。
檢測結果如下圖 7 所示：雖然最終相似度增加了，但攻擊依然有效。
圖 7：各種拍攝條件下的基線和最終相似度。圖中不同顔色的圓點代表不同的人。圓表示對抗攻擊下的相似性，而 x 表示基線條件下的相似性。
最後，研究人員檢驗了該方法對于其他 Face ID 模型的攻擊效果。他們選取了 InsightFace Model Zoo 中的一些人臉識别方法。在每個模型上均測試了 10 個不同的人。
圖 8：不同模型中，基線和最終相似度的差異。
雖然 AdvHat 生成的對抗樣本很簡單，但這種攻擊方式看起來已适用于大多數基于攝像頭的人臉識别系統。看來想要不被人「冒名頂替」，我們還是需要回到虹膜識别？