4 月 7 日，來自清華的 RealAI（瑞萊智慧）釋出了 RealSafe 人工智能安全平台，随之推出的測試結果令人驚訝：通過平台對微軟、亞馬遜雲服務的人臉比對示範平台進行測試顯示，基于 RealSafe 平台生成的對抗樣本「噪音」能夠極大幹擾兩大主流人臉比對平台的識别結果。 目前較為領先，且廣泛被采用的多家人臉識别技術，現在可以被輕易破解了。
RealAI 研究團隊選取了一組不同的人臉圖檔，通過 RealSafe 平台對其中一張圖檔生成對抗樣本，但不影響肉眼判斷，添加「對抗樣本」前後分别輸入微軟、亞馬遜人臉比對平台中。 最終結果顯示，添加「噪音」擾動前，兩張圖檔相似度低，微軟、亞馬遜平台判定為「不相同」，但添加擾動後，幾套系統均錯誤識别為「相同」，甚至在微軟平台前後相似度的變化幅度高達 70% 以上。
檢測出人臉識别系統「漏洞」的 RealSafe 人工智能安全平台，是全球首個針對算法模型本身進行安全的檢測平台，内置領先的攻防算法模型，旨在為企業使用者提供從算法測評到防禦更新的整體解決方案。 而針對人臉比對系統的攻擊測試，是 RealSafe 人工智能安全平台為使用者提供的對抗樣本攻防線上體驗。 具體是什麼樣的效果，可以看這個 Demo 視訊：
通過 RealAI 提供的測試工具，隻需要上傳一張圖檔作為示例，為原圖生成的帶有幹擾圖檔即可讓各家大廠的人臉識别系統将人物錯誤地識别為指定的别人。
攻陷所有人臉識别平台
真的能像視訊中那樣嗎？在正式釋出之前，我們得到了對 RealSafe 系統進行測試的機會，上手進行了一番體驗。首先是用兩個人的照片進行原圖對比，AI 可以識别出是不同的人：
點選「生成對抗樣本」按鈕，經過十秒的處理時間，模型就為我們生成了一個基于 C 羅照片的「梅西」對抗樣本照片：
對于人類來說，除了人臉部位的多了一些不清晰的擾動之外，經過處理後的圖檔（上圖右）完全不會讓我們認錯圖檔上的人。但對于目前的人臉識别算法來說情況就不一樣了：
在其他公司的人臉相似度對比模型上，AI 把 C 羅的照片錯認為是梅西：「同一個人的可能性極高」。我們嘗試了上傳梅西的不同照片，相似度應該是 95% 左右。而如果用 C 羅未處理過的照片，或者貝爾的照片，相似度則隻有 75% 左右，并顯示「同一個人的可能性較低」。
「對抗樣本」成為「AI 病毒」
我們測試了國内幾家科技巨頭的人臉識别模型，對抗樣本的「僞裝」效果均比較明顯。瑞萊智慧的研發人員告訴我們：這種對抗樣本同樣也可以使亞馬遜、微軟等人臉識别平台的服務出現嚴重的識别錯誤。 在人臉解鎖手機和支付系統如此普遍的今天，對抗樣本方法的進步讓我們開始擔心财産與隐私安全。在一些需要通過人臉進行身份驗證的場景，比如金融遠端開戶、人臉門禁、酒店入住管理等場景，有意的攻擊都有可能做到頂替身份，造成财産、隐私等損失。
即使在應用了活體檢測的場景，也有被對抗樣本攻擊的可能，其實 RealAI 在去年就已認證佩戴一副含有對抗樣本圖案的眼鏡攻破了具備活體檢測功能的某些主流品牌手機。
RealAI 表示，這是世界唯一通過 AI 對抗樣本技術攻破商用手機人臉解鎖的案例。
看來破解 AI 形成的隐患離我們并不遠，為避免可能的損失，我們要更加注意對個人資訊的保護。例如在一些刷臉支付場景中，在通過人臉驗證是否為本人後，進一步需求輸入手機号等資訊進行二次驗證。在深度學習模型普遍脆弱、容易被攻擊成功的當下，普通消費者不能隻依賴人工智能技術，還需要保持足夠的警惕，保護個人資訊，不然仍有可能出現身份被盜取等問題。 瑞萊智慧表示，經過不斷的更新演化，今天的對抗樣本攻擊不僅僅停留在數字世界，針對實體世界的攻擊早已開始出現：在路面上粘貼對抗樣本貼紙模仿合并條帶誤導自動駕駛汽車拐進逆行車道、佩戴對抗樣本生成的眼鏡破解手機面部解鎖、胸前張貼對抗樣本貼紙即可實作隐身.……
通過 AI 對抗樣本圖案躲避 AI 車輛檢測。
對抗樣本可以導緻人工智能系統被攻擊和惡意侵擾，産生與預期不符乃至危害性結果，對于人臉識别、自動駕駛等特定領域，可能造成難以挽回的人員和财産損失，對抗樣本已經成為人工智能系統可能面臨的新型「病毒」。 目前以「對抗樣本」為代表的算法安全仍是新興領域，業界對于如何評價算法模型的安全性并沒有清楚的定義，并且對抗樣本等攻擊手段變得愈發複雜。在開源社群、工具包的加持下，進階複雜攻擊方法快速增長，相關防禦手段的更新卻難以跟上。 另一方面，對抗樣本等算法漏洞檢測存在較高的技術壁壘，目前市面上缺乏自動化檢測工具，而大部分企業與組織不具備該領域的專業技能來妥善應對日益增長的惡意攻擊。在潛在層面上，随着人工智能的大規模應用，算法安全漏洞帶來的安全威脅将持續更新。
為 AI 時代打造「防毒軟體」
當然，RealSafe 還可以幫助人們修複這些漏洞。正如網絡安全時代，網絡攻擊的大規模滲透誕生出防毒軟體，發現計算機潛在病毒威脅，提供一鍵系統優化、清理垃圾跟漏洞修複等功能。RealAI 團隊希望通過 RealSafe 平台打造出人工智能時代的「防毒軟體」，為建構人工智能系統防火牆提供支援。 除了對抗樣本技術，今天推出的 RealSafe 平台支援另外兩大功能子產品：模型安全測評和防禦解決方案。
模型安全評測主要為使用者提供 AI 模型安全性評測服務。使用者隻需接入所需測評模型的 SDK 或 API 接口，選擇平台内置或者自行上傳的資料集，平台将基于多種算法生成對抗樣本模拟攻擊，并綜合在不同算法、疊代次數、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告。目前 RealSafe 已支援黑盒查詢攻擊方法與黑盒遷移攻擊方法。
防禦解決方案則是為使用者提供模型安全性更新服務，RealSafe 平台支援五種去除對抗噪聲的通用防禦方法，可實作對輸入資料的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據上述的模型安全評測結果，使用者可自行選擇合适的防禦方案，進而達到一鍵提升模型安全性的目的。 瑞萊智慧表示，随着模型攻擊手段在不斷複雜擴張，RealSafe 平台還将持續提供更加豐富的 AI 防禦手段，幫助使用者獲得實時且自動化的漏洞檢測和修複能力。
「零編碼」+「可量化」：高效應對算法威脅
由 2018 年 7 月成立的瑞萊智慧，是一家孵化自清華大學 AI 研究院的科技公司，它由清華 AI 研究院院長張钹、教授朱軍擔任首席科學家，田天任 CEO。RealAI 在 AI 安全領域擁有國際領先的技術優勢，團隊曾率先提出多項攻防算法，相關研究成果曾被圖靈獎得主作為代表性方法大幅引用，被主流開源軟體 FoolBox、Cleverhans 等收錄為标準的對抗攻擊算法。
在人工智能領域的國際大賽中，RealAI 團隊與清華聯合組成的戰隊曾戰勝斯坦福、騰訊安全等世界頂級高校、研究機構獲得多項世界冠軍。 RealAI 表示，本次推出的算法模型安全檢測平台，除了可以幫助企業高效應對算法威脅還具備以下兩大優勢：
- 元件化、零編碼的線上測評：相較于 ART、Foolbox 等開源工具需要自行部署、編寫代碼，RealSafe 平台采用元件化、零編碼的功能設定，免去了重複造輪子的精力與時間消耗，使用者隻需提供相應的資料即可線上完成評估，極大降低了算法評測的技術難度，學習成本低，無需擁有專業算法能力也可以上手操作。
- 可視化、可量化的評測結果：為了幫助使用者提高對模型安全性的概念，RealSafe 平台采用可量化的形式對安全評測結果進行展示，根據模型在對抗樣本攻擊下的表現進行評分，評分越高則模型安全性越高。此外，RealSafe 平台提供安全性變化展示，經過防禦處理後的安全評分變化以及模型效果變化一目了然。
考慮到目前人臉識别技術應用最為廣泛，RealAI 此次推出的 RealSafe 人工智能安全平台主要支援針對人臉比對場景的模型安全評估與檢測。未來 RealSafe 平台還将持續疊代，陸續上線針對目标檢測、圖像分類等應用場景的模型安全檢測，旨在通過安全可控的人工智能為更多場景保駕護航。 今年 3 月，RealAI 獲得了天使+輪的融資，近兩輪總額已達到 1 億元人民币。對于這家公司而言，如何探索技術商業化的道路已成為擺在面前的挑戰。這家公司表示将緻力于打造安全可控的第三代人工智能，實作安全（Robust）、可擴充（Extendable）、可靠（Assurable）和落地（Landable）的 AI 解決方案。
RealAI 表示，此次推出的安全平台隻是研發人員們的一小步嘗試，這家公司希望能通過安全可控 AI 賦能行業，向金融領域提供更可靠的大資料風控、反欺詐、營銷等解決方案，在工業領域提供生産運維智能決策和智能裝備解決方案，在公共安全治理領域提供公共資料安全、網絡内容安全等解決方案。
此前在金融領域内，該公司已推出了開箱即用的模組化平台 RealBox。其内嵌了 RealAI 自研的貝葉斯深度學習算法。通過貝葉斯算法，該工具實作了對現實世界不确定性的刻畫以及可描述變量之間的關系，解決了目前 AI 普遍存在的不可解釋的痛點。