雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
随着人工智能技術的發展，人工智能在很多場景裡正逐漸替代或協作着人類的各種勞動，它們可以成為人類的眼睛、耳朵、手臂甚至大腦。其中，機器視覺作為AI時代的基礎技術，其背後的AI算法一直是各科技巨頭和創業公司共同追逐的熱點。然而，這些主流應用場景的背後，往往也藏着由技術性缺陷導緻的算法安全風險。
例如，在一些訓練資料無法覆寫到的極端場景中，自動駕駛汽車可能出現匪夷所思的決策，導緻乘車人安全風險。從2016年至今，Tesla、Uber等企業的輔助駕駛和自動駕駛系統就都曾出現過類似緻人死亡的嚴重事故。并且這類極端情形也可能被惡意制造并利用，發起“對抗樣本攻擊”，去年7月，百度等研究機構就曾經通過3D列印，能讓自動駕駛“無視”的障礙物，使車輛有發生撞擊的風險，同樣威脅行駛安全。
之是以能攻擊成功，主要是機器視覺和人類視覺有着很大的差異。是以可以通過在圖像、物體等輸入資訊上添加微小的擾動改變（即上述故意幹擾的“對抗樣本”），就能導緻很大的算法誤差。此外，随着AI的進一步發展，将算法模型運用于更多類似金融決策、醫療診斷等關鍵核心場景，這類AI“漏洞”的威脅将愈發凸顯出來。
近幾年來，包括清華大學人工智能研究院院長張钹院士、前微軟全球執行副總裁沈向洋等均提倡要發展安全、可靠、可信的人工智能以及負責任的人工智能，其中AI的安全應用均是重點方向。
然而AI安全作為一個新興領域，盡管對抗樣本等攻擊手段日益變得複雜，在開源社群、工具包的加持下，進階攻擊方法快速增長，相關防禦手段的普及和推廣卻難以跟上。在AI算法研發和應用的過程中，對抗樣本等算法漏洞檢測存在較高的技術壁壘，目前市面上缺乏自動化檢測工具，而大部分企業與組織不具備該領域的專業技能來妥善應對日益增長的惡意攻擊。
一、從安全評測到防禦更新，RealSafe讓AI更加安全可控
為了解決以上痛點，近日，清華大學AI研究院孵化企業RealAI（瑞萊智慧）正式推出首個針對AI在極端和對抗環境下的算法安全性檢測與加強的工具平台——RealSafe人工智能安全平台。
據了解，該平台内置領先的AI對抗攻防算法，提供從安全測評到防禦加強整體解決方案，目前可用于發現包括人臉比對等在内的常用AI算法可能出錯的極端情形，也能預防潛在的對抗攻擊。
RealAI表示，就如網絡安全時代，網絡攻擊的大規模滲透誕生出防毒軟體，發現計算機潛在病毒威脅，提供一鍵系統優化、清理垃圾跟漏洞修複等功能，RealSafe研發團隊希望通過RealSafe平台打造出人工智能時代的“防毒軟體”，為建構人工智能系統防火牆提供支援，幫助企業有效應對人工智能時代下算法漏洞孕育出的“新型病毒”。
RealSafe平台目前主要支援兩大功能子產品：模型安全測評、防禦解決方案。
其中，模型安全評測主要為使用者提供AI模型安全性評測服務。使用者隻需接入所需測評模型的SDK或API接口，選擇平台内置或者自行上傳的資料集，平台将基于多種算法生成對抗樣本模拟攻擊，并綜合在不同算法、疊代次數、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細的測評報告（如下圖）。目前已支援黑盒查詢攻擊方法與黑盒遷移攻擊方法。
防禦解決方案則是為使用者提供模型安全性更新服務，目前RealSafe平台支援五種去除對抗噪聲的通用防禦方法，可實作對輸入資料的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據上述的模型安全評測結果，使用者可自行選擇合适的防禦方案，一鍵提升模型安全性。另外防禦效果上，根據實測來看，部分第三方的人臉比對API通過使用RealSafe平台的防禦方案加強後，安全性可提高40%以上。
随着模型攻擊手段在不斷複雜擴張的情況下，RealSafe平台還持續提供廣泛且深入的AI防禦手段，幫助使用者獲得實時且自動化的漏洞檢測和修複能力。
二、“對抗樣本”成“AI病毒”，國外主流人臉識别算法相繼被“攻破”
站在人臉識别終端前，通過人臉識别攝像頭完成身份校驗，類似的人臉識别身份認證已經覆寫到刷臉支付、酒店入住登記、考試身份核驗、人證比對等等生活場景中。
考慮到公衆對于對抗樣本這一概念可能比較模糊，RealSafe平台選取了公衆最為熟知的人臉比對場景（人臉比對被廣泛用于上述的身份認證場景中）提供線上體驗。并且，為了深入研究“對抗樣本”對人臉比對系統識别效果的影響，RealAI 團隊基于此功能在國外主流 AI 平台的示範服務上進行了測試。
選取一組不同的人臉圖檔（如下圖），通過RealSafe平台對其中一張圖檔生成對抗樣本，但不影響肉眼判斷，添加“對抗樣本”前後分别輸入到第三方人臉比對平台中檢視相似度。
最終結果顯示，添加“噪聲”前，兩張圖檔被 Azure 判定為不屬于同一個人，但添加“噪聲”後，以上兩個平台的示範服務均給出了錯誤的結果，認為兩張圖檔屬于同一個人，甚至 Azure 平台的示範服務在添加“噪聲”前後相似度變化的幅度高達70%以上。
為了探究結果的普适性，RealAI團隊又選取了國内三家主流人臉比對平台進行測試，結果同樣顯示，添加擾動之後，原本判定為“不同人臉”的圖檔均被錯誤識别為“相同人臉”，前後相似度的變化幅度可達到20%以上。而通過RealSafe防火牆“去噪”過濾後，這幾個人臉比對平台的識别“誤差”獲得不同程度的糾正，識别效果得到穩定提升。
RealAI團隊已經将這種潛在風險以及相關防禦方法回報給上述企業，以幫助降低風險。
實測證明，“對抗樣本”可以極大的幹擾人臉比對系統的識别結果，據介紹，目前市面上很多中小型企業在落地人臉識别應用時大多會選擇采用上文測試的這幾家網際網路公司開放的人臉比對SDK或者API接口，如果他們人臉比對技術存在明顯的安全漏洞，意味着更廣泛的應用場景将存在安全隐患。
除了人臉比對外，對抗樣本攻擊還可能出現在目标檢測的應用場景中，延伸來看，這可能會危害到工業、安防等領域的安全風險檢測。比如某電網的輸電塔的監控系統，由于輸電塔的高安全性防護要求，防止吊車、塔吊、煙火破壞輸電線路，需要對輸電塔内外進行全天候的實時監控，而這實時監控系統背後就是基于目标檢測的AI算法來提供保障。
而RealAI研究團隊發現，隻要通過RealSafe對其中的目标檢測算法進行一定的對抗樣本攻擊，就會造成監控系統失效，導緻其無法識别非常明顯的煙火情形，類似情形如果真實發生，将可能帶來難以估計的損失。
事實上，像以上提到的這些AI安全風險由于都是AI底層算法存在技術缺陷而導緻，往往比較隐蔽，但牽一發動全身，這些“難以預見”的風險漏洞最有可能成為被攻破的薄弱環節，而RealSafe平台同步推出的防禦解決方案則可以有效增強各應用領域中AI算法的安全性。
三、“零編碼”+“可量化”，兩大優勢高效應對算法威脅
據介紹，RealAI此次推出的算法模型安全檢測平台，除了可以幫助企業高效應對算法威脅還具備以下兩大優勢：
元件化、零編碼的線上測評：相較于ART、Foolbox等開源工具需要自行部署、編寫代碼，RealSafe平台采用元件化、零編碼的功能設定，免去了重複造輪子的精力與時間消耗，使用者隻需提供相應的資料即可線上完成評估，極大降低了算法評測的技術難度，學習成本低，無需擁有專業算法能力也可以上手操作。比如上文中針對微軟、亞馬遜等第三方平台的測試，整個流程按照步驟提示完成，隻需幾分鐘就可以檢視到測評結果。
可視化、可量化的評測結果：為了幫助使用者提高對模型安全性的概念，RealSafe平台采用可量化的形式對安全評測結果進行展示，根據模型在對抗樣本攻擊下的表現進行評分，評分越高則模型安全性越高。此外，RealSafe平台提供安全性變化展示，經過防禦處理後的安全評分變化以及模型效果變化一目了然。
四、落地安全周邊産品，為更多場景保駕護航
其實對抗樣本原本是機器學習模型的一個有趣現象，但經過不斷的更新演化，“對抗樣本”已經演變成一種新型攻擊手段，并從數字世界蔓延到實體世界：在路面上粘貼對抗樣本貼紙模仿合并條帶誤導自動駕駛汽車拐進逆行車道、胸前張貼一張對抗樣本貼紙在監控裝置下實作隐身……
是以，除了針對數字世界的算法模型推出安全評測平台，RealAI團隊也聯合清華大學AI研究院圍繞多年來積累的領先世界的研究成果落地了一系列AI攻防安全産品，旨在滿足更多場景的AI安全需求。
比如，攻擊技術方面，RealAI團隊實作了世界首個通過“對抗樣本”技術實作破解商用手機刷臉解鎖，讓手機将佩戴“特制眼鏡”的黑客誤識為機主。
△ 圖：世界唯一通過AI對抗樣本技術攻破商用手機人臉解鎖案例
通過在目标人服裝上張貼特制花紋使AI監控無法檢測到該人物，實作“隐身”，以及通過在車輛上塗裝特殊花紋，躲避AI對車輛的檢測。
△ 圖：通過AI對抗樣本圖案躲避AI車輛檢測
在發現以上各種新型漏洞的同時，RealAI也推出相應的防禦技術，支援對主流AI算法中的安全漏洞進行檢測，并提供AI安全防火牆對攻擊AI模型的行為進行有效攔截。
人工智能的大潮滾滾而來，随之而來的安全風險也将越來越多樣化，尤其近年來因AI技術不成熟導緻的侵害風險也頻頻發生，可以說，算法漏洞已逐漸成為繼網絡安全、資料安全後又一大安全難題。
所幸的是，以RealAI為代表的這些頂尖AI團隊早已開始了AI安全領域的征程，并開始以标準化的産品助力行業降低應對安全風險的門檻與成本。此次上線RealSafe人工智能安全平台是RealAI的一小步嘗試，但對于整個行業而言，這将是人工智能産業邁向健康可控發展之路的一大步。
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/zhibo立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-04-07
本文作者：允中
本文來自：“
量子位公衆号”，了解相關資訊可以關注“公衆号 QbitAI”