神經網絡可以被劫持？谷歌大腦研究員示範AI黑客行為

計算機視覺算法并不完美。上個月，研究人員證明了一個流行的對象檢測API可能會被愚弄，在一些情況下，算法可以将貓識别為“瘋狂的被子”，“迷彩”，“馬賽克”和“拼湊圖”。當然，這還不是最糟糕的情況：它們還有可能被劫持，執行本不該做的任務。

谷歌的人工智能研究部門Google Brain的研究人員在一篇名為《神經網絡的對抗重組》的論文中，描述了一種本質是重新程式設計機器學習系統的對抗方法。這種轉移學習的新形式甚至不要求攻擊者指令輸出。

對此，研究人員表示：“我們的研究結果首次證明了針對神經網絡重新程式設計的敵對攻擊的可能性。這些結果表明，深層神經網絡帶有令人驚訝的靈活性和脆弱性。”

其工作流程是這樣的：攻擊者獲得了一個參與對抗神經網絡的參數後，這個神經網絡正在執行一個任務，然後以轉換為輸入圖像的形式引入幹擾或對抗資料。當敵對的輸入被嵌入到網絡中，他們就可以将其學習的特性重新設計為另一項新的任務。

科學家們在6個模型中測試了這個方法。通過嵌入來自MNIST計算機視覺資料集的操作輸入圖像，他們成功獲得了所有六種算法來計算圖像中方塊的數量，而不僅僅是識别像"白鲨"或"鴕鳥"這樣的物體。在第二個實驗中，他們強迫其對數字進行分類。之後第三次測試，他們使用了識别來自cifar 10的圖像的模型，這是一個對象識别資料庫，而不是他們最初接受的ImageNet語料庫。

攻擊者可以利用此類攻擊進行計算資源竊取，舉個例子，在雲托管的照片服務中重新程式設計計算機視覺分類器，以解決圖像驗證碼或者挖掘加密貨币。盡管論文作者并沒有在一個反複出現的神經網絡（一種通常用于語音識别的網絡）上展開測試，但他們假設一個成功的攻擊可能會導緻此類算法會執行“大量的任務”。

研究人員表示：“對抗程式也可以被用作一種新的方式來實作更傳統的計算機黑客行為。”比如，随着手機逐漸成為人們的AI助手，通過将手機暴露在敵對的圖像或音頻中，或許可以重新編輯某人的手機也是很有可能的。由于這些數字助理可以通路使用者的電子郵件、月曆、社交媒體賬戶和信用卡等，這類攻擊産生的後果也會非常嚴重。

但幸運的是，這也不全然是一個壞消息。研究人員注意到，随機神經網絡似乎比其他神經網絡更不容易受到攻擊，反而針對機器學習系統，這種敵對攻擊會更容易進行重新設計，并且更靈活、更高效。

即便如此，他們還是提醒到：“未來的研究應該解決敵對變成的特性與局限性，甚至是潛在的防禦方法。”

原文釋出時間為：2018-07-03

本文作者：Sandy

本文來自雲栖社群合作夥伴“

人工智能觀察

”，了解相關資訊可以關注“

”。