天天看點

全球頭号黑客、計算機安全教母,騰訊副總裁如何看待AI時代的安全騰訊的思考:“倫理”先行傳奇黑客:智能=脆弱“計算機安全教母”宋曉東:以攻擊之道開發AI系統OMT:“世界頭号黑客”的名片

李根 繼續發自 國家會議中心

量子位 報道 | 公衆号 QbitAI

上次量子位撰文介紹過,AI加持下的安全話題正在升溫,僅6月份就有總額30億元的投資流向安全創業領域。

同樣的現象在中國網際網路安全領袖峰會(CSS2017)現場發生。這個由騰訊主辦的網絡安全大會,雖然主題還不是“人工智能”直接相關,但言談論斷之間,AI已然是不可忽視的話題。

在大會現場,騰訊公司分管安全的副總裁丁珂、素有“世界頭号黑客”之稱的Kevin Mitnick,以及美國加州大學伯克利分校教授、“計算機安全教母”宋曉東(Dawn Song),就AI趨勢下的安全話題,接受了量子位采訪。

全球頭号黑客、計算機安全教母,騰訊副總裁如何看待AI時代的安全騰訊的思考:“倫理”先行傳奇黑客:智能=脆弱“計算機安全教母”宋曉東:以攻擊之道開發AI系統OMT:“世界頭号黑客”的名片

△ 騰訊公司副總裁丁珂

騰訊的思考:“倫理”先行

騰訊公司副總裁丁珂告訴量子位,AI下的安全問題,新且特别重要,在AI技術發展過程中,固有邊界正在被打破,全新的問題正在發生。

丁珂具體解釋稱,機器智能的時代正在把很多正常的邏輯變成黑箱操作,其中機器資料被污染的過程,會影響你的樣本和判斷,會帶來更加隐蔽、危害的安全問題。之前人類依靠邏輯和自制,加之社會化關系的存在,可以互相制約和問責,但AI将改變這一切。

在騰訊方面看來,AI時代的安全問題,有一半是傳統的Anti-Pro、Anti-SPAM方面的技術,更多的是技術和倫理上的探索。

技術方面尚有積累支撐,但邊界判斷上,開始涉及新的倫理标準。

“我們現階段更多在探索各方面跨界問題,在認知上界定的過程,未來人工智能在幾大領域裡,在自動駕駛、圖像學習(深度醫療)、決策支援領域(聊天,決策輔助),如果不在邊界問題上沒做好安全把關,問題就變得不好把控。”他向量子位舉例說。

最後,這位騰訊内部分管安全的副總裁還總結稱,以安全的原則來講,讓一個事物繁榮發展的基礎,一定是事先預知到它能最壞到什麼程度,還要認知清楚其基礎健康和可持續發展的基本原則。

全球頭号黑客、計算機安全教母,騰訊副總裁如何看待AI時代的安全騰訊的思考:“倫理”先行傳奇黑客:智能=脆弱“計算機安全教母”宋曉東:以攻擊之道開發AI系統OMT:“世界頭号黑客”的名片

△ “世界頭号黑客”Kevin Mitnick

傳奇黑客:智能=脆弱

此次CSS大會中,素有“世界頭号黑客”之稱的Kevin Mitnick也被邀請到現場,這是他第一次來到中國,距離他大戰FBI、并被列為頭号網絡安全通緝目标已然過去20年。

現在的Kevin Mitnick擁有自己的安全咨詢公司,黑客出身的他,正在把才能和技術轉換為對抗網絡攻擊的建議和方法。

Kevin Mitnick表示,AI正在把越來越多裝置“帶入”網絡世界,我們有了越來越多的智慧城市、智能家電和智能汽車,但根本上講,Kevin Mitnick眼裡看到的滿是“脆弱城市”、“脆弱家電”和“脆弱汽車”,因為所有的裝置都可以被攻擊和利用,是以源頭安全認證應該成為當務之急。

Kevin Mitnick向量子位表達的建議是,公信機關應該專門成立一個部門,在IOT裝置釋出之前,都需要經過安全認證,代碼安全與否先進行檢驗,然後才規模才進行進一步部署。

這位傳奇黑客稱,至今為止的安全認證,一般采用了“預設憑據”形式,但很多安全事件,源頭問題正是“預設憑據”,而随着AI發展以及越來越多IOT裝置被連接配接,這樣的隐患可能造成的危害,将比以往更加可怕。

不過,Kevin Mitnick也強調,現在還沒有真正符合AI核心技術的工具或産品出現,更多産品重心在“決策”,是以他自己也尚未有對AI産品進行安全分析評估的經驗。

但AI的趨勢已然浩浩湯湯,Kevin Mitnick介紹說,他本人在加州創立了一家專門開發AI工具産品的公司,未來會通過在社交網絡上抓“釣魚”來給使用者提供安全環境,這款工具的背後技術原理是機器學習,通過資料模型,可以讓機器學會快速識别“釣魚網站”的能力——這個産品已經在開發中。

全球頭号黑客、計算機安全教母,騰訊副總裁如何看待AI時代的安全騰訊的思考:“倫理”先行傳奇黑客:智能=脆弱“計算機安全教母”宋曉東:以攻擊之道開發AI系統OMT:“世界頭号黑客”的名片

△ “計算機安全教母”宋曉東(Dawn Song)

“計算機安全教母”宋曉東:以攻擊之道開發AI系統

除了傳奇黑客Kevin Mitnick,加州大學伯克利分校教授宋曉冬(Dawn Song)也是CSS上備受關注的嘉賓,這位有“計算機安全教母”之稱的教授,曾是“麥克阿瑟天才獎”獲得者,也是污點分析理論提出者。

與Kevin Mitnick的看法不同,宋曉東認為AI相關的安全問題,已經迫在眉睫,而且應對AI時代的安全攻擊,需要AI開發者從産品設計之初就考慮。

“曆史已經證明,攻擊者一直都會跟随最新技術,甚至有時候還會引領最新技術。”宋曉東提示說。

而且值得注意的是,現在面臨的風險在AI領域會變得更高,因為AI會控制越來越多的體系和系統,如果攻擊者想要攻擊AI系統且得逞,那後果就會非常嚴重,比如攻擊者通過一輛無人車發動攻擊。

如何應對呢?

宋曉東的核心思路是,AI開發者開發AI系統時,就需要從攻擊者的角度思考問題。

可能會有兩種情況,一是攻擊者攻擊AI系統,讓這個系統做出錯誤決策。這種情況就需要開發者提升自己的學習系統,建築防火牆,還需要把更好的安全系統嵌入到深度學習的體系中。

另一種情況是攻擊者濫用AI工具和技術,用以攻擊其他體系,這同樣要求開發者開發的學習系統具備更強的安全性。

加強學習系統安全性,就意味着要了解目前深度學習的“弱點”。比如通過對抗的樣本混淆系統、造成系統識别錯誤,這會讓包括自動駕駛在内的高安全要求領域經受巨大風險。

是以宋曉東建議,深度學習系統搭建中,模型、圖形選擇、代碼和黑箱攻擊防禦,都需要關注對抗樣本被重構造成的攻擊風險。

另外,她還認為在開發新神經網絡特征的過程中,進行遞歸、循環,更容易推理、子產品和泛化,也更能保證程式的安全可靠性。

最後,這位“安全教母”認為,雖然AI時代帶來的安全挑戰将難以預計,但AI也可以更好幫助開發者設計更安全可靠的軟體,深度學習已經改變了目前的安全形勢和安全能力,讓認知系統變得更加強大,并能更廣泛部署到各種産品中,且可以讓産品本身獲得新能力,擁有識别惡意軟體、判斷欺詐的能力。

是以根本上說,AI可能帶來最嚴峻的挑戰,但也會帶來最好的時代。

全球頭号黑客、計算機安全教母,騰訊副總裁如何看待AI時代的安全騰訊的思考:“倫理”先行傳奇黑客:智能=脆弱“計算機安全教母”宋曉東:以攻擊之道開發AI系統OMT:“世界頭号黑客”的名片

△ Kevin Mitnick的名片

OMT:“世界頭号黑客”的名片

最後,在采訪Kevin Mitnick後,這位“世界頭号黑客”與量子位交換了名片,卡如其人,金屬打造的名片顯得與衆不同,而且镂空圖案也頗有意思。

Kevin Mitnick笑着告訴量子位:你可以用它(名片)拼出一把鑰匙,”hack”你想要去的任何地方。(笑)