天天看點

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍

中國網際網路巨頭百度的業務範圍已經從搜尋擴充到了移動應用、雲服務以及自動駕駛、語音助手這樣的新興業務領域。同時,為了應對日益增長的安全威脅,該公司還在加大其對應各方面的研究投入,其中在人工智能方面的投入尤其突出。機器之心在拉斯維加斯最近舉辦的 DEF CON 黑客大會上采訪了百度公司總裁張亞勤博士,本文為相關内容的中文版。

還記得過去每周掃描你的電腦一次然後偶爾下載下傳個更新檔嗎?如今的資訊安全世界已然面目全非,現在的網絡安全涵蓋巨量大規模的、無法預測的和毀滅性的攻擊威脅。光是去年的 WannaCry 勒索軟體攻擊就感染了 150 個國家的 20 多萬台計算機,估測其造成的損失總計高達數十億美元!

安全領域的專業人士正越來越多地在他們的網絡安全工作中采用人工智能。具有人工智能能力的系統能夠處理大量資料,并且善于識别和應對威脅。很多研究者相信,深度學習和強化學習等方法将會是人工智能安全的未來。

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍

一台運作着百度的自動駕駛平台 Apollo(阿波羅)的汽車

在拉斯維加斯最近舉辦的 DEF CON 黑客大會上,機器之心采訪了百度公司總裁張亞勤博士。張亞勤博士掌管着擁有 1200 多位員工的百度安全部門,該部門 2018 年的口号是「人工智能安全(AI Security)」。

DEF CON 是世界上最大型的黑客大會之一。在今年五月之前,該會議從未在美國之外舉辦過;而今年五月,百度将 DEF CON 帶到了北京,5000 多位中國極客、黑客和科學家參加了這次會議。

張亞勤博士談到了當今的網絡安全挑戰以及人工智能在安全領域中的興起。他也對人工智能算法和模型的自身脆弱性發出了警告,并給出了百度應對這一問題的方式。詳情請閱讀下面的采訪内容。為了簡潔明晰,我們對采訪内容進行了适當編輯。

機器之心:當今的黑客攻擊和漏洞被利用的問題正日益複雜化且破壞力越來越強,比如 EternalBlue、Wannacry 和 DDoS 攻擊,這讓很多國家都很擔憂。為什麼會這樣?

張亞勤:當一個行業規模增大時,也會吸引到黑市的注意。過去人們主要使用電腦來搜尋網際網路上的資訊,是以大部分病毒都是針對 PC 的。但現在網際網路已經滲透進了我們生活的各個方面,比如人們會使用移動裝置來網上購物。安全的邊界正在延展,黑市也會一起成長并帶來新的更大的安全難題。

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍

WannaCry 截屏

機器之心:現在很多安全會議都會讨論黑客使用 AI 來創造病毒或攻擊的問題。

張亞勤:AI 已經讓安全邊界延展覆寫了物聯網、汽車和各種垂直領域。現在可被攻擊的事物更多了,而且某些 AI 模型和算法本身可能就存在漏洞。你提到的黑客使用 AI 來進行攻擊的可能性也是真實存在的。AI 可以識别模式,進而可被用于尋找攻擊的方式。相對地,AI 也可以通過識别資料和預測防禦攻擊所用的方法來保護系統。

病毒已經不再是主要問題了。現在我們更關注如何預測和衡量攻擊的可能性。例如,我們可以根據大資料中的模式來判别 DDoS 攻擊可能将于何時何地發生,然後我們可以在真正有人發動攻擊之前就采取預防措施。

當今的安全已不僅僅是網絡安全和代碼安全,還涵蓋了資料安全、支付安全、财務安全、實體安全,甚至針對個人安全裝置的安全。

機器之心:請給我們介紹一下百度安全為大規模資訊安全開發 AI 算法的情況。

張亞勤:百度已有 18 年的曆史。在前十年中,我們主要關注的是保衛我們自己的系統,以防止我們的網絡和客戶遭受攻擊。然後我們擴充了我們的安全範圍,将我們新的移動産品納入了進來。

過去兩年中,百度将大部分資源都投入了 AI 安全。我們非常關注賬戶資訊等資料。另外,還有我們的自動駕駛系統阿波羅(Apollo)和智能語音助手度秘(DuerOS)等人工智能系統的安全。我們經常進行網絡安全攻擊和防禦模拟來提升我們的防禦能力。

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍

一款配置有 DuerOS 系統的百度智能音箱

機器之心:百度近期的網絡安全開發情況如何?

張亞勤:我們已經建構了一個名為 OASES 的智能邊緣安全生态系統,可以讓不同的安卓版本有能力更好地防禦網絡攻擊。

機器之心:美國和中國的網絡安全行業有什麼異同?

張亞勤:我認為中國市場更有挑戰性,因為中國市場有大量地下經濟;而且不僅是在網絡安全行業,在電信、支付和金融領域都是如此。但我相信中國的問題會逐漸得到解決。

機器之心:深度學習在網絡安全領域發揮着怎樣的作用?

張亞勤:過去十年,大資料分析讓 AI 實作了跨越式發展。我們可以使用機器學習基于大量資料得出結論,這種方法在過去兩年中已經得到了廣泛的應用。在 Black Hat 黑帽安全大會上,深度學習議程的數量也正越來越多。隻要我們了解 AI 是基于模式識别和大資料分類的,我們就可以更好地了解 AI 能在安全行業做什麼。

目前,AI 的作用仍然是提供支援,但在不久的将來 AI 也許就能成為決策者。這個行業面臨的一個更大難題是 AI 模型非常複雜,是以它們本身可能就存在漏洞。比如有研究表明隻要用膠帶在停車标志上加上特定的圖案,就能讓 AI 将其識别成一個 45 MPH 的限速标志。卷積網絡對角度、位置偏移、圖像尺寸等條件非常敏感,是以我們需要提升算法的穩健性。

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍

來自華盛頓大學、密歇根大學、石溪大學和加州大學伯克利分校的研究者去年發表了一篇論文,研究了如何在街道标志上使用貼紙欺騙自動駕駛汽車的方法

機器之心:你提到的停車标志攻擊涉及到對抗樣本對吧?

張亞勤:是的,但對抗樣本目前還不能用于大規模攻擊。我們的研究者在實驗室正在模拟這個領域攻防以及進行一些開發工作,以深入研究這一技術。在完成了一次攻擊模拟後,我們立即就會探索防禦它的方法。

有意思的是,在 Apollo 開源之後,很多安全專家和白帽黑客「攻擊」過我們的模型并分享了對應的防禦代碼。這些輸入已幫助 Apollo 系統變得非常魯棒。Apollo 中超過 50% 的代碼都與安全相關。

機器之心:考慮到安全邊界的不斷延展,有哪些新出現的對汽車的威脅?

張亞勤:比如說,黑客可以讓制動系統和制動防抱死系統(ABS)失效,進而從駕駛者手裡接管汽車。通過幹擾 GPS,黑客可以改變汽車顯示的位置或地圖資訊。他們還能攻擊視訊等其它車載資訊系統。去年中國一個安全研究團隊就成功攻破了一台特斯拉 Model X。

傳統汽車制造商并不真正了解資訊安全。比如在車載作業系統接收 OTA 更新時常常會有安全問題。網際網路公司可能知道如何在手機上防禦這一技術,但自動駕駛汽車的安全要求更加嚴格,并且還涉及到人身安全。

機器之心:DuerOS 現在已經被安裝在了數以億計的裝置上,這會帶來什麼安全問題嗎?

張亞勤:目前我們還沒看到任何問題。但我一直都在說,安全和隐私問題是我們最優先的任務。

機器之心:今年 5 月,百度将 DEF CON 帶到了中國。你能說說是如何認識 Jeff Moss 的嗎?你又是如何将 DEF CON 帶到中國的?

張亞勤:我與 Jeff 的關系非常好。實際上,他長大的地方離我在西雅圖的家僅相隔兩個街區。Jeff 和我在初次見面時進行了很好的交談,分享了我們對安全行業的看法。他告訴我他也希望 DEF CON 和 Black Hat 大會能在美國之外舉辦,因為網絡安全現在已是一個世界性問題。是以我就提議在中國舉辦這個會議。我們投入了很多時間和精力,最終做成了此事。

百度是一個理想的 DEF CON 合作夥伴,因為我們在新興科技上有強大的實力。另外,我們也想交朋友。在安全領域,我們現在與阿裡巴巴、騰訊、華為和小米等公司有密切的合作。我們還支援了各種各樣的攻擊和防禦競賽。在我第一次參加 DEF CON 時,我們贊助了一個名叫「Blue Lotus」的團隊,這是中國第一支進入 DEF CON 大會 CTF 決賽的團隊。在那之後,該團隊的某些成員加入了百度。

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍

DEF CON 創立者 Jeff Moss(左)、張亞勤(中)和百度安全總經理馬傑(右)出席今年五月的 DEF CON 中國大會

機器之心:今年中國釋出了一份《人工智能标準化白皮書》,其中包含資訊安全和人工智能安全的内容。對百度而言,這意味着什麼?

張亞勤:這份白皮書能讓每個人在面對問題時達成共識。不管是安全問題或算法問題,還是行業實施的問題,我們都需要有共識,而百度正在積極參與其中。

機器之心: 你認為網絡安全行業在未來三到五年會如何發展?

張亞勤:在人工智能時代,整個安全領域的邊界都在延伸。機器學習技術能帶來優勢,但也存在缺陷。安全行業需要了解不同系統的特性。正如我之前說的,一開始我們必須確定 PC 安全,然後當移動裝置增添了支付和交易等功能之後,我們又必須保證這些功能的安全。現在,物聯網正在蓬勃發展。随着網際網路進入我們的實體世界,自然而然還會出現新的挑戰和新的機遇。

說到這一點,我還認為目前在安全、人工智能和垂直行業工作的跨學科人才太少了。比如說,自動駕駛将會成為未來五年我們面臨的最複雜的安全難題之一。這個行業涉及到各種各樣的技術,包括人工智能、計算機視覺、各種傳感器、深度學習、高精度地圖、自主定位、大資料等。這是一個很困難的任務,因為車輛需要執行從感覺到決策再到行為的多個步驟,進而在最短的時間内做出最正确的決定。是以,自動駕駛行業的安全專家不僅應該了解自動駕駛技術,也要非常熟悉一般意義上的汽車,還要熟悉所有相關的 AI 算法和安全算法。

機器之心對話張亞勤:機器學習對安全領域而言是把雙刃劍