【導讀】在視覺方面，AI和人類的差距有多大？來自UC Berkeley等高校的研究人員建立了一個包含7500個“自然對抗執行個體”的資料集，在測試了許多機器視覺系統後，發現AI的準确率下降了90%！在某些情況下，軟體隻能識别2%-3%的圖像。這樣的AI若用在自動駕駛汽車上，後果不敢想象！
近幾年來，計算機視覺有了很大的改善，但仍然有可能犯嚴重的錯誤。犯錯如此之多，以至于有一個研究領域緻力于研究AI經常誤認的圖檔，稱為“對抗性圖像”。可以把它們看作計算機的光學錯覺，當你看到樹上有一隻貓時，人工智能看到了一隻松鼠。
AI把爬上樹的貓誤認為松鼠
研究這些圖像是很有必要的。當我們把機器視覺系統放在AI安全攝像頭和自動駕駛汽車等新技術的核心位置時，我們相信計算機和我們看到的世界是一樣的。而對抗性圖像證明并非如此。
對抗性圖像利用機器學習系統中的弱點
但是，盡管這個領域的很多關注點都集中在那些專門設計用來愚弄AI的圖檔上（比如谷歌的算法把3D列印的烏龜誤認為是一把槍），但這些迷惑性圖像也會自然的出現。這類圖像更令人擔憂，因為它表明，即便不是我們特意制作的，視覺系統也會犯錯。
谷歌AI誤認為這隻烏龜是槍
為了證明這一點，來自加州大學伯克利分校、華盛頓大學和芝加哥大學的一組研究人員建立了一個包含7500個“自然對抗執行個體”（natural adversarial examples）的資料集，他們在這些資料上測試了許多機器視覺系統，發現它們的準确率下降了90%，在某些情況下，軟體隻能識别2%-3%的圖像。
下面就是一些“自然對抗執行個體”資料集的例子：
AI眼中是“沉船”，其實是蟲子爬在枯葉上
AI眼中是“火炬”
AI眼中是“瓢蟲”
AI眼中是“日晷”
AI眼中是“棒球運動員”
AI眼中是“人開卡丁車”
這些資料有望幫助培養更強大的視覺系統
在論文中，研究人員稱這些資料有望幫助培養更強大的視覺系統。他們解釋說，這些圖像利用了“深層缺陷”，這些缺陷源于該軟體“過度依賴顔色，紋理和背景線索”來識别它所看到的東西。
例如，在下面的圖像中，AI錯誤地将左側的圖檔當作釘子，這可能是因為圖檔的木紋背景。在右邊的圖像中，它們隻注意到蜂鳥飼養器，但卻錯過了沒有真正的蜂鳥存在的事實。
下面的四張蜻蜓照片，AI在顔色和紋理上進行分析後，從左到右依次會識别為臭鼬、香蕉、海獅和手套。我們從每張圖檔中都可以看出AI為什麼會犯錯誤。
AI系統會犯這些錯誤并不是新聞了。多年來，研究人員一直警告說，利用深度學習建立的視覺系統是“淺薄”和“脆弱”的，它們不會像人一樣靈活地了解世界上的一些幾乎相同的細微差别。
這些AI系統在成千上萬的示例圖像上進行了訓練，但我們通常不知道圖檔中的哪些确切元素是AI用于做出判斷的。
一些研究表明，考慮到整體形狀和内容，算法不是從整體上看圖像，而是專注于特定的紋理和細節。本次資料集中給出的結果似乎支援這種解釋，例如，在明亮的表面上顯示清晰陰影的圖檔，會被錯誤地辨別為日晷。
AI視覺系統真的沒救了？
但這是否意味着這些機器視覺系統沒得救了？完全不是。一般這些系統所犯的錯誤都是小錯，比如将排水蓋識别為沙井，将貨車誤認為豪華轎車等。
雖然研究人員說這些“自然對抗性的例子”會騙過各種各樣的視覺系統，但這并不意味着可以騙過所有系統。許多機器視覺系統非常專業，比如用于識别醫學掃描圖像中的疾病的那些專門系統。雖然這些系統有着自己的缺點，可能無法了解這個世界和人類，但這并不影響它們發現并診斷癌症。
機器視覺系統有時可能會很快且有瑕疵，但通常都會産生結果。這樣的研究暴露了機器成像研究中的盲點和空白，我們下一步的任務就是如何填補這些盲點了。
論文位址：
https://arxiv.org/pdf/1907.07174.pdf
代碼和資料集：
https://github.com/hendrycks/natural-adv-examples
原文連結：
https://www.theverge.com/2019/7/19/20700481/ai-machine-learning-vision-system-naturally-occuring-adversarial-examples