
2012年左右,多倫多大學的研究人員首次使用深度學習來赢下了ImageNet,它是一項非常受歡迎的計算機圖像識别競賽。對于那些參與AI行業的人來說,這是一個大問題,因為計算機視覺是使計算機能夠了解圖像背景的學科,也是人工智能中最具挑戰性的領域之一。
當然,與任何其他産生巨大影響的技術一樣,深度學習成為炒作的焦點。不同的公司群組織開始應用它來解決不同的問題(或假裝應用它)。許多公司開始使用深度學習和先進的人工智能技術重塑其産品和服務。
與此同時,媒體也經常撰寫有關人工智能和深度學習的故事,這些故事充滿誤導性,并且大多是由那些對技術運作方式沒有正确了解的人撰寫。他們大多使用關于人工智能的聳人聽聞的頭條來博眼球,這些也促成了圍繞深度學習的炒作。
經過媒體的炒作後,許多專家認為深度學習被誇大了,它最終會消退并可能導緻另一個
人工智能冬季,進而使人們對
人工智能的興趣和資金投入大幅下降。其中一些著名專家也承認,
深度學習已經觸底,其中包括
一些深入學習的先驅者。
但根據著名資料科學家和深度學習研究員傑裡米·霍華德的說法,“深度學習過度誇大”的論點有點誇張。霍華德是
fast.ai的創始人,fast.ai是一個非營利性的線上深度學習課程。
今年,霍華德在USENIX Enigma會議上發表的
演講中發表了許多反對深度學習的論點。整個視訊非常清楚地說明了深度學習究竟做了什麼和不做什麼,這個演講可以幫助你清楚地了解該領域。
以下是霍華德演講主要反駁的幾個論點:
深度學習隻是一種時尚-明年它将是另一回事
(NO!)許多人認為深度學習是突然冒出來,最終也會突然消失。
霍華德反駁解釋到:“你今天在深度學習中實際看到的是幾十年研究的結果,而這幾十年的研究終于達到了實際上給出最先進成果的程度。”
人工神經網絡的概念是深度學習算法的主要組成部分,它已存在數十年,第一個神經網絡可以追溯到20世紀50年代。
Mark I Perceptron是1957年神經網絡的第一個實作
但是,由于數十年的研究以及資料和計算資源的可用性,深度學習的概念已經從實驗室走出并進入實際領域。
霍華德說:“利用深度學習,人們可以減少很多複雜的繁瑣的事務,我們應該期待看到[深度學習]繼續發展下去而不是消失。”
深度學習和機器學習是一回事
濫用人工智能詞彙很容易導緻了從業人員對行業的混淆和懷疑。有人說深度學習隻是機器學習的另一個别稱,而其他人則認為它與其他AI技術(如支援向量機(SVM),随機森林和邏輯回歸)屬于同一水準。
但深度學習和機器學習并不相同,
深度學習是機器學習的一個子集。通常,機器學習适用于基于訓練資料的數學模型和行為規則的所有技術。ML技術已經投入生産使用了很長時間。
在深度學習之前,科學家們必須在編寫“功能”或子產品方面投入大量精力,這些功能可以執行模型想要執行的任務的一小部分。例如,如果你想建立一個可以檢測貓的圖像的AI模型,你将不得不編寫較小的程式來檢測貓的特征,如耳朵、尾巴、鼻子、皮毛。而且你必須使這些程式足夠強大,以便從不同角度和不同光照條件下檢測這些特征,并告訴不同貓種之間的差異。最後你才能在這些功能之上進行機器學習。
如果你想解決更複雜的問題,如通過MRI掃描檢測乳腺癌,那麼建立特征将變得更具挑戰性。霍華德說:“你将需要數十名領域專家與數十名計算機程式員和數學家合作,提出這些功能概念并對其進行程式設計。最後使用一個經典的機器學習模型,如邏輯回歸。”這項工作大概需要數年的工作。
經典的機器學習方法涉及許多複雜的步驟,需要數十名領域專家、數學家和程式員的合作
深度學習用神經網絡取代了艱苦的經典機器學習過程。霍華德将神經網絡描述為“無限靈活的函數”。這意味着神經網絡可以應用于機器學習解決的大多數問題,而無需通過以前必須執行的所有特定于域的特征工程。
要想神經網絡解決特定問題,你需要調整其參數。為此,深度學習使用“梯度下降”,這是一種通用優化算法,可以将神經網絡的參數與其想要解決的問題相比對。
最後,深度學習利用了近年來可用的GPU和專用硬體的強大功能,以合理快速和可擴充的方式執行這些任務。
霍華德說:“隻有在過去的幾年裡,這三件事情才能讓我們真正使用神經網絡來獲得最先進的結果。”
是以,深度學習不是通過以前機器學習方法所涉及的專業知識密集型和容易出錯的過程,而是提供樣本資料(例如标記為貓圖檔,标記為癌症或非癌症的MRI掃描...)并訓練神經元使用梯度下降的網絡。神經網絡比較并找到這些資料樣本中的常見模式,并學習應用相同的知識來分類以前從未見過的新資料樣本。
這種方法在過去幾年中深入學習了最流行的人工智能技術,并引發了使用深度學習的應用程式的爆炸式增長。
深度學習隻對圖像識别有益
很多人都承認深度學習是一種非常有用的人工智能技術,但很多批評者都抱怨它的使用僅限于解決涉及圖像分類的問題!
“圖像識别非常重要!”霍華德說。幾年前,霍華德和一組研究人員在肺部CT掃描上訓練了一個深度神經網絡,并建立
了一種算法,可以檢測惡性癌症惡性良性腫瘤,這個算法的結果診斷的結果與四名人類放射科醫師相比,假陽性和陰性率更低。
霍華德還指出,許多問題可以重新了解為圖像識别問題。例如,在中國古代遊戲圍棋中
擊敗世界冠軍的深度學習算法AlphaGo實際上是一個圖像識别的卷積神經網絡(CNN)。
“具體來說,AlphaGo所做的是看了很多在真人玩過的圍棋的例子”霍華德解釋道。“基本上,他們最終做了一個圖像識别神經網絡,他們試圖學習的東西不是這張照片是貓還是狗,而是這是一張白子赢或黑赢的圍棋照片。”這種方法一直是AlphaGo和許多
掌握不同棋盤和視訊遊戲的AI算法成功的關鍵因素。
關鍵是,許多問題可以轉化為圖像識别問題,并通過深度學習解決。例如,霍華德深度學習課程的學生建立了一個神經網絡,該網絡在滑鼠移動和點選的圖像行為上進行訓練。在這種情況下,他建立了一個卷積神經網絡,試圖根據這些圖檔預測欺詐行為。
深度學習可以将滑鼠移動和點選的視覺表示轉變為欺詐檢測應用程式
也就是說,深度學習也證明了其超越計算機視覺和圖像識别領域的價值。
霍華德指出,深度學習現在也适用于大多數
自然語言處理(NLP)問題,這包括機器翻譯和文本摘要等領域。NLP是一個關鍵元件,它可以使Siri,Alexa和Cortana等AI助手了解你的指令。(有一點要知道
:深度學習對人類語言的掌握有
限)
深度學習還可以解決涉及結構化資料的問題,例如電子表格中的行和列。例如,你可以為神經網絡提供一組代表金融交易及結果(欺詐或正常)的行,并對其進行訓練以預測欺詐性交易。
霍華德指出,深度學習也可以應用于時間序列和信号問題,例如連接配接到網絡的不同IP位址的事件順序或随時間收集的傳感器資料。
深度學習的痛點
霍華德還指出了一些深度學習成效有限的領域,這些領域包括強化學習,對抗模型和異常檢測。
一些專家認為強化學習是目前人工智能的聖杯。強化學習涉及開發AI模型而不向他們提供大量标記資料。在強化學習中,你為模型提供問題域的限制,并讓它開發自己的行為規則。AlphaGo的進階版AlphaGo Zero就是使用強化學習從頭開始訓練自己,然後超過了AlphaGo。雖然深度強化學習是人工智能研究中比較有趣的領域之一,但它在解決現實問題方面沒有明顯的進展。Google Brain AI研究員Alex Irpan在
深度強化學習的極限上有一篇引人深思的文章。
對抗模型是霍華德提及的另一個深度學習痛點。對抗性示例是操縱輸入可能導緻神經網絡以非理性方式運作的執行個體。有很多研究人員展示了
對抗性示例如何
能夠成為對AI模型的攻擊者。雖然已經做了一些努力來加強深層學習模式以對抗對抗性攻擊,但到目前為止,成功有限。部分挑戰源于神經網絡
非常複雜且難以解釋的事實。
異常檢測,霍華德談到的第三個深度學習痛點也非常具有挑戰性。一般概念是在基線資料上訓練神經網絡,并讓它确定偏離基線的行為。這是在網絡安全中使用AI的主要方法之一,一些公司正在
探索這一概念。但是,它仍然無法将自己确立為對抗安全威脅的非常可靠的方法。
深度學習是一個黑盒子
這是
一個真正令人擔憂的問題,尤其是在人工智能模型被賦予關鍵決策的領域,例如醫療保健、自動駕駛汽車和刑事司法。那些願意讓深度學習代表他們做出決定的人需要知道推動這些決策的因素是什麼?不幸的是,當你在訓練神經網絡時獲得的性能優勢會降低你在決策過程中獲得的可見性。這就是深度學習通常被稱為“黑匣子”的原因。
但是,現在已經有了很多有趣的研究來
解釋AI決策,并幫助工程師和最終使用者了解影響神經網絡輸出的元素。
深度學習需要大量資料
一般認為,要建立一個新的深度學習模型,需要通路數百萬和數十億個帶标簽的示例,這就是為什麼隻有大型科技公司才能建立它。
“需要大量資料的說法通常不正确,因為大多數人在實踐中使用遷移學習”霍華德說。
遷移學習是機器學習中的一門學科,其中一個模型獲得的知識被轉移到執行類似任務的另一個模型。與人類如何将知識從一個領域轉移到另一個領域相比,它非常原始。但是,遷移學習在深度學習領域是一個非常有用的工具,因為它使開發人員能夠用更少的資料建立新模型。
霍華德解釋說:“你從一個預先訓練好的[神經]網絡開始,然後為你的特定任務微調權重。一般來說,如果你有大約1,000個示例,你應該能夠建立一個良好的神經網絡。”
你需要博士學位才能進行核心深度學習
深度學習是一個非常複雜的計算機科學領域,它涉及許多進階數學概念。但是在過去幾年中,學術界已經建立了大量的工具和庫來抽象出潛在的複雜性,并使你能夠無須解決過多的數學問題來開發深度學習模型。
Fast.ai和Keras就是兩個現成的庫,可用于快速開發深度學習應用程式。還有很多線上課程,包括霍華德的fast.ai,Coursera和其他課程,使你能夠開始深入學習程式設計,隻需要很少的程式設計知識。許多具有計算機科學以外背景的人已經能夠将這些課程應用于現實世界的問題。
需要明确的是,深度學習研究仍然是一個非常先進和複雜的領域,人才既稀缺又昂貴。開發新的深度學習技術的人是一些
最令人垂涎和收入極高的研究人員。但這并不意味着其他人需要擁有相同水準的知識才能在他們的應用程式中使用這些研究項目的結果。
深度學習需要大量的計算能力
“你可能會擔心你需要一個充滿GPU的大房間,總的來說這并不是真的,我現在看到的絕大部分成功結果都是用一個GPU完成的。” 霍華德說
大型公司群組織進行的大型研究項目需要大量的GPU,例如一款機器人手
用6144 CPU和8個GPU進行訓練出來的。另一個例子是OpenAI Five,一個訓練有素的AI模型,可以玩著名的Dota 2線上戰鬥競技遊戲,OpenAI Five是用了
128,000個CPU核心和256個GPU的訓練的結果。
但是,大多數實際問題都可以通過單個GPU解決。例如,你可以通過一個GPU來完成霍華德的Fast.ai課程。
總結:
我建議你觀看整個視訊,其中,霍華德深入研究了一些更專業的主題,例如你是否可以将深度學習應用于資訊安全。重要的是我們要了解深度學習的範圍和限制以及機會和優勢,因為它是我們這個時代最有影響力的技術之一。深度學習不是過分誇大,也許它隻是沒有很好地被了解。
本文由
阿裡雲雲栖社群組織翻譯。
文章原标題《Is deep learning overhyped?》
作者:
Ben Dickson譯者:虎說八道,審校:袁虎。
文章為簡譯,更為詳細的内容,請檢視
原文。