昨天下午，一直對深度學習持質疑态度的紐約大學教授、人工智能創業者Gary Marcus在arxiv上釋出了一篇長文，列舉十大理由，質疑深度學習的局限性，在AI學術圈又掀起了一輪波瀾。
Gary Marcus文章位址：
https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf
而就在剛剛，一直對Gary Marcus這一觀點持反對态度的Facebook人工智能研究中心負責人Yann LeCun發推文“怼”了這一論調，稱“有想法，可能吧，但是，大部分都錯了“（Thoughtful, perhaps. But mostly wrong nevertheless.）。
似乎聽到了LeCun的冷笑……作者很禮貌地回複：“您能不能詳細說說哪裡錯了？我們之前辯論的時候您可不是這麼說的。”
當然不隻是簡單質疑，推文下觀戰的各位也不安分的呼喊LeCun說出更多質疑理由，LeCun在之後又發推叙述了自己的觀點：“不正确，Gary混淆了‘深度學習’和‘監督學習’。”
圖注：LeCun怼的是Jason Pontin的“支援Gary"的轉推，值得一提的是，Jason曾經在MIT科技評論任職主編。
現在美國時間已是深夜，我們期待LeCun在深思熟慮後給出更多想法，可能也會寫出一篇20幾頁的長文也不一定呢。
Gary Marcus和Yann LeCun關于“深度學習”的争執由來已久。去年，兩人還曾經公開就此問題辯論了兩個小時，文摘菌當時細看了整個視訊，全程觀點犀利、邏輯缜密，讓人佩服。來不及等LeCun觀點的同學也歡迎戳下邊的視訊先看看兩人的辯論
在去年的辯論中，Marcus和LeCun都坦言，深度學習目前還遠不能實作簡單的常識推理。LeCun甚至表示，如果在他的有生之年，深度學習在常識推理方面的智能能夠達到一隻小老鼠的水準，那他也就心滿意足了。
然而，對于深度學習發展的何去何從，兩人卻産生了不小的分歧。Marcus認為深度學習應該更全面地借鑒人類探索認知世界的方式，加入更多對物體、集合、空間等的認識表示，而LeCun則認為深度學習并不需要太多地模拟人類的認知方式。
去年兩人的讨論更多的是對深度學習未來發展之争，孰是孰非皆未可知。而這次兩人的争論則似乎更有看頭——Marcus本次質疑的是深度學習目前發展現狀，是一場基于事實的讨論。兩人此次再度怼上，輸赢恐怕終有一個分曉。
讓我們也回顧一下Gary Marcus這篇釋出在arxiv上，長達27頁的文獻質疑了深度學習的哪些問題，僅摘錄了部分精彩觀點：
1.深度學習至今缺少足夠的資料。
人類可以在一些嘗試後學習抽象關系。但深度學習不具備這種學習抽象概念的能力，其需要依賴大量資料。深度學習目前缺乏通過明确的語言定義來學習抽象概念的機制，在DeepMind開發棋類和Atari遊戲AI的工作中，有成千上萬甚至數十億的訓練樣例時效果最好。
正如Brenden Lake和他的同僚最近在一系列論文中強調的那樣，人類學習複雜規則要比深度學習系統更有效率。
2.深度學習至今仍不夠深入，且在遷移度上存在很大局限。
盡管深度學習能夠帶來一些驚人的成果，但重要的是要認識到，深度學習中的“深度”一詞指的是技術特性（在現代神經網絡中使用了大量的隐藏層），而不是一個概念。
Robin Jia和Percy Liang（2017）最近的實驗是語言領域的一個例子。神經網絡在一個被稱為SQUAD（斯坦福問答應答資料庫）的問題回答任務上進行了訓練，其目标是突出特定段落中對應于給定問題的單詞。例如，通過一個已訓練的系統，可準确地識别出超級碗 XXXIII 的勝利者是 John Elway。但 jia 和 Liang 表明，僅靠插入幹擾句（例如宣稱谷歌的 Jeff Dean 在另一個杯賽中獲得了勝利）就可以讓準确率大幅下降。在 16 個模型中，平均準确率從 75% 下降了到了 36%。
通常情況下，深度學習提取的模式，比最初的模式更膚淺。
3.現在的深度學習并沒有能夠處理階層化結構的方法。
至少目前來說，深度學習無法學到層次結構。
深度學習學到的是各種特征之間的相關性，這些特征本身是“平坦的”或非分層的，就好像在一個簡單的非結構化清單中一樣，每個特征都是平等的。層次結構（例如，識别句法結構中的主要從句和嵌入式從句）在這樣的系統中并不能被直接表示，是以深度學習系統被迫使用其他代理變量，例如序列中呈現的單詞的順序位置。
相對而言，像Word2Vec（Mikolov，Chen，Corrado，＆Dean，2013）這樣的将單個詞彙表示為向量的系統表現更好。另一些系統試圖在矢量空間中表示完整的句子（Socher，Huval，Manning，＆Ng，2012），但是，正如Lake和Baroni的實驗所表明的那樣，循環神經網絡難以處理豐富的層次結構。
4.深度學習至今無法解決開放性的推理問題。
如果你不能了解“John promised Mary to leave” 和 “John promised to leave Mary”之間的細微差别，那麼你不能推斷誰是誰離開了誰，或者接下來可能發生什麼。
目前的機器閱讀系統已經在“問答”這樣的任務中取得了一定程度的成功，其中對于給定問題的答案被明确地包含在文本中，但是在推理超出文本的任務時卻很少成功。組合多個句子（所謂的多跳推理）或通過組合明确的句子與沒有在特定文本選擇中陳述的背景知識，對于深度學習還很難。
5.深度學習還不夠透明。
“黑箱”神經網絡的相對不透明性一直是過去幾年讨論的重點（Samek，Wiegand，＆Müller，2017; Ribeiro，Singh，＆Guestrin，2016）。
目前的深度學習系統有幾百萬甚至幾十億的參數，對開發人員來說，很難使用人類可解釋的标簽（“last_character_typed”）來标注它們，而僅僅能描述它們在一個複雜的網絡中的位置（例如，網絡子產品k中第j層的第i個節點的活動值）。
盡管在複雜網絡中可以看到個體節點的貢獻（Nguyen，Clune，Bengio，Dosovitskiy和Yosinski，2016），但大多數研究者都承認，整個神經網絡仍然是一個黑盒子。
6.深度學習尚未能很好地結合先驗知識。
深度學習的主要方法是解釋學，也即，将自我與其他潛在有用的知識隔離開來。
深入學習的工作通常包括，找到一個訓練資料庫，與各個輸出相關聯的輸入集，通過學習這些輸入和輸出之間的關系，通過調參等方式，學習解決問題的方法。有些研究會主動弱化先驗知識，比如以 LeCun 為代表的神經網絡連接配接限制等研究。
人們可以很容易地回答“威廉王子和他那還沒幾歲的兒子喬治王子誰高”這樣的問題。你可以用襯衫做沙拉嗎？如果你把一根别針插入一根胡蘿蔔，它是在胡蘿蔔還是在别針上留下一個洞？據我所知，沒有人會試圖通過深度學習來解決這類問題。這些顯而易見的簡單問題需要人類将知識整合到大量不同的來源中。如果要達到人類認知的靈活性，除了深度學習，我們還需要另一個完全不同的工具。
7.深度學習還無法區分“因果關系”和“相關性”。
因果關系和相關性是兩個不同的概念，這兩者的差別也是深度學習面臨的一個嚴重問題。粗略地說，深度學習學習輸入和輸出特征之間的複雜關聯，但沒有固有的因果表示。
比如，把人類作為整體資料，深度學習可以很容易地學習到，“身高”和“詞彙量”是互相關聯的，但不能說這種相關性來自“長大（growth）“和”發展（development）”。孩子們在學習更多的單詞時也在長大，但這并不意味着，長大會使他們學習更多的單詞，也不是說，學習新的單詞使他們長大。
因果關系在人工智能的其他一些方法中是中心因素（Pearl，2000），但深度學習的核心不是應對這一任務的，是以深度學習很少考慮這一問題。
8.深度學習在一個環境穩定的世界裡表現最好，然而現實往往并非如此。
深度學習在高度穩定的世界中表現很好，比如棋盤類遊戲，因為其有着不變的規則，而在政治和經濟這類不斷變化的問題上，表現很有限。
如果在諸如股票預測等任務中應用深度學習，那麼很有可能出現Google預測流感趨勢的命運：一開始在搜尋趨勢方面預測流行病學資料方面做得很好，但是卻無法預測出像2013年流感季節高峰的出現（Lazer，Kennedy，King，＆Vespignani，2014）。
9. 當你需要一個近似的結果時，深度學習效果不錯，但不能完全信賴這些結果。
深度學習系統在某個特定領域，表現會比較優秀，但很容易被愚弄。
越來越多的論文顯示了這種脆弱性，從上面提到的語言學例子、到視覺領域的例子，都反映了這一問題。在Nguyen，Yosinski和Clune在2014年的一篇論文中，深度學習将黃黑相間的條紋誤以為校車，将帶有貼紙的停車标志誤以為裝滿食品的冰箱。
10.深度學習仍很難被工程化。
從上面提出的所有問題還會引出另一個事實，那就是深度學習很難被着真正穩健地工程化。
Google的一個作者團隊在2014的一篇文章中提到，機器學習就好像“ 有着高利息的技術債務信用卡”，意思是說，我們可以相對容易地使系統在一些有限的環境下工作（短期收益），但是很難保證他們能夠在可能與以前的訓練資料不相似的新資料的情況下工作（長期債務）。
正如Google的Peter Norvig（2016）所指出的那樣，機器學習仍然缺乏經典程式設計的漸進性，透明性和可調試性，在實作穩健性方面面臨着挑戰。 Henderson及其同僚最近對這些觀點進行了擴充，重點強調了深入的強化學習，并指出了與穩健性和可複制性有關的一些嚴重問題。盡管自動化機器學習系統的開發已經取得了一些進展，但還有很長的路要走。
原文釋出時間為：2018-01-04
本文作者：文摘菌