深度學習中，還有這15個未解難題

本文來自AI新媒體量子位（QbitAI）

認臉、翻譯、合成語音……深度學習在很多問題上都取得了非常好的成績。

那麼，還有什麼問題不能用深度學習來解決呢？

斯坦福大學在讀博士Bharath Ramsundar列出了下面16個方面，希望能對今後的算法開發有所幫助。

量子位翻譯了這篇文章，以下為譯文。

1．衆所周知，深度學習方法很難學習到輸入樣本的微小變化。當樣本的顔色交換時，所建構的目辨別别系統可能會完全崩潰。

2．基于梯度的網絡訓練過程相當緩慢。一般按照固定模式來實作多種梯度下降方法，但是這種方法很難用于高維資料的預測。

3．深度學習方法在處理條件限制方面的效果也不佳，不能像線性規劃方法那樣，能快速找到滿足限制的解決方案。

4．在訓練複雜模型時，網絡相當不穩定。通常不能很好地訓練神經圖靈機和GAN網絡，嚴重依賴網絡的初始化方式。

5．深層網絡能較好地應用于圖像處理和自然語言分析中，但是不适合現實世界的實際問題，如提取因果結構等等。

6．在實際應用中，要考慮關鍵影響者檢測的問題。在參議員投票的資料集中，應該如何檢測出關鍵影響者，深度神經網絡DNN還不能應用于此方面。

7．強化學習（Reinforcement learning）方法對輸入資料非常挑剔，實際性能主要取決于調參技巧，雖然這個特殊問題僅存在于這個方面。

8．深度學習方法不容易了解未知實體，比如說當棒球擊球手在視訊中，深度學習不知道如何推斷出螢幕外還有個投手。

9．實時訓練深層網絡幾乎不可能，是以很難進行動态調整，上文已經提到網絡訓練緩慢的問題。

10．一般來說，網絡需通過離線訓練後才能進行智能辨識。

11．人們經常提出一些對深層網絡的理論解釋。但這可能不是一個大問題，人們才是一個真正的大問題。

12．目前很難确定深層網絡學習到了什麼。作為工程師的我們，怎樣才能確定在網絡訓練過程中不存在偏見和種族歧視？

13．深度神經網絡很難用來解決邏輯問題。3SAT求解器具有很強的能力，但是很難應用到深層網絡。

14．深度神經網絡在處理大次元的特征資料方面效果不佳。這種方法與強大的随機森林方法不同，在訓練前需要大量的特征調整。

15．深度網絡的超參數優化研究仍然處于起步階段。研究者需要完成大量的計算或是手動調整許多網絡結構。

以上這些并不是一個完整的清單，但是我覺得這些都是值得思考的問題。在這些問題的基礎上，要思考：

這些問題是深層神經網絡本身存在的問題，還是要被克服的工程挑戰？

這些都很難說，其中的一些問題可能會得到解決，比如更多性能優秀的硬體被開發用于超參數自動搜尋。有一些早期結構可以用來自動歸一化和處理大次元的特征資料，是以處理特征的問題可能有所改善。

然而，邏輯、限制、隐藏結構和網絡審查等問題可能會進行更深入地研究。我很願意看到大家對這些問題提出質疑，深度學習的研究者通常都是很有才華和有想象力的。摩爾定律仍然适用于GPU性能曲線，TPU和定制硬體還需要多久才能上市？

是以我對這些挑戰持樂觀态度。盡管如此，我還是懷疑深度神經網絡不足以實作通用人工智能，當然，這可能隻是我的偏見，事件上的專家可能是預測上的菜鳥，我們花了太多時間鑽研技術。

千萬不要隻知其然，而不知其是以然！

我不想把這個随筆寫成一篇文章，不确定是否有未知的主題還未被列出。

最後，作者還說，把這篇随筆送給聰明的讀者。

【完】

本文作者：王小新 

原文釋出時間：2017-06-22