整理内容如有疏漏之處，請不吝指正：留言或發送郵件到 [email protected]。
以下為機器之心的分論壇現場整理。
Yoshua Bengio、Geoffrey Hinton、Richard Sutton 和 Ruslan Salakhutdinov 同台共同探讨人工智能這一研究領域的接下來 1-5 年的人工智能方面的前沿科研方向。
這個明星小組論壇的主持人是科技領域的明星風投公司 DJF（Draper Fisher Juvetson）的合夥人 Steve Jurvetson。Steve 曾經投資過 Hotmail、Tradex、SpaceX、Nervana、D-Wave 和特斯拉等衆多明星科技創業公司，他還擁有世界上第一輛 Tesla model S 和第二輛 Tesla model X（第一輛在 Elon Musk 手裡）。但是，即使是 Steve，主持這場大師雲集的小組論壇還是很有壓力。
本次小組論壇的主題是「What's Next?The Research Frontier（接下來是什麼？研究前沿）」。論壇開始，Steve 先請每位小組成員分别讨論自己對人工智能領域，其是機器學習領域下一階段的科研方向的看法。
下一步，去向何方？
在未來的一年裡 Bengio、Hinton、Sutton 和 Salakhutdinov 教授認為都有哪些問題需要解決？我們會在哪些方向取得進展？
Yoshua Bengio
Yoshua Bengio 教授與 Hinton 教授和 LeCun 教授是深度學習崛起背後的領軍人物。從 20 世紀 80 年代到 90 年代再到 21 世紀前幾年，在那段很少有其他人看到深度學習的發展潛力的時間裡，他們三位一直在培養和孕育深度學習。
Bengio 教授列出了兩個方向：
1. 解釋性的無監督學習（Explanatory Unsupervised Learning）
1）目前的模型通過提取表面的規律來解決表面的問題。Bengio 教授給出了一個圖像識别系統的例子。該系統可以被各種各樣的色調愚弄，比如背景綠化仍會增加物體被識别成野生動物的可能性。
2）機器無法做到人類非常擅長的無監督學習。即使兩歲孩童也能了解直覺的實體過程，比如丢出的物體會下落。人類并不需要有意識地知道任何實體學就能預測這些實體過程。但機器做不到這一點。
3）處理罕見的危險狀态所需要的帶有隐變量（latent variable）的預測 (（predictive）,，因果（causal）和解釋性（explanatory）模型
a. 研究和開發帶有隐變量的模型非常重要
b. 為什麼帶有隐變量的模型很重要？因為在可觀察到的事物與觀察不到的事物之間存在因果關系
c. 除了要有更好的模型，處理無标簽資料也很重要。無标簽意味着沒有進行人類解讀。
d. Bengio 教授給出了一個關于開發安全的自動汽車的例子：自動汽車應該要能搞清楚其在訓練過程中從未見過的危險狀況。
4）基于模型的強化學習、域适應（domain adaptation）、半監督學習、多任務學習等的應用。Steve 問 Bengio 教授因果模型（causal model）是否能以一種無監督的方式衍生出來。Bengio 教授認為無監督将會是一個關鍵的組成元素，但我們必須使用所有的資訊源。我們既應該使用有标簽資料，也需要無标簽資料。事實上，我們遇到的資料大多是無标簽的，也就是說沒有提供人類的注解。
2. 記憶（Memory）
Bengio 教授還提到未來幾年記憶（memory）将成為一個熱門的研究領域。為什麼記憶會在這個領域如此重要呢？因為記憶與推理存在緊密的聯系。從本質上講，推理就是各種資訊的組合過程。為了能夠得出能夠準确預測未來的結果，你需要有合理的預測步驟。這個過程會在很大程度涉及到記憶。
Geoffrey Hinton
Hinton 教授是第一批使用反向傳播算法來訓練多層神經網絡的研究者之一，他也是深度學習社群的一位重要大師。
Hinton 教授認為未來可能會實作的兩件事：
1. 發現比 ReLU 效果更好的「神經元（neurons）」模型
發現比我們的标準 logistic 單元或修正線性單元（ReLU）效果更好的「神經元（neurons）」模型。
為了解釋這個問題，Hinton 教授首先簡要談論了自 50 年代以來人工神經元（artificial neuron）的定義的發展史。
50 年代的時候，人們認為神經元是邏輯門，是确定性的和二進制形式的。然後人們發現它實際上是随機的二進制（stochastic binary）。然後到了 80 年代，Hinton 教授那一代人對神經元的了解從确定性的邏輯門轉變成了 S 型的 logistic 單元（sigmoid logistic units）。此後 30 年來，人們一直在使用 logistic 單元；直到 2011 年，修正線性單元随 AlexNet 被引入，進而帶來了革命性的影響。
2. 在相對較小的資料集上訓練帶有大量參數的神經網絡。
相較于探索無監督學習，Hinton 教授相信監督學習領域仍然還有一些工作要做。計算能力将越來越便宜，資料集将越來越大，這是如今的趨勢。Hinton 教授認為計算能力降價的速度将會超過資料集增長的速度。也就是說，更多的參數可能将不再是噩夢。
數周前，在 Hinton 教授為多倫多大學研究所學生做的一次講演中，他表達了自己關于如何做出好成果的觀點，他認為可以在網絡中利用我們擁有的計算能力并注入盡可能多的參數來擷取資料的規律（包括可靠的與不可靠的），并結合所有這些意見來做出預測。這個觀點已經在許多任務的完成中得到了成功的證明。
為了解釋更多的參數能打造更好的模型，他舉了一個關于人類的例子：
我們每個人都有 100,000,000,000,000 個突觸。一個人在一生中大概要進行 1000 萬次注視（fixation）。以每 5 秒一次計算，就是 200 萬秒。如果我們将每次注視都看作是一個資料點，那麼參數的數量和資料的數量之間就存在大約 10,000 倍的差異。如果你一次處理一個資料，那麼當你有更多的參數時，你所得到的模型的效果就越好。
對于這個例子，Hinton 教授繼續指出人腦處理的資料比注視過程中接收的資料多 10,000 倍，但仍然可以處理。而我們的計算機能力不足的原因很可能是因為我們還沒有提出一種用于 dropout 的規範化的方法。
Steve 提出對是否可以使用機器學習來優化參數，同時是什麼讓 Hinton 相信參數是解決問題的關鍵的疑問。對于 Steve 的這個問題，Hinton 表示贊同可以将其轉變成一個機器學習問題，而且這能給科學研究帶來很大的裨益。但同時，Hinton 也并未過多深入探讨參數的問題，反而指出人們實際上仍然不知道神經元實際的工作方式，但在研究上我們甚至有避免将我們在生物神經元上觀察到的基本性質應用到人工神經元上的趨勢。目前的人工神經元仍然還存在諸多限制，還隻能計算一些非常簡單的問題。為了解決更複雜的問題，我們還需要繼續改變基本的神經元。
Richard Sutton
Richard Sutton 教授被認為是現代計算強化學習之父，他在該領域有幾個重要貢獻，包括時間差分學習（temporal difference learning）、政策梯度方法（policy gradient methods）和 Dyna 架構。
Sutton 教授的興趣點在于智能本身，以及學習的本質。Sutton 教授并沒有探讨接下來一年什麼會幫助公司企業獲得利益，而是探讨了接下來一年裡，他認為機器學習最重要的進展。主要有以下三個方面：
1. 從普通經曆中規模化學習的能力
2. 将機器學習擴充到下一階段
3. 使用深度強化學習進行長期預測，（可能）進行無監督學習
現在的機器學習過程和人類學習的方式并不相同。
Sutton 教授提到了經驗學習法，比如人類和動物會通過生活經驗來學習知識。在最近的深度學習方法種借鑒了這種經驗法，我們用經驗建構起巨大的訓練集。能像人類那樣學習是件非常重要的事情。不過在機器學習中，這種經驗學習的方法還關涉到訓練集的可擴充性和限制。這就是為什麼現在的系統隻能「被動學習（learned）」無法「主動學習（learning）」的原因。一個被動學習的系統建立在訓練資料之上，而在主動學習系統中，系統能随時能通過新的經驗不斷提高。對于未來一年機器學習領域的發展，Sutton 總結道：了解世界的運作規律、可擴充的深度學習方法、用于長期預測的深度強化學習以及無監督學習。
在 Sutton 教授看來，學習應該源自與世界互動的過程，而不需要使用有标簽的資料集進行訓練。它應該是一種更加自然的方式，就像人類小孩與動物的方式一樣。它應該有關世界的運作規律和因果規律。Sutton 教授認為他和 Bengio 是在用不同的術語和方法讨論同一個問題。他在用強化學習的方法，而 Bengio 則用的是無監督學習。
他最後說，人工智能目前還有很長一段路要走，我們還僅僅出于旅程的起點，我們将會找到一個穩定的方式趕上甚至超越摩爾定律。
當 Steve 問到這和人類與大腦連接配接的類比時，Sutton 隻是微笑着把問題讓給了 Bengio 教授。Bengio 提到 logistic 機關模型受神經元科學假說的影響很大。我們還需要探索更多，才能消除神經科學與機器學習之間的差距。
Ruslan Salakhutdinov
Ruslan Salakhutdinov 教授是卡耐基梅隆大學計算機科學院機器學習系的副教授，之前是多倫多大學的教授，也是 Hinton 的博士生。
。他說他們正在組建一個頂級科學家團隊。有很多棘手的項目和研究要做。他的工作是確定他們能開發出新的優秀算法。因為機器學習正在被應用到蘋果内部的每個角落。他很高興能夠兼顧到所有的地方。
Salakhutdinov 教授說，人工智能與機器學習在未來一到三年記憶體在四大挑戰：
1. 無監督學習/一次性學習（One-Shot Learning）/遷移學習
Salakhutdinov 教授表示他在卡内基梅隆大學的實驗室裡已經利用資料進行了大量研究，已經可以使用監督學習從資料中提取結構，這是一個新進展，但計算機距離無監督學習還很遠。他還提到了一次性學習，Bengio 和 Hinton 也提到過這種方法。隻是目前的機器還不能像人類一樣從少數例子中學到新的知識與概念。
2. 推理、注意和記憶
Salakhutdinov 教授沒有深入探讨這一部分，但他提出了一個問題：如何讓系統具有内建記憶，幫助我們進行決策。
3. 自然語言了解/對話與提問/自動應答系統
即使我們在自然語言的推理中取得了很大的進展，但我們距離人機自然互動仍然有很長的一段距離。Salakhutdinov 在被問及建立嵌入記憶是否是讓自然語言了解語境和長對話的關鍵時回答說：需要有正式的記憶網絡，能在神經網絡中進行讀取和存儲。建立和設計新的神經網絡架構是我們要探索的問題。
Steve 還問到了人機互動自然對話界面建立的時間表，Salakhutdinov 則說，我們仍需在有限的環境中做很多工作，而不是在通用人工智能上。Bengio 則開了個玩笑：「嚴肅的科學家從不給出時間表。」
4. 深度增強學習
Salakhutdinov 推薦對這一話題感興趣的人們閱讀 Sutton 的著作。他認為認真總結上個世紀 80 到 90 年代增強學習的成就之後，人們将會取得更偉大的進步。
讨論花絮
除了讨論這一個領域未來的展望，教授們還探讨了很多有趣的想法，互相開了開玩笑，與 Steve 進行問答，下面是從讨論中摘錄的部分有意思的花絮。
- Hinton 教授的靈感之源：「它（大腦）是如何工作的？」
待四位教授說完自己對未來科研風向的觀點後，Steve 問了一個問題，是什麼讓教授們堅信，并且在不知道什麼時間才會出成果的情況下，全身心将事業投入于此？（在會議中 Bengio 教授曾笑言：「（對科研态度）嚴肅的教授是不會給你（出成果的）時間線的。」）
Hinton 教授談到自己的堅持是希望探索出大腦是如何工作的。Steve 追問，「這個強烈的興趣就在于我們對大腦真實工作情況了解的越多，模拟就能做的越好。」
Hinton 教授：「不，我不關心這個。我隻關心大腦如何工作。」
- 關于智能，存在一個簡單的解釋嗎？
在讨論到自由意志這個主題時，Bengio 教授還聊了聊自己正在思考怎樣才能簡單的解釋智能。他提到 Pedro Domingos 教授在書中寫過，很多機器學習（和深度學習）都有基礎假設。有一些可以了解的簡單原理能解釋我們的智能以及我們大腦了解世界的能力。如果這個方法複雜到我們無法了解，那就不好玩了。
- Geoffrey Hinton 最近的工作
讨論中，Hinton 教授提到谷歌正全力支援他探索新型人工神經元及其工作原理，谷歌對他基礎研究的支援非常有效，有了些突破性進展。他開玩笑說實際上谷歌是比 NSERC（加拿大自然科學與工程技術研究理事會）更好的資金來源。但由于這些讨論的内容本身很難，再加上 Hinton 濃重的英國口音就更加晦澀難懂。Bengio 教授則建議大家可以閱讀他們最近發表的論文（論文點選「閱讀原文」下載下傳，這是 Geoffrey Hinton之前的論文：
使用快速權重處理最近的過去的修訂版）。
- Yoshua Bengio 教授 :「自由意志是一種錯覺！」
當 Steve 問 Bengio 教授他如何看待自由意志和計算決定論時，Bengio 教授并沒有正面回答，而是給出了一個引人深思觀點：「自由意志是一種錯覺！」
- 深度增強學習漸熱
Sutton 教授和 Salakhutdinov 教授都在強調深度強化學習。這種方法會催生通用人工智能嗎？我們還不知道。但我們明白目前還有很多工作要做，而在這條路上我們将會有很多收獲。
- 我們需要知道大腦的運作機制
在會議和讨論中，Hinton 教授不斷地講述他關于神經、突觸、脈搏、電流和其他工作的進展。他同時提到了圖靈對神經網絡的觀點，并多次強調我們其實還是不明白它（人工神經網絡以及大腦）的具體機制。
Bengio 教授與 Hinton 分享了類似的觀點，他認為将大腦運作機制研究清楚是非常重要的——「如果我們不這麼做一定是瘋了」。
Hinton：「我們不知道它的工作機制。」
Bengio：「或者說，我們不知道我們大腦的工作機制！」
本文是機器之心對 2016 機器學習和人工智能市場會議的第一篇小組論壇要點報道。該會議由多倫多 Creative Destruction Lab 于 2016 年 10 月 27 日在多倫多舉辦。我們希望本篇總結可以讓大家從這些研究者的觀點中受益。随後的一段時間裡，機器之心将會陸續發出該會議的其他精彩小組論壇總結報道。請鎖定機器之心，第一時間獲得感興趣的小組論壇總結報道。
©本文由機器之心原創，轉載請聯系本公衆号獲得授權。