Geffory Hinton：深度學習進入平台期？不，深度學習需要的是“推倒重來”

一個星期前由François Chollet在Twitter上引發的“深度學習是否進入平台期”的讨論，因為大神Geffory Hinton的參與達到了高峰。

據科技媒體Axios報道，上周三在多倫多舉行的一個AI會議上Hinton表示，他現在對反向傳播算法“深感懷疑”。這一算法是用來訓練人工神經網絡的常見方法，該方法計算對網絡中所有權重計算損失函數的梯度。這個梯度會回報給最優化方法，用來更新權值以最小化損失函數。值得一提的是，Hinton本人是反向傳播算法的早期提出者，1986年，Hinton在一篇論文中首次将反向傳播算法引入多層神經網絡訓練。

盡管在這次會議上，不少參會的科學家表示在人工智能的未來反向傳播仍處于核心地位，但Hinton的發言一錘定音：可能會有全新的方法推出。Hinton在現場引用普朗克的名言稱：“Max Planck 曾說：‘科學之道，不破不立。’未來取決于對我所說的一切持懷疑态度的那些研究所學生。”他還表示，如果要讓深神經網絡變得更聰明，即向無監督學習過渡，“這可能意味着要徹底放棄反向傳播。”

這一觀點在Twitter上引起了廣泛讨論，Pedro Domingos、李飛飛等多人紛紛轉發。在李飛飛轉發的Twitter上，雷鋒網(公衆号：雷鋒網)注意到，前幾天的“few tools lives enternity”已經悄然變成了“no tool is eternal”，Hinton這一觀點對AI研究者的震撼之大可見一斑。

衆所周知，從Hinton于2006年在Science雜志上發表《Deep Belief Networks》的論文開啟了深度神經網絡的新時代。十餘年來，基于Hinton及衆多先驅提出的深度學習理念架構，深度學習在有監督學習上取得了一定的突破，但同時也暴露出了一定的技術局限，如資料需求大、環境适應弱、可解釋性差、性能差異大、資料分享難等。不少研究者認為，人工智能的下一步發展有待于在無監督學習領域的進一步突破。

Hinton近日對其在2011年的一篇論文《Transforming Auto-encoders》提出的Capsule概念重新進行了思考及完善，關于Capsule的最新論文《Dynamic Routing Between Capsules》目前已被NIPS 2017接收，目前這篇論文并未正式發表，但我們還是可以從Google Research Blog發表的論文摘要以及部分提到了Capsule的Slide上了解到關于Hinton對Capsule的想法，雷鋒網摘編如下：

Capsule 是一組神經元，其活動向量的矢量方向及方向分别代表實體化程度及執行個體參數，相同水準下的活躍capsule可通過矩陣變換對更進階别的Capsule實體化參數進行預測。當多個預測一緻時，進階别的Capsule将會更加活躍。在論文中我們展示了用于判别訓練的多層Capsule系統在MNIST資料集表現臻于完美，相比起高度重疊的數字的卷積網絡的性能更為優越。為達到這一目标，我們試用使用疊代的路由協定機制，即低級别的Capsule傾向于将預測結果輸出發送至進階别的Capsule，進而使得進階别Capsule的活動向量具備大标量積。論文最終版本正在修訂中，并會包含評論者的意見。

換言之，Capsule試圖在神經網絡内形成和抽象建立子網絡，也就是說，如果你看一個标準的神經網絡，層與層之間是完全連接配接的（也就是說，層1中的每個神經元都可以通路層0中的每個神經元，并且本身被第2層中的每個神經元通路，以此類推）， 這種更複雜的圖形拓撲似乎可以更有效地地提高生成網絡的有效性和可解釋性。論文中提到的 Dynamic Routing，就是希望能夠形成一種機制，讓網絡能夠将适合某一層 Capsule 處理的内容，路由到對應的 Capsule讓其處理，進而形成了某種推斷鍊。

（關于Capsule理論的更多内容，可參見雷鋒網之前文章：《Hinton親自講解迄今未發表工作：膠囊理論的核心概念到底是什麼？》）

在知乎的這一問題下，得到贊同最高的SIY.Z是這樣回答的：

首先這個工作成功或者不成功都是很正常的，就算 Capsule 真的會成為以後的趨勢，Hinton 也未必這麼快找到正确的訓練算法；就算 Hinton 找到了正确的訓練算法，也沒有人能夠保證，Capsules 的數量不到人腦中 mini-columns 數量的時候，能夠起達到人類的識别率（何況現在 CNN 雖然問題很多，但是識别率很多已經超過人類了）。

從目前已經披露的資訊看，Capsule的概念會更仿生一些，能夠更好地模拟人類大腦神經元之間的複雜連接配接結構，但對這個架構具體的數學描述仍有待于進一步研究。

雷鋒網認為，在最近幾年，深度學習得到了廣泛的應用，深度學習工程化的門檻逐漸降低，導緻在諸多學術會議上已經開始呈現出“不用深度學習都不好意思和人打招呼”的現象，在這種環境下，不少研究者也在探索深度學習之外的其他理論研究，Hinton的“深度學習需要推倒重來，可能需要抛棄反向傳播”的反思更多具備指導性的意義，也會激勵更多人在其他的理論研究上進一步探索。

值得一提的是，有不少國内學者已經走在了這個領域的前列。如南京大學的周志華教授今年稍早發表的關于多層随機森林的論文《Deep Forest: Towards An Alternative to Deep Neural Networks》是關于用做深度學習的，也不需要反向傳播；而在去年，周志華教授也針對目前深度學習存在的技術局限提出了“學件”的解決方案，在這一波對深度學習的重新思考中，我們也期望有更多的國内學者能夠有更多的突破。

本文作者：岑大師