天天看點

AI 初學者入門指南:深度學習的五級分類

AI 初學者入門指南:深度學習的五級分類

編者按:目前 ai 被籠統劃分為“弱人工智能”、“強人工智能”、“超人工智能”三個類别。甚至在很多業内專家(比如洪小文)眼中,隻有“強”、“弱”ai 的差別,因為“超人工智能”離我們實在還很遠,難以捉摸。這樣的籠統分類顯然不利于大衆對于各項 ai 技術進行認識和了解。是以,一些專家開始提出基于技術難度和 ai 智能水準的分類、分級方法。其中,美國學者 arend hintze 提出了對 ai 的四級分類, 而最近,intuition machine 聯合創始人 carlos perez 又提出了針對深度學習的五級分類。這些分類方法對各層次 ai 技術進行了簡單的歸類,有助于初學者更好地認識 ai 。

上個月,密歇根州立大學副教授 arend hintze 發表了一篇很有價值的短文章《了解 ai 的四種類别:從響應式機器到有自我意識的存在》( “understanding the four types of ai, from reactive robots to self-aware beings” )。文中,他提出了對 ai 的四級分類:

響應式

這是最基本的 ai 類型,無法産生記憶,不能利用過去的經驗做決策。它們是“專才”而非“通才”,為完成特定任務所設計,不能勝任其他任務。

有限記憶

目前行為能夠參考剛剛發生的事件。但記憶是瞬時的——無法用于未來決策。

心智理論( theory of mind)

這是一個心理學術語,意思是能根據他人行為,推導、并了解他們的想法和動機。這一類型的  ai 能夠歸納出周圍環境、和與之互動的其他代理的“表征”( representations,ai 術語,詳見“表示學習”)。

自我意識

ai 的終極課題。目前對于它的描述大都是猜想。

對此,ai 專家 carlos perez 表示,他喜歡這個四分類法遠遠超過目前廣泛使用的“強人工智能 vs 弱人工智能”二分類法(ps:或者再加上“超人工智能”成為第三個類别)。arend hintze 的方法把弱 ai 分為三個類别(響應式,有限記憶,心智理論),這給了我們更多概念,來區分不同的 ai 應用。但 carlos perez 又評論道,該分類法似乎來自于 “gofai” 思路(老式 ai),潛台詞是它已經過時了;另外,從有限記憶、能夠使用部分過去記憶做決策到心智理論,這步子邁得太大了。

于是,carlos perez  提出了他自己的 ai 分類方式,按能力把 ai 劃分為五個級别。他表示,該分類法主要針對深度學習,希望對 ai 從業者來說更細緻、更有用。它能幫我們看清楚 ai 目前在哪個階段,以及将來會走向何方。

perez 表示:“對目前 ai 技術進行評估,我們缺少一個好的概念架構。這可能隻是由于大多數 ai 評論人無法跟上最新的深度學習進展——需要讀的東西太多,而且最新發現不停重新整理我們現在對 ai 的了解。”

我們來看看 perez 針對深度學習能力的 ai 分類:

該級别包含全連接配接神經網絡( fully connected neural network ,fcn),卷積神經網絡(convolution network,cnn)和它們之間的各種組合。這些系統把一個高次元矢量作為輸入,得到單個結果,一般是對輸入矢量的分類。

你可以把這些系統看成無狀态函數,意味着它們的行為隻是一個針對目前輸入的函數。一個熱門研究領域——生成模型,就屬于該類别。簡單來講,這些系統憑它們自己是十分強大的。

這個級别包含 “c 層”網絡中整合的記憶因素。lstm 就是一個例子:記憶機關嵌入在 lstm 節點中。其它類似的變形還有,神經圖靈機器 (nmt) 和 deepmind 的可微分神經計算機(dnc)。在對行為進行計算時,這些系統會維持狀态恒定。

該級别與 cm 有些相似。但 c 層網絡能擷取的資訊不是原始記憶體,而是符号化的知識庫(symbolic knowledge base)。雷鋒網獲知,事實上 carlos perez 就發現了三種符号化整合:1. 轉移學習方式( transfer learning approach);2. 自上而下方式 ;3. 自下而上方式。第一種方式用一個符号化系統作為正則化矩陣(regularizer)。第二種方式在神經表征底層的最上層加入了符号化元素。第三種方式跟這相反,c 層網絡直接與符号化知識庫關聯。

在這個級别,系統直接建立在 ck 之上,但是,它已能夠使用不完美的資訊做推理。這類系統的代表是 alpha go。隻是 alpha go 采用的不是 ck 而是 cm 級别的能力。正如 alpha go,這類系統能通過與自身的對抗模拟來訓練自己。

這個級别和 arend hintze 的“心智理論”類别十分近似,多個代理神經網絡聯合起來解決問題。這些系統被設計來完成多項目标。我們其實可以在對抗網絡中運作它的原始版本:與判别器和生成網絡一起學習歸納。在博弈論驅動的、能戰略戰術性解決多重問題的網絡上應用該概念,就能得到高度靈活的系統。但是,我們現在還達不到這個水準,前面那些級别仍需要很多研究來完善。

每一層級别,都帶來了上個級别沒有的新能力。 比方說,c 層系統隻能預測反因果關系(anti-causal relationships)。 cm 級别的系統能完成不錯的翻譯。cik 級别系統能玩戰略遊戲。

我們可以看出,除了沒有“自我意識”級别,這個分類法和 hinzte 四級分類高度相似。在這些“基礎”級别全部達到之前,carlos perez 不準備探讨自我意識。這個分類同樣沒有提到零樣本學習(zero-shot learning)、一步學習(one-shot learning)或者無監督學習。據雷鋒網所知,後者仍然是 ai 基礎挑戰之一。正如 大牛 yann lecun 所形容:

“假設機器學習是一個蛋糕,強化學習是蛋糕上的一粒櫻桃,監督學習是外面的一層糖衣,無監督學習則是蛋糕糕體。我們知道怎麼做糖衣和櫻桃,但不知道怎麼把糕體做出來。”

在最近的演講裡,yann lecun 開始用預測學習(predictive learning)來替代無監督學習。這是一個很有意思的轉變:它展示出 lecun 在如何做蛋糕這個問題上,觀點發生了微妙變化。在他眼裡,這是 ai 技術大幅進步所必需的基礎。換句話說,在建設好預測學習的地基之前,在現有監督學習的基礎上加入更多記憶、知識庫、協作代理這些能力會十分困難。

雷鋒網獲知,在最近的 nips 2016 大會上,lecun 展示了這幅 ppt:

AI 初學者入門指南:深度學習的五級分類

這列出了 ai 進步的主要障礙:

機器需要學習世界運作的方式

ai 要學習海量背景知識

機器需要能夠感覺環境的狀況

機器需要更新并記憶環境的狀況

機器需要學習和計劃

智能和常識等于:感覺+預測模型+記憶+推理和計劃

這些能力在回報回路裡用到時,都利用了加速器技術。我們其實在現在的研究中看到過這類元學習(meta-learning)或是學習優化(learning to optimize)。元學習技術帶來的主要啟示是:當我們能訓練機器找出用其它方法找不出的解決方案,研究方法會變得更強大。

這就是為什麼,即便深度學習研究有許多難題,我們也無法确定技術進步的速度。但在預測學習領域發生重大突破之前,perez 的五級分類法應該已經夠用了。至于 ai 業内人士如何看待這個新提出的分類法,雷鋒網(公衆号:雷鋒網)會繼續關注。

【兼職召集令!】

如果你對未來充滿憧憬,喜歡探索改變世界的科技進展,look no further!

我們需要這樣的你:

精通英語,對技術與産品感興趣,關注人工智能學術動态的蘿莉&萌妹子&技術宅;

文字不求妙筆生花,但希望通俗易懂;

在這裡,你會收獲:

一群來自天南地北、志同道合的小夥伴;

前沿學術科技動态,每天為自己充充電;

更高的生活品質,翻翻文章就能掙到零花錢;

有意向的小夥伴們把個人介紹/履歷發至 [email protected],如有作品,歡迎一并附上。