2018年即将結束，現在是開始預測2019深度學習的時候了。以下是我之前對2017年和2018年的預測和回顧：
關于2017年
預測和
回顧。2017的預測涵蓋了硬體加速，卷積神經網絡（CNN）的主導地位，元學習，強化學習，對抗性學習，無監督學習，遷移學習，以及作為組成部分的深度學習(DL)，設計模式和超越理論的實驗。
關于2018年
與
。2018年的預測涵蓋了硬體初創公司，元學習取代SGD，生成模型，自我博弈，語義差距，可解釋性，海量資料研究，教學環境，會話認知和人工智能倫理。
通過回顧我的預測表明，我發現我太樂觀了，高估了技術發展的速度。總的來說，社群一直處于一種誇大的期望狀态。事後看來，是因為忽略了一般認知的潛在複雜性。我們現在必須降低期望，并專注于有希望的領域。這些有希望的領域将逐漸取得進展而不是“moon shots”(注：一個瘋狂的想法或者不大可能實作的項目)。
革命性進展應該分階段發生，我們今天遇到的是實作Interventional level的主要障礙。這并不意味着我們不能取得任何進展，而是在目前的成熟度水準中有許多懸而未決的成果，而這些成果已經準備好進行開發，DL在2019年的進展将主要圍繞這一務實的認識。
以下是我的預測，與前幾年一樣，它們可作為跟蹤DL進度的指南。
1. 深度學習硬體加速減緩深度學習硬體加速已經減緩，
脈動陣列在2017年給全世界帶來了巨大的加速增長。我們不能指望2019年計算能力的大幅提升，NVidia的圖靈核心隻比Volta核心快一點。谷歌的TPUv3系統現在采用
液冷，與之前的産品相比，密度更高。我不認為2019年會有任何重大的架構改進，是以不要像往年那樣大幅增加。
但是，我們将看到GraphCore和Gyrfalcon的新架構規避了記憶體傳輸的功率成本并支援稀疏操作，但是需要更改深度學習格式來适應這些新架構，以及需要進行新的硬體研究，這個靈感來自
生物學的納米意向性。
2. 無監督學習已經解決，但不是所預期的無監督學習的思維方式都是錯誤的。LeCun的蛋糕理論是錯的，不同類型的學習關系應如下所示：
為什麼UL價值最低，難度最小？那是因為沒有目标，你可以做任何可能有效或無效的叢集。最終，它歸結為基于UL嵌入的更高層的性能。UL嵌入本質上是包含豐富的先驗資料，這些先驗如何被利用取決于具有目标的上遊過程。ELMO和BERT已經發現我們可以訓練用來預測（或生成）其資料的UL，這是上遊任務的良好基礎。UL基本上是監督學習，其标簽已存在于資料中。簡而言之，UL已經被解決了，但并沒有像大多數從業者所期望的那樣。如果網絡可以做出良好的預測或者可以生成原始資料的良好傳真，那麼這就是UL。
是以，每個人都認為解決UL将是一項重大進展，因為人們可以使用沒有人類标簽的資料。不幸的是，因為免費提供的東西很容易提取，它已經被解決了。我在2019年對UL的預測是，研究人員将接受這一新觀點，轉而關注更有價值的研究（即continual或interventional學習）。
3. 元學習僅适用于研究我們對元學習的了解似乎與對無監督學習的了解一樣模糊。如今所實踐的元學習更像是遷移學習。實際上更進階的元學習可以建構和改進自己的模型的。元學習應該能夠建立外推和創造性的學習模型，但我們無法實作這一能力。
任何适用于多領域的學習方法在技術上都是元學習算法。例如，梯度下降、遺傳算法、自我博弈和進化都是元學習算法。元學習方法的目标是開發在許多領域中學習良好的算法。
目前很少存在已知的元學習算法，但是知道存在一種我們不了解的元學習算法，我們不了解人們使用的元學習算法。此外，元學習像無監督學習一樣是一個太普遍的問題，以緻無法了解如何以通用的方式解決，可能天下真的沒有免費的午餐。
我認為有些具體的方法（如生成模型，混合模型和課程訓練）将有更好的機會獲得更有價值的結果，這意味着我們發現的元學習算法僅對特定類型的學習任務有用。就像通過梯度下降學習隻為特定任務加速梯度下降一樣，元學習隻能改善它所見過的任務中的學習。簡而言之，元學習充其量是内插的，不能概括全部，也許不存在通用的元學習方法，而存在一套元學習方法，可以拼湊在一起來産生
有效的課程總之，元學習仍将需要研究。
4. 在科學中的應用生成計算模型我們将可以更好地控制生成模型。這裡有三類已被證明是有效的
生成模型：變分自編碼器、GAN和基于流的生成模型。我希望看到GAN和Flow模型的快速發展以及VAE的進展。我還期望在科學探索中看到這種涉及複雜的自适應系統應用（即天氣、流體模拟、化學和生物學）。這方面的進步将對科學進步産生深遠的影響。
5. 混合模型在預測中的應用深度學習在提供高維系統預測方面發揮出優勢。然而，深度學習仍然無法制定自己的抽象模型，這仍然是解釋性和外推預測的基本障礙。為了補充這些限制，我們将看到混合雙重過程解決方案，它将現有模型與無模型學習相結合。
我覺得使用hand-crafted的模型可以減輕無模型RL的低效率問題。我期待
關系圖網絡的進展，并且當這些圖與先前的基于模型的模型有偏差時，我們會看到令人印象深刻的結果。我還期望通過融合現有的符号算法與DL，來提升預測能力。
DL的産業化将不是因為我們在遷移學習方面取得了進步，而是通過人工模型和DL訓練模型的融合。
6. 更多模仿學習方法模仿不需要外推推理，是以我們将會看到在模仿各種現有系統方面取得的相當大的進展。為了能夠模仿行為，機器隻需要建立一個反映行為的描述性模型。 這比生成模組化更容易，因為生成模組化必須要發現未知的生成限制。生成模型運作良好的原因是它所做的隻是模仿資料而不是推斷生成資料的潛在因果的模型。
7. 更多深度學習內建設計探索我們将看到許多生成模型的研究轉移到現有的設計工具中。它首先出現在視覺領域，并逐漸向其它方向發展。
事實上，我們甚至可以将AlphaGo和AlphaZero的進展視為設計探索。競争性圍棋和國際象棋選手已經開始研究從DeepMind遊戲AI引入的探索政策，來開發以前未被探索過的新政策。
深度學習方法的簡單比對算法和可擴充性将成為可以改善人類所完成設計的頭腦風暴機器，許多深度學習方法現在都內建在Adobe和AutoDesk的産品中。
Style2Paints是與标準桌面應用程式內建的深度學習方法的絕佳示例。
深度學習網絡可以降低人們在工作流中完成任務所需的認知負荷。深度學習允許建立擅長處理更模糊和更混亂的認知細節的工具。這些都需要減少資訊過載，提高召回率，提取文本和更快的決策。
8. 端到端訓練的衰減，未來會注重發展性學習端到端訓練的回報将會減少，我們将看到在不同環境中訓練的網絡來學習專業技能，
将這些方法拼接在一起形成的新方法，來作為更複雜技能的建構塊。我期望在2019年看到課程訓練的進步以及希望看到更多的研究受到
人類嬰兒發展的啟發。訓練網絡執行複雜的任務将涉及複雜的
獎勵設定，是以我們需要改進方法來解決這個問題。
9. 更豐富的自然語言處理嵌入NLP已經在2018年取得了進展，這主要歸功于建立詞嵌入無監督學習方法的進步，2018年NLP的進展可歸功于更先進的神經嵌入（ELMO，BERT）。通過簡單地替換更豐富的嵌入，這些嵌入改進了許多上遊NLP任務，關系圖網絡中的工作可以進一步增強深度學習NLP功能。
Transformer網絡被證明在NLP中非常有價值，我希望它在其他領域繼續采用。我認為ConvNet網絡的主導地位将受到Transformer網絡的挑戰。我的直覺是，與ConvNets可用的固定機制相比，注意力是一種更加通用的機制，用于實施不變性或協方差。
10. 采用控制論和系統思維方法深度學習實踐的一個主要缺點是缺乏對大局的了解。我們正處在需要從更多非傳統來源擷取靈感的時刻，我相信這些來源是以前
控制論及其相關的系統思維學科的研究。我們需要開始考慮如何建構強大的
智能基礎架構和智能擴充。這需要超越目前許多研究人員的機器學習思維。
邁克爾在他的文章“
人工智能 - 革命尚未發生”中評論說，諾伯特維納的控制論已經“主宰目前時代”。控制論和系統思維将幫助我們開發更全面的方法來設計AI系統，成功的人工智能部署最終将與他們如何與人類使用者的需求保持一緻。這将需要探索和制定整合各種互相作用部分的整體方法。
許多更新穎的深度學習方法可以追溯到控制論中的思想。對自主AI需要在其世界模型中包含主觀視角的了解将會增加。預測編碼、
由内到外的體系結構、展現學習、
及時推理、
内在動機 好奇心 自我模型和可操作的表示都在這個範例中相關。
總結深度學習繼續以突破性的速度取得進展，我希望研究可以轉變為工業應用。在當今市場中了解深度學習的普遍缺點是無法為現有問題制定整體解決方案。建立将DL作為一個元件整合到整體中的解決方案的能力将是一種追求的技能。機器學習方法論可能是錯誤的，我們可以在
中可以找到更合适的觀點。我們可能無法在短期内實作AGI，但深度學習可用的工具和方法可作為科學和商業中有價值應用的堅實基礎。
本文由
阿裡雲雲栖社群組織翻譯。
文章原标題《10-predictions-for-deep-learning-in-2019》
譯者：烏拉烏拉，審校：袁虎。
文章為簡譯，更為詳細的内容，檢視請
原文