2020機器學習架構走向大融合！Jeff Dean、PyTorch之父等展望AI大勢

人工智能不再準備有一天改變世界，它正在改變世界。新年伊始，VentureBeat轉向了AI領域最敏銳的頭腦，重新審視了2019年取得的進步，并展望了機器學習在2020年将如何發展。

受訪者包括Google AI負責人Jeff Dean、PyTorch的創始人Soumith Chintala、加州大學教授Celeste Kidd、英偉達機器學習研究總監Anima Anandkumar和IBM研究總監Dario Gil。

每個人對新的一年都有預測，但是這些人正在塑造未來。這些在AI社群中具有權威的人，他們珍視科學追求，他們獲得了實至名歸的榮譽。盡管一些人預測了半監督學習和神經符号方法等子領域的進展，但幾乎所有ML專家都表示同意，2019年，基于Transformer的自然語言模型方面取得了巨大進展，而像面部識别這樣的技術繼續引起争議。相比看到AI領域準确率的提高，他們更希望看到AI的價值。

先總結一下這次AI專家們預測的一些趨勢：

随着Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的一件大事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。

人工智能行業應該尋找方法來評估模型輸出的準确性。

諸如半監督學習，機器學習的神經符号方法之類的方法以及諸如多任務和多模式學習之類的子領域可能會在未來一年取得進展。

與生物統計資料（如語音記錄）相關的倫理挑戰可能會繼續引起争議。

諸如量化之類的編譯器和方法可能會在PyTorch和TensorFlow這些機器學習架構中作為優化模型性能的方式而流行。

PyTorch創始人Soumith Chintala ：機器學習架構走向大融合

PyTorch是當今世界上最受歡迎的機器學習架構。它是2002年問世的Torch開源架構的衍生産品，自2015年釋出以來，其擴充工具和庫均穩步增長。

今年秋天，Facebook釋出了支援量化和TPU的PyTorch 1.3，以及深度學習可解釋性工具Captum和面向移動裝置的PyTorch Mobile。還有諸如PyRobot和PyTorch Hub等其他産品和工具，可用于共享代碼并推進機器學習研究的可重複性。

Chintala在今年秋天在PyTorch開發者大會上曾表示，他認為2019年機器學習領域幾乎沒有突破性進展。

“實際上，我認為自從Transformer架構問世以來，我們基本上沒有什麼開創性的新東西……卷積網絡在2012年就進入了黃金期，而Transformer則是在2017年左右。當然，這是我的個人看法，”他說。

Chintala表示，DeepMind的AlphaGo在強化學習方面的貢獻确實是開創性的，但對于現實世界中的實際任務，很難實作這一結果。Chintala還認為，機器學習架構（如PyTorch和TensorFlow）的發展改變了研究人員的研究思路和方式。

“從某種意義上說，這是一個突破，讓研發速度比以前快了一兩個數量級。”

今年，谷歌和Facebook的開源架構引入了量化功能，以提高模型訓練的速度。在未來的幾年内，Chintala認為PyTorch的JIT編譯器和Glow等神經網絡硬體加速器的重要程度和應用範圍都有望實作“爆炸式增長”。

“有了PyTorch和TensorFlow，目前架構的融合過程已經開始。之是以現在架構推出了量化功能，以及其他一系列較低層級的工具，是因為下一場戰争是架構的編譯器之争。比如XLA，TVM，以及PyTorch的Glow，在接下來的幾年中，深度學習架構的焦點将是如何更智能地實作量化，如何更好地促進架構間的融合，如何更有效地使用GPU，如何為新硬體進行自動編譯等等。”

Chintala預測，AI社群将在2020年之前将更多精力放在AI模型更廣泛意義的性能提升上，不僅僅是精度，也要重視其他因素，比如建立模型所需的能耗、如何解釋模型的輸出、AI如何更好地反映人們想要建立的社會類型。

“回想過去五六年，我們基本上隻是關注準确性，我認為2020年将是我們開始以更複雜的方式思考的一年。”

Jeff Dean ：多模式學習将取得新突破

Jeff Dean上司Google AI已有近兩年時間，他已經在Google工作了二十年，是Google許多早期搜尋和分布式網絡算法的架構師，也是Google Brain的早期成員之一。

Jeff Dean上個月出席NeurIPS 2019，就ASIC半導體設計的機器學習以及AI社群應對氣候變化等話題進行了演講。他預計2020年，多模式學習領域将取得進展，這是一種依靠多種媒體進行訓練的AI，而多任務學習則涉及旨在一次完成多個任務的網絡。

毫無疑問，2019年機器學習最明顯趨勢之一是基于Transformer的自然語言模型的持續壯大。Google于2018年開源了基于Transformer的模型BERT。據GLUE排行榜的資料顯示，今年釋出的許多性能最佳的模型（如Google的XLNet，微軟的MT-DNN，Facebook的RoBERTa）都基于Transformer。XLNet 2将于本月晚些時候釋出。

他表示：“ 我認為目前的研究路線在生成實用機器學習模型方面非常有成果，現在的機器學習模型比過去能夠完成的複雜得多，但未來仍有增長空間。“我們仍然有望建立更多的上下文相關的模型。目前BERT和其他模型可以很好地處理數百個單詞，但不能很好處理帶上下文的10000個單詞。”

Jeff Dean希望今後能夠少強調一些最新技術，而傾向于建構更強大的模型。

Celeste Kidd：2020年可能意味着“神經網絡不可解釋”這一觀念的終結

加州大學伯克利分校的發展心理學家，Kidd實驗室主管

Celeste Kidd與團隊成員在Kidd實驗室探索孩子們如何學習。她們的洞察可以幫助神經網絡的創造者——正試圖用與撫養孩子不太不同的方式來訓練模型。

在人工智能領域，“黑盒”一詞已經存在多年。它被用來批評神經網絡缺乏可解釋性，但Kidd認為2020年可能意味着“神經網絡不可解釋”這一觀念的終結。她說：“黑匣子的論點是虛假的……大腦也是黑匣子，我們在了解大腦如何工作的方面取得了很大進步。”

為了解開對神經網絡的這種認識，Kidd将目光投向了像MIT-IBM Watson AI Lab的執行主任Aude Oliva這樣的人的工作。她說：“我們在讨論這個問題，你可以解剖它們，把它們拆開，看看它們是如何工作的，并對它們進行實驗，就像我們了解認知一樣。”

在2020年，她希望看到人們更多地意識到技術工具和技術決策在現實生活中的影響，并摒棄工具制造商不對人們使用工具的行為負責任的觀點。她說：“我聽到很多人試圖為自己辯護，說他們自己不是真相的主持人；我認為必須提高人們對這種不誠實态度的認識。我們作為社會人，特别是作為正在開發這些工具的人們，确實需要直接意識到随之而來的責任。”

Dario Gil：神經符号和常識推理是MIT-IBM Watson Lab的一項旗艦計劃

IBM研究主管

他預測，在架構的精度降低的情況下使訓練更有效率，會取得持續的進展。開發更有效的AI模型是NeurIPS的一個重點，IBM Research在NeurIPS引入了8位精确模型的深度學習技術。

他說：“我們用現有的硬體和GPU架構訓練深度神經網絡的方式仍然是如此普遍低下。是以，對這此進行真正根本性的反思非常重要。我們必須提高AI的計算效率，這樣才能做得更多。”

Gil引用的研究表明，每三個半月對機器學習訓練的需求就會翻一番，遠遠快于摩爾定律預測的增長速度。Gil還對人工智能如何幫助加速科學發現感到興奮，但IBM的研究将主要集中于機器學習的神經符号方法上。

在2020年，Gil希望人工智能從業者和研究人員把重點放在準确性以外的名額上，以考慮投入生産的模型的價值。将領域轉向建構可信系統，而不是将準确性放在首位，這将是繼續采用人工智能的中心支柱。

Gil相信，要想讓更多具備資料科學和軟體工程技能的人使用人工智能，就必須擺脫這樣一種觀念——隻有少數機器學習的奇才能夠做人工智能。他說：“如果我們把人工智能作為一個神話般的領域，隻對從事這方面研究的博士開放，那麼這并不能真正促進人們對人工智能的使用。”

在未來一年裡，Gil對神經符号人工智能特别感興趣。IBM将尋求神經符号方法來增強機率程式設計等功能——人工智能在其中學習如何操作程式，以及能夠共享決策背後的推理的模型。他認為，通過這些神經符号方法将學習和推理結合起來，其中符号次元嵌入到學習程式中，已經證明可以用所需的一小部分資料來學習。因為學習了一個程式，最終得到了一些可解釋的東西；因為有一些可解釋的東西，又得到了更可信的東西。

公平性、資料完整性、資料集的選擇等問題、“任何與生物識别有關的問題”将繼續受到廣泛關注，也将繼續受到關注。面部識别得到了很多關注，但這隻是個開始。語音資料和其他形式的生物識别技術将會越來越敏感。一切與人的身份、生物特征以及人工智能在分析方面取得的進展，都将繼續是前沿和中心。

除了神經符号和常識推理（MIT-IBM Watson Lab的一項旗艦計劃）外，IBM Research在2020年還将探索AI的量子計算與模拟硬體（超越降低精度的架構）。

Nvidia機器學習研究總監Anima Anandkumar：希望看到更多針對特定行業的文本模型

Anandkumar加入了GPU制造商Nvidia，此前她在AWS擔任首席科學家。在英偉達，人工智能研究在多個領域繼續進行，從醫療保健的聯合學習到自動駕駛、超級計算機和圖形學。

英偉達和Anandkumar在2019年的一個重點領域是強化學習的模拟架構，該架構正變得越來越受歡迎和成熟。

在2019年，我們看到了英偉達的自動駕駛平台和Isaac機器人模拟平台的興起，以及從模拟和生成對抗網絡生成合成資料的模型。

去年還迎來了AI的興起，例如StyleGAN（一種可以使人們質疑自己是看的是計算機生成的人臉還是真實的人的技術）和GauGAN（可以用畫筆生成風景）。StyleGAN2 上個月首次亮相。

GAN是可以模糊現實界限的技術，Anandkumar認為，它們可以幫助AI社群解決一些主要的挑戰，例如能抓握的機器人手和自動駕駛。

Anandkumar還希望在未來一年内看到疊代算法、自監督和訓練模型的自訓練方法的進展，這些模型可以通過使用未标記的資料進行自訓練來改進。

在2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數，被譽為全球最大的基于Transformer的AI模型。Anandkumar說，她對人們開始将模型表征為具有個性或字元的方式感到驚訝，并且她希望看到更多針對特定行業的文本模型。

(轉自：

https://mp.weixin.qq.com/s/NwlVzJN9h3xLD4So7l-XqQ

如有侵權，請聯系删除)