本文轉載自量子位。
羿閣 蕭箫 發自 凹非寺
量子位 | 公衆号 QbitAI
如今深度學習模型開發已經非常成熟，進入大規模應用階段。
然而，在設計模型時，不可避免地會經曆疊代這一過程，它也正是造成模型設計複雜、成本巨高的核心原因，此前通常由經驗豐富的工程師來完成。
之是以疊代過程如此“燒金”，是因為在這一過程中，面臨大量的開放性問題 （open problems）。
這些開放性問題究竟會出現在哪些地方？又要如何解決、能否并行化解決？
現在一篇論文綜述終于對此做出介紹，發出後立刻在網上爆火。
作者嚴謹地參考了接近300篇文獻，對大量應用深度學習中的開放問題進行分析，力求讓讀者一文了解該領域最新趨勢。
網友們紛紛在評論區留言“碼住”、“了解深度學習領域現狀必讀”。
一起來看看内容。
這篇論文要研究什麼？
衆所周知，當我們拿到一個機器學習問題時，通常處理的流程分為以下幾步：收集資料、編寫模型、訓練模型、評估模型、疊代、測試、産品化。
在這篇論文中，作者把上述這些流程比作一個雙層次的最佳化問題。
内層優化回路需要最小化衡量模型效果評估的損失函數，背後是為了尋求最佳模型參數而進行的深入研究的訓練過程。
而外層優化回路的研究較少，包括最大化一個适當選擇的性能名額來評估驗證資料，這正是我們所說的“疊代過程”，也就是追求最優模型超參數的過程。
論文中用數學符号表示如下：
其中，Mval表示一個性能名額，如精度，平均精度等。Ltrain表示損失函數，w表示模型參數。
這樣一來，僅用一個清晰統一的數學公式就能解釋疊代的步驟。
不過，值得注意的是，面對不同的問題，它的解也需要特定分析，有時候情況甚至會非常複雜。
例如，評估度量Mval是一個離散且不可微的函數。它并未被很好地定義，有時候甚至在某些自我監督式和非監督式學習以及生成模型問題中不存在。
同時，你也可能設計了一個非常好的損失函數Ltrain，結果發現它是離散或不可微的，這種情況下它會變得非常棘手，需要用特定方法加以解決。
是以，本篇論文的研究重點就是疊代過程中遇到的各種開放性問題，以及這些問題中可以并行解決優化的部分案例。
開放性問題，不能那麼輕易地隻用一個簡單的“是”、“不是”或者其他一個簡單的詞或數字來回答的問題。
機器學習中開放問題有哪些？
論文将開放性問題類型分為監督學習和其他方法兩大類。
值得一提的是，無論是監督學習還是其他方法，作者都貼心地附上了對應的教程位址：
如果對概念本身還不了解的話，點選就能直接學到他教授的視訊課程，不用擔心有困惑的地方。
首先來看看監督學習。
這裡我們不得不提到AutoML。作為一種用來降低開發過程中疊代複雜度的“偷懶”方法，它目前在機器學習中已經應用廣泛了。
通常來說，AutoML更側重于在監督學習方法中的應用，尤其是圖像分類問題。
畢竟圖像分類可以明确采用精度作為評估名額，使用AutoML非常友善。
但如果同時考慮多個因素，尤其是包括計算效率在内，這些方法是否還能進一步被優化？
在這種情況下，如何提升性能就成為了一類開放性問題，具體又分為以下幾類：
大模型、小模型、模型魯棒性、可解釋AI、遷移學習、語義分割、超分辨率&降噪&着色、姿态估計、光流&深度估計、目标檢測、人臉識别&檢測、視訊&3D模型等。
這些不同的領域也面臨不同的開放性問題。
例如大模型中的學習率并非常數、而是函數，會成為開放問題之一，相比之下小模型卻更考慮性能和記憶體（或計算效率）的權衡這種開放性問題。
其中，小模型通常會應用到物聯網、智能手機這種小型裝置中，相比大模型需求算力更低。
又例如對于目标檢測這樣的模型而言，如何優化不同目标之間檢測的準确度，同樣是一種複雜的開放性問題。
在這些開放性問題中，有不少可以通過并行方式解決。如在遷移學習中，疊代時學習到的特征會對下遊任務可泛化性和可遷移性同時産生什麼影響，就是一個可以并行研究的過程。
同時，并行處理開放性問題面臨的難度也不一樣。
例如基于3D點雲資料同時施行目辨別别、檢測和語義分割，比基于2D圖像的目辨別别、檢測和分割任務更具挑戰性。
再來看看監督學習以外的其他方法，具體又分為這幾類：
自然語言處理（NLP）、多模态學習、生成網絡、域适應、少樣本學習、半監督&自監督學習、語音模型、強化學習、實體知識學習等。
以自然語言處理為例，其中的多任務學習會給模型帶來新的開放性問題。
像經典的BERT模型，本身不具備翻譯能力，是以為了同時提升多種下遊任務性能名額，研究者們需要權衡各種目标函數之間的結果。
又如生成模型中的CGAN（條件GAN），其中像圖像到圖像翻譯問題，即将一張圖檔轉換為另一張圖檔的過程。
這一過程要求将多個獨立損失函數進行權重組合，并讓總損失函數最小化，就又是一個開放性問題。
其他不同的問題和模型，也分别都會在特定應用上遇到不同類型的開放性問題，是以具體問題依舊得具體分析。
經過對各類機器學習領域進行分析後，作者得出了自己的一些看法。
一方面，AI表面上是一種“自動化”的過程，從大量資料中産生自己的了解，然而這其中其實涉及大量的人為操作，有不少甚至是重複行為，這被稱之為“疊代過程”。
另一方面，這些工作雖然能部分通過AutoML精簡，然而AutoML目前隻在圖像分類中有較好的表現，并不意味着它在其他領域任務中會取得成功。
總而言之，應用深度學習中的開放性問題，依舊比許多人想象得要更為複雜。
作者介紹
本篇論文的作者為Maziar Raissi，目前在科羅拉多大學博德分校應用數學系擔任助理教授。
Raissi在馬裡蘭大學帕克分校獲得了應用數學和統計學博士學位，并在布朗大學應用數學系完成了博士後研究，有過在英偉達做進階軟體工程師的工作經曆。
研究方向是機率機器學習、深度學習和資料驅動的科學計算的交叉點，以及大資料分析、經濟學和金融學等等。
論文的連結如下，感興趣的小夥伴們可以自取～
論文位址：
https://arxiv.org/abs/2301.11316