知其然，知其是以然。
機器學習領域近年的發展非常迅速，然而我們對機器學習理論的了解還很有限，有些模型的實驗效果甚至超出了我們對基礎理論的了解。
目前，領域内越來越多的研究者開始重視和反思這個問題。近日，一位名為 Aidan Cooper 的資料科學家撰寫了一篇部落格，梳理了模型的實驗結果和基礎理論之間的關系。以下是部落格原文：
機器學習領域中，有些模型非常有效，但我們并不能完全确定其原因。相反，一些相對容易了解的研究領域則在實踐中适用性有限。本文基于機器學習的效用和理論了解，探讨各個子領域的進展。
這裡的「實驗效用」是一種綜合考量，它考慮了一種方法的适用性廣度、實施的難易程度，以及最重要的因素，即現實世界中的有用程度。有些方法不僅實用性高，适用範圍也很廣；而有些方法雖然很強大，但僅限于特定的領域。可靠、可預測且沒有重大缺陷的方法則被認為具有更高的效用。
所謂理論了解，就是要考慮模型方法的可解釋性，即輸入與輸出之間是什麼關系，怎樣才能獲得預期的結果，這種方法的内部機制是什麼，并考量方法涉及文獻的深度和完整性。
理論了解程度低的方法在實作時通常會采用啟發式方法或大量試錯法；理論了解程度高的方法往往具有公式化的實作，具有強大的理論基礎和可預測的結果。較簡單的方法（例如線性回歸）具有較低的理論上限，而更複雜的方法（例如深度學習）具有更高的理論上限。當談到一個領域内文獻的深度和完整性時，則根據該領域假設的理論上限來評估該領域，這在一定程度上依賴于直覺。
我們可以将效用矩陣構造為四個象限，坐标軸的交點代表一個假設的參考領域，具有平均了解和平均效用。這種方法使得我們能夠根據各領域所在的象限以定性的方式解釋它們，如下圖所示，給定象限中的領域可能具有部分或全部該象限對應的特征。
2022 年的機器學習領域
并非上圖所有領域都完全包含在機器學習 (ML) 中，但它們都可以應用于 ML 的語境中或與之密切相關。許多被評估的領域是重疊的，并且無法清晰地描述：強化學習、聯邦學習和圖 ML 的進階方法通常基于深度學習。是以，我考慮了它們理論與實際效用的非深度學習方面。
右上象限：高了解、高效用
線性回歸是一種簡單、易于了解且高效的方法。雖然經常被低估和忽視。，但它的使用廣度和透徹的理論基礎讓其處于圖中右上角的位置。
傳統的機器學習已經發展為一個高度理論了解和實用的領域。複雜的 ML 算法，例如梯度提升決策樹（GBDT），已被證明在一些複雜的預測任務中通常優于線性回歸。大資料問題無疑就是這種情況。可以說，對過參數化模型的理論了解仍然存在漏洞，但實作機器學習是一個精細的方法論過程，隻要做得好，模型在行業内也能可靠地運作。
然而，額外的複雜性和靈活性确實會導緻出現一些錯誤，這就是為什麼我将機器學習放線上性回歸的左側。一般來說，有監督的 機器學習比它的無監督 * 對應物更精細，更有影響力，但兩種方法都有效地解決了不同的問題空間。
貝葉斯方法擁有一群狂熱的從業者，他們宣揚它優于更流行的經典統計方法。在某些情況下，貝葉斯模型特别有用：僅點估計是不夠的，不确定性的估計很重要；當資料有限或高度缺失時；并且當您了解要在模型中明确包含的資料生成過程時。貝葉斯模型的實用性受到以下事實的限制：對于許多問題，點估計已經足夠好，人們隻是預設使用非貝葉斯方法。更重要的是，有一些方法可以量化傳統 ML 的不确定性（它們隻是很少使用）。通常，将 ML 算法簡單地應用于資料會更容易，而不必考慮資料生成機制和先驗。貝葉斯模型在計算上也很昂貴，并且如果理論進步産生更好的采樣和近似方法，那麼它會具有更高的實用性。
右下象限：低了解，高效用
與大多數領域的進展相反，深度學習取得了一些驚人的成功，盡管理論方面被證明從根本上難以取得進展。深度學習展現了一種鮮為人知的方法的許多特征：模型不穩定、難以可靠地建構、基于弱啟發式進行配置以及産生不可預測的結果。諸如随機種子 “調整” 之類的可疑做法非常普遍，而且工作模型的機制也很難解釋。然而，深度學習繼續推進并在計算機視覺和自然語言處理等領域達到超人的性能水準，開辟了一個充滿其他難以了解的任務的世界，如自動駕駛。
假設，通用 AI 将占據右下角，因為根據定義，超級智能超出了人類的了解範圍，可以用于解決任何問題。目前，它僅作為思想實驗包含在内。
每個象限的定性描述。字段可以通過其對應區域中的部分或全部描述來描述
左上象限：高了解，低效用
大多數形式的因果推理不是機器學習，但有時是，并且總是對預測模型感興趣。因果關系可以分為随機對照試驗 (RCT) 與更複雜的因果推理方法，後者試圖從觀察資料中測量因果關系。RCT 在理論上很簡單并給出嚴格的結果，但在現實世界中進行通常既昂貴又不切實際——如果不是不可能的話——是以效用有限。因果推理方法本質上是模仿 RCT，而無需做任何事情，這使得它們的執行難度大大降低，但有許多限制和陷阱可能使結果無效。總體而言，因果關系仍然是一個令人沮喪的追求，其中目前的方法通常不能滿足我們想要提出的問題，除非這些問題可以通過随機對照試驗進行探索，或者它們恰好适合某些架構（例如，作為 “自然實驗” 的偶然結果）。
聯邦學習（FL）是一個很酷的概念，卻很少受到關注 - 可能是因為它最引人注目的應用程式需要分發到大量智能手機裝置，是以 FL 隻有兩個參與者才能真正研究：Apple 和谷歌。FL 存在其他用例，例如彙集專有資料集，但協調這些舉措存在政治和後勤挑戰，限制了它們在實踐中的效用。盡管如此，對于聽起來像是一個奇特的概念（大緻概括為：“将模型引入資料，而不是将資料引入模型”），FL 是有效的，并且在鍵盤文本預測和個性化新聞推薦等領域有切實的成功案例. FL 背後的基本理論和技術似乎足以讓 FL 得到更廣泛的應用。
強化學習（RL）在國際象棋、圍棋、撲克和 DotA 等遊戲中達到了前所未有的能力水準。但在視訊遊戲和模拟環境之外，強化學習還沒有令人信服地轉化為現實世界的應用程式。機器人技術本應成為 RL 的下一個前沿領域，但這并沒有實作——現實似乎比高度受限的玩具環境更具挑戰性。也就是說，到目前為止，RL 的成就是鼓舞人心的，真正喜歡國際象棋的人可能會認為它的效用應該更高。我希望看到 RL 在将其置于矩陣右側之前實作其一些潛在的實際應用。
左下象限：低了解，低效用
圖神經網絡（GNN）現在是機器學習中一個非常熱門的領域，在多個領域都取得了可喜的成果。但是對于其中許多示例，尚不清楚 GNN 是否比使用更傳統的結構化資料與深度學習架構配對的替代方法更好。資料自然是圖結構的問題，例如化學資訊學中的分子，似乎具有更引人注目的 GNN 結果（盡管這些通常不如非圖相關的方法）。與大多數領域相比，用于大規模訓練 GNN 的開源工具與工業中使用的内部工具之間似乎存在很大差異，這限制了大型 GNN 在這些圍牆花園之外的可行性。該領域的複雜性和廣度表明理論上限很高，是以 GNN 應該有成熟的空間并令人信服地展示某些任務的優勢，這将導緻更大的實用性。GNN 也可以從技術進步中受益，因為圖目前不能自然地适用于現有的計算硬體。
可解釋的機器學習（IML）是一個重要且有前途的領域，并繼續受到關注。SHAP 和 LIME 等技術已經成為真正有用的工具來詢問 ML 模型。然而，由于采用有限，現有方法的效用尚未完全實作——尚未建立健全的最佳實踐和實施指南。然而，IML 目前的主要弱點是它沒有解決我們真正感興趣的因果問題。IML 解釋了模型如何進行預測，但沒有解釋基礎資料如何與它們因果關系（盡管經常被錯誤地解釋像這樣）。在取得重大理論進展之前，IML 的合法用途大多僅限于模型調試 / 監控和假設生成。
量子機器學習（QML）遠遠超出我的駕駛室，但目前似乎是一個假設性的練習，耐心等待可行的量子計算機可用。在那之前，QML 微不足道地坐在左下角。
漸進式進步、技術飛躍和範式轉變
領域内主要通過三種主要機制來周遊理論了解與經驗效用矩陣（圖 2）。
字段可以周遊矩陣的方式的說明性示例。
漸進式進展是緩慢而穩定的進展，它在矩陣的右側向上移動英寸場。過去幾十年的監督機器學習就是一個很好的例子，在此期間，越來越有效的預測算法被改進和采用，為我們提供了我們今天喜歡的強大工具箱。漸進式進步是所有成熟領域的現狀，除了由于技術飛躍和範式轉變而經曆更劇烈運動的時期之外。
由于由于技術的飛躍，一些領域看到了科學進步的階梯式變化。* 深度學習 * 領域并沒有被它的理論基礎所解開，這些基礎是在 2010 年代深度學習熱潮之前 20 多年發現的——它是由消費級 GPU 支援的并行處理推動了它的複興。技術飛躍通常表現為沿經驗效用軸向右跳躍。然而，并非所有以技術為主導的進步都是飛躍。今天的深度學習的特點是通過使用更多的計算能力和越來越專業的硬體訓練越來越大的模型來實作漸進式進步。
在這個架構内科學進步的最終機制是範式轉變。正如托馬斯 · 庫恩（Thomas Kuhn）在他的著作《科學革命的結構》中所指出的，範式轉變代表了科學學科的基本概念和實驗實踐的重要變化。Donald Rubin 和 Judea Pearl 開創的因果架構就是這樣一個例子，它将因果關系領域從随機對照試驗和傳統統計分析提升為更強大的數學化學科，形式為因果推理。範式轉變通常表現為了解的向上運動，這可能會跟随或伴随着效用的增加。
然而，範式轉換可以在任何方向上周遊矩陣。當神經網絡（以及随後的深度神經網絡）将自己确立為傳統 ML 的獨立範式時，這最初對應于實用性和了解力的下降。許多新興領域以這種方式從更成熟的研究領域分支出來。
預測和深度學習的科學革命
總而言之，以下是我認為未來可能發生的一些推測性預測（表 1）。右上象限中的字段被省略，因為它們太成熟而看不到重大進展。
表 1：機器學習幾大領域未來進展預測。
然而，比個别領域如何發展更重要的觀察是經驗主義的總體趨勢，以及越來越願意承認全面的理論了解。
從曆史經驗上看，一般是理論（假設）先出現，然後再制定想法。但深度學習引領了一個新的科學過程，颠覆了這一點。也就是說，在人們關注理論之前，方法就有望展示最先進的性能。實證結果為王，理論是可選的。
這導緻了機器學習研究中系統的廣泛博弈，通過簡單地修改現有方法并依靠随機性來超越基線，而不是有意義地推進該領域的理論，進而獲得了最新的最新成果。但也許這就是我們為新一波機器學習繁榮付出的代價。
圖 3：2022 年深度學習發展的 3 個潛在軌迹。
深度學習是否不可逆轉地以結果為導向的過程并将理論了解降級為可選的 2022 年可能是轉折點。我們應該思考如下幾個問題：
理論突破是否會讓我們的了解趕上實用性，并将深度學習轉變為像傳統機器學習一樣更有條理的學科？
現有的深度學習文獻是否足以讓效用無限地增加，僅僅通過擴充越來越大的模型？
或者，一個經驗性的突破會帶領我們進一步深入兔子洞，進入一種增強效用的新範式，盡管我們對這種範式了解得更少？
這些路線中的任何一條都通向通用人工智能嗎？隻有時間能給出答案。