西風 發自 凹非寺
量子位 | 公衆号 QbitAI
自Ilya Sutskever官宣離職OpenAI後，他的下一步動作成了大家關注焦點。
甚至有人密切關注着他的一舉一動。
這不，Ilya前腳剛剛點贊❤️了一篇新論文——
——網友們後腳就搶着都看上了：
論文來自MIT，作者提出了一個假說，用一句話總結是這樣嬸兒的：
神經網絡在不同的資料和模态上以不同目标進行訓練，正趨向于在其表示空間中形成一個共享的現實世界統計模型。
他們将這種推測起名為柏拉圖表示假說，參考了柏拉圖的洞穴寓言以及其關于理想現實本質的觀念。
Ilya甄選還是有保障的，有網友看過後将其稱為是今年看到的最好的論文：
還有網友真的有才，看完後化用《安娜·卡列尼娜》開篇的一句話來總結：所有幸福的語言模型都是相似的，每個不幸的語言模型都有自己的不幸。
化用懷特海名言：所有機器學習都是柏拉圖的注腳。
俺們也來看了一下，大概内容是：
作者分析了AI系統的表征收斂（Representational Convergence），即不同神經網絡模型中的資料點表征方式正變得越來越相似，這種相似性跨不同的模型架構、訓練目标乃至資料模态。
是什麼推動了這種收斂？這種趨勢會持續下去嗎？它的最終歸宿在哪裡？
經過一系列分析和實驗，研究人員推測這種收斂确實有一個終點，并且有一個驅動原則：不同模型都在努力達到對現實的準确表征。
一張圖來解釋：
其中圖像（X）和文本（Y）是共同底層現實（Z）的不同投影。研究人員推測，表征學習算法将收斂到對Z的統一表征上，而模型規模的增加、資料和任務的多樣性是推動這種收斂的關鍵因素。
隻能說，不愧是Ilya感興趣的問題，太深奧了，俺們也不太懂，下面請AI幫忙解讀了一下給大家分享～
表征收斂的證據
首先，作者分析了大量先前的相關研究，同時也自己上手做了實驗，拿出了一系清單征收斂的證據，展示了不同模型的收斂、規模與性能、跨模态的收斂。
Ps：這項研究重點關注向量嵌入表征，即資料被轉化成向量形式，通過核函數描述資料點之間的相似性或距離。文中“表征對齊”概念，即如果兩種不同的表征方法揭示了類似的資料結構，那麼這兩種表征被視為是對齊的。
1、不同模型的收斂，不同架構和目标的模型在底層表示上趨于一緻。
目前基于預訓練基礎模型建構的系統數量逐漸增加，一些模型正成為多任務的标準核心架構。這種在多種應用上的廣泛适用性展現了它們在資料表征方式上具有一定通用性。
雖然這種趨勢表明AI系統正朝着一組較小的基礎模型集合收斂，但并不能證明不同的基礎模型會形成相同的表征。
不過，最近一些與模型拼接（model stitching）相關的研究發現，即使在不同資料集上訓練，圖像分類模型的中間層表征也可以很好地對齊。
比如有研究發現，在ImageNet和Places365資料集上訓練的卷積網絡的早期層可以互換，表明它們學習到了相似的初始視覺表征。還有研究發現了大量“羅塞塔神經元”（Rosetta Neurons），即在不同視覺模型中被激活的模式高度相似的神經元……
2、模型規模和性能越大，表征對齊程度越高。
研究人員在Places-365資料集上使用互相最近鄰方法衡量了78個模型的對齊情況，并評估了它們在視覺任務适應基準VTAB的下遊任務表現。
結果發現，泛化能力更強的模型叢集之間的表征對齊度明顯更高。
之前還有研究觀察到，較大模型之間的CKA核心對齊度更高。在理論上也有研究證明了輸出性能相似的模型内部激活也必然相似。
3、不同模态的模型表征收斂。
研究人員在維基百科圖像資料集WIT上使用互相最近鄰方法來測量對齊度。
結果揭示了語言-視覺對齊度與語言模組化分數之間存線上性關系，一般趨勢是能力更強的語言模型與能力更強的視覺模型對齊得更好。
4、模型與大腦表征也顯示出一定程度的一緻性，可能由于面臨相似的資料和任務限制。
2014年就有研究發現，神經網絡的中間層激活與大腦視覺區的激活模式高度相關，可能是由于面臨相似的視覺任務和資料限制。
此後有研究進一步發現，使用不同訓練資料會影響大腦和模型表征的對齊程度。心理學研究也發現人類感覺視覺相似性的方式與神經網絡模型高度一緻。
5、模型表征的對齊程度與下遊任務的性能呈正相關。
研究人員使用了兩個下遊任務來評估模型的性能：Hellaswag（常識推理）和GSM8K（數學）。并使用DINOv2模型作為參考，來衡量其他語言模型與視覺模型的對齊程度。
實驗結果顯示，與視覺模型對齊程度更高的語言模型在Hellaswag和GSM8K任務上的性能也更好。可視化結果顯示，對齊程度與下遊任務性能之間存在明顯的正相關。
之前的研究這裡就不展開說了，感興趣的家人們可檢視原論文。
收斂的原因
接着，研究團隊通過理論分析和實驗觀察，提出了表征收斂的潛在原因，并讨論了這些因素如何共同作用，導緻不同模型在表示現實世界時趨于一緻。
機器學習領域，模型的訓練目标需減少在訓練資料上的預測誤差。為了防止模型過拟合，通常會在訓練過程中加入正則化項。正則化可以是隐式，也可以是顯式。
研究人員在這部分闡述了這個優化過程中，下圖每個彩色部分如何可能在促進表征收斂中發揮作用。
1、任務通用性導緻收斂（Convergence via Task Generality）
随着模型被訓練來解決更多任務，它們需要找到能夠滿足所有任務需求的表征：
能夠勝任N個任務的表征數量少于能夠勝任M個（M < N）任務的表征數量。是以，當訓練能同時解決多個任務的更通用模型時，可行的解決方案将會減少。
此前也有過過類似的原理被提出，圖解是這樣嬸兒的：
而且，容易的任務有多種解決方案，而困難的任務解決方案較少。是以，随着任務難度的增加，模型的表征趨于收斂到更優的、數量更少的解決方案上。
2、模型容量導緻收斂（Convergence via Model Capacity）
研究人員指出了容量假設，如果存在一個全局最優的表征，那麼在資料足夠的條件下，更大的模型更有可能逼近這個最優解。
是以，使用相同訓練目标的較大模型，無論其架構如何，都會趨向于這一最優解的收斂。當不同的訓練目标有相似的最小值時，較大的模型更能有效地找到這些最小值，并在各訓練任務中趨于相似的解決方案。
圖解是這樣嬸兒的：
3、簡單性偏差導緻收斂（Convergence via Simplicity Bias）
關于收斂的原因，研究人員還提出了一種假設。深度網絡傾向于尋找資料的簡單拟合，這種内在的簡單性偏差使得大模型在表示上趨于簡化，進而導緻收斂。
也就是說，較大的模型擁有更廣泛的覆寫範圍，能夠以所有可能的方式拟合相同的資料。然而，深度網絡的隐性簡單性偏好鼓勵較大的模型找到這些解決方案中最簡單的一個。
收斂的終點
經過一系列分析與實驗，如開頭所述，研究人員提出了柏拉圖表示假說，推測了這種收斂的終點。
即不同的AI模型，盡管在不同的資料和目标上訓練，它們的表示空間正在收斂于一個共同的統計模型，這個模型代表了生成我們觀察到的資料的現實世界。
他們首先建構了一個理想化的離散事件世界模型。該世界包含一系列離散事件Z，每個事件都是從某未知分布P(Z)中采樣得到的。每個事件可以通過觀測函數obs以不同方式被觀測，如像素、聲音、文字等。
接下來，作者考慮了一類對比學習算法，這類算法試圖學習一個表征fX，使得fX(xa)和fX(xb)的内積近似于xa和xb作為正樣本對（來自臨近觀測）的對數odds與作為負樣本對（随機采樣）的對數odds之比。
經過數學推導，作者發現如果資料足夠平滑，這類算法将收斂到一個核函數是xa和xb的點互資訊（PMI）核的表征fX。
由于研究考慮的是一個理想化的離散世界，觀測函數obs是雙射的，是以xa和xb的PMI核等于相應事件za和zb的PMI核。
這就意味着，無論是從視覺資料X還是語言資料Y中學習表征，最終都會收斂到表示P(Z)的相同核函數，即事件對之間的PMI核。
研究人員通過一個關于顔色的實證研究來驗證這一理論。無論是從圖像的像素共現統計中還是從文本的詞語共現統計中學習顔色表征，得到的顔色距離都與人類感覺相似，并且随着模型規模增大，這種相似性也越來越高。
這符合了理論分析，即更大的模型能力可以更準确地模組化觀測資料的統計量，進而得到更接近理想事件表征的PMI核。
最後的一些思考
論文最後，作者總結了表征收斂對AI領域和未來研究方向的潛在影響，以及柏拉圖式表征假設的潛在限制和例外情況。
他們指出，随着模型規模的增加，表示的收斂可能會帶來的影響包括但不限于：
- 雖然簡單擴大規模可以提高性能，但不同方法在擴充效率上存在差異。
- 如果存在模态無關的柏拉圖式表征，那麼不同模态的資料應當被聯合訓練以找到這種共享表征。這解釋了為什麼将視覺資料加入語言模型訓練是有益的，反之亦然。
- 對齊的表征之間的轉換應相對簡單，這可能解釋了：有條件生成比無條件生成更容易、無配對資料也可實作跨模态轉換。
- 模型規模擴大可能會減少語言模型的虛構内容傾向和某些偏差，使其更準确反映訓練資料中的偏差，而非加劇偏差。
作者強調，上述影響的前提是，未來模型的訓練資料要足夠多樣和無損，才能真正收斂到反映實際世界統計規律的表征。
同時，作者也表示，不同模态的資料可能包含獨特的資訊，可能導緻即使在模型規模增加的情況下，也難以實作完全的表示收斂。此外，目前并非所有表征都在收斂，例如機器人領域還沒有标準化的狀态表征方式。研究者和社群的偏好可能導緻模型向人類表征方式收斂，進而忽略了其他可能的智能形式。
而且專門設計用于特定任務的智能系統，可能不會與通用智能收斂到相同的表征。
作者還強調了測量表示對齊的方法存在争議，不同的度量方法可能會導緻不同的結論。即使不同模型的表征相似，但還有差距有待解釋，目前無法确定這種差距是否重要。
更多細節及論證方法，給大噶把論文放這兒了～
論文連結：https://arxiv.org/abs/2405.07987
參考連結：
[1]https://x.com/phillip_isola/status/1790488966308769951
[2]https://x.com/bayeslord/status/1790868039224688998
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态