新智元報道
編輯：LRS
【新智元導讀】神經網絡越大越好幾乎已成了共識，但這種想法和傳統的函數拟合理論卻相悖。最近微軟的研究人員在NeurIPS上發表了一篇論文，用數學證明了大規模神經網絡的必要性，甚至應該比預期的網絡規模還大。
當神經網絡的研究方向逐漸轉為超大規模預訓練模型，研究人員的目标似乎變成了讓網絡擁有更大的參數量，更多的訓練資料，更多樣化的訓練任務。
當然，這個措施确實很有效，随着神經網絡越來越大，模型了解和掌握的資料也更多，在部分特定任務上已經超越人類。
但在數學上，現代神經網絡的規模實際上有些過于臃腫了，參數量通常遠遠超過了預測任務的需求，這種情況也被稱為過度參數化（overparameterization）。
NeurIPS上的一篇論文中最近就這一現象提出了一種全新的解釋。他們認為這種比預期規模更大的神經網絡是完全有必要的，隻有這樣才能避免某些基本問題，這篇論文中的發現也為這一問題提供一種更通用的見解。
論文位址：https://arxiv.org/abs/2105.12806
文章的第一作者Sébastien Bubeck在MSR Redmond管理機器學習基礎研究組，主要在機器學習和理論計算機科學中跨越各種主題進行交叉研究。
神經網絡就該這麼大
神經網絡的一項常見任務是識别圖像中的目标對象。
為了建立一個能夠完成該任務的網絡，研究人員首先為其提供許多圖像和對應目标标簽，對其進行訓練以學習它們之間的相關性。之後，網絡将正确識别它已經看到的圖像中的目标。
換句話說，訓練過程使得神經網絡記住了這些資料。
并且，一旦網絡記住了足夠多的訓練資料，它還能夠以不同程度的準确度預測它從未見過的物體的标簽，這個過程稱為泛化。
網絡的大小決定了它能記憶多少東西。
可以用圖形化的空間來了解。假設有兩個資料點，把它們放在一個XY平面上，可以用一條由兩個參數描述的線來連接配接這些點：線的斜率和它與縱軸相交時的高度。如果其他人也知道這條直線的參數，以及其中一個原始資料點的X坐标，他們可以通過觀察這條直線（或使用參數）來計算出相應的Y坐标。
也就是說，這條線已經記住了這兩個資料點，神經網絡做的就是差不多類似的事情。
例如，圖像是由成百上千的數值描述的，每個像素都有一個對應的值。可以把這個由許多自由值組成的集合在數學上相當于高維空間中一個點的坐标，坐标的數量也稱為次元。
傳統的數學結論認為，要用一條曲線拟合n個資料點，你需要一個有n個參數的函數。例如，在直線的例子中，兩個點是由一條有兩個參數的曲線描述的。
當神經網絡在20世紀80年代首次作為一種新模型出現時，研究人員也這麼認為，應該隻需要n個參數來适應n個資料點，而跟資料的次元無關。
德克薩斯大學奧斯汀分校的Alex Dimakis表示，現在實際情況已經不是這樣了，神經網絡的參數數量遠遠超過了訓練樣本的數量，這說明了教科書上的内容必須得重寫進行修正。
研究人員正在研究神經網絡的魯棒性（robustness），即網絡處理小變化的能力。例如，一個不魯棒的網絡可能已經學會了識别長頸鹿，但它會把一個幾乎沒有修改的版本誤标為沙鼠。
2019年，Bubeck和同僚們正在尋求證明關于這個問題的定理，當時他們就意識到這個問題與網絡的規模有關。
在他們的新證明中，研究人員表明，過度參數化對于網絡的魯棒性是必要的。他們提出平滑性（smoothness），來指出需要多少個參數才能用一條具有等同于魯棒性的數學特性的曲線來拟合資料點。
要想了解這一點，可以再次想象平面上的一條曲線，其中x坐标代表一個像素的顔色，y坐标代表一個圖像标簽。
由于曲線是平滑的，如果你稍微修改一下像素的顔色，沿着曲線移動一小段距離，相應的預測值隻會有少量的變化。另一方面，對于一條鋸齒狀的曲線，X坐标（顔色）的微小變化會導緻Y坐标（圖像标簽）的巨大變化，長頸鹿可以變成沙鼠。
Bubeck和Sellke在論文中證明，平滑拟合高維資料點不僅需要n個參數，而且需要n×d個參數，其中d是輸入的次元（例如，784個像素的圖像輸入次元為784）。
換句話說，如果你想讓一個網絡穩健地記住它的訓練資料，過度參數化不僅是有幫助的，而且是必須的。該證明依賴于一個關于高維幾何的事實，即随機分布在球體表面的點幾乎都是彼此相距一個直徑的距離，點與點之間的巨大間隔意味着用一條光滑的曲線來拟合它們需要許多額外的參數。
耶魯大學的Amin Karbasi稱贊論文中的證明是非常簡潔的，沒有大量的數學公式，而且它說的是非常通用的内容。
這一證明結果也為了解為什麼擴大神經網絡的簡單政策如此有效提供了一個新的途徑。
其他研究揭示了過量參數化有幫助的其他原因。例如，它可以提高訓練過程的效率，也可以提高網絡的泛化能力。
雖然我們現在知道過量參數化對魯棒性是必要的，但還不清楚魯棒性對其他事情有多大必要。但通過将其與過度參數化聯系起來，新的證明暗示魯棒性可能比人們想象的更重要，這也可能為其他解釋大模型的益處研究做鋪墊。
魯棒性确實是泛化的一個先決條件，如果你建立了一個系統，隻是輕微地擾動它，然後它就失控了，那是什麼樣的系統？顯然是不合理的。
是以，Bubeck認為這是一個非常基礎和基本的要求。
參考資料：
https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks-do-better-20220210/