編輯/綠蘿
科學家可能需要幾十年的時間來确定實體定律，從重力如何影響物體，到為什麼能量不能被創造或破壞。
美國普渡大學（Purdue University）的研究人員提出簡約神經網絡（parsimonious neural networks，PNN），将神經網絡與進化優化相結合，以找到平衡精度與簡約的模型，可将實體定律發現的時間縮短到幾天。該研究是使用機器學習從資料中發現實體定律的首批示範之一，該工具可通過 nanoHUB 線上擷取。
該研究以「Parsimonious neural networks learn interpretable physical laws」為題，發表在《Scientific Reports》上。
機器學習（ML）在實體科學中發揮着越來越重要的作用，并且在将領域知識嵌入模型方面取得了重大進展。
在實體科學中使用 ML 的主要缺點之一是，模型通常無法學習「手頭」系統的基本實體特性，例如限制或對稱性，進而限制了它們的泛化能力。此外，大多數 ML 模型缺乏可解釋性。在許多領域，這些限制可以通過大量資料得到補償，但在材料科學等領域，擷取資料既昂貴又耗時，這通常是不可能的。
為了應對這一挑戰，在使用基礎實體學知識來提高模型的準确性和/或減少訓練期間所需的資料量方面取得了進展。
較少探索的是使用 ML 進行科學發現，即從觀測資料中提取實體定律。
在這裡，研究人員提出簡約神經網絡 (PNN)，将神經網絡與進化優化相結合，以找到平衡準确性和簡約性的模型。
以神經網絡為起點，找到簡約神經網絡作為以盡可能最簡單的方式解釋資料的網絡。
通過開發經典力學模型并從基本特性預測材料的熔化溫度，證明了該方法的強大功能和多功能性。
兩個例子
作為第一個例子，考慮在有和沒有摩擦的外部 Lennard Jones (LJ) 勢下粒子的動力學。
前饋神經網絡（FFNN）能夠很好地比對訓練/驗證/測試資料，然而，該網絡的預測能力很差。且這些 FFNN 是不可解釋的。
在确定了 FFNN 的缺點之後，引入了簡約神經網絡 (PNN)。從通用神經網絡開始，并使用遺傳算法找到具有可控簡約性的模型。神經網絡由三個隐藏層和一個輸出層組成，輸出層有兩個值，粒子的位置和速度比輸入提前一個時間步。
起始神經網絡提供了從輸入位置和速度到輸出位置和速度的高度靈活的映射，PNN 力求在再現訓練資料時平衡簡單性和準确性。在此示例中，考慮了四種可能的激活函數：線性、線性整流函數 (relu)、雙曲正切 (tanh) 和指數線性單元 (elu)。
(a) 訓練/驗證/測試集上的 PNN 模型 1 RMSE 與前饋網絡相比 (b) 我們看到 PNN1 和 verlet 積分器之間的能量守恒是可比的（TE：總能量）（c）前向 PNN1 生成的反向軌迹顯示出良好的可逆性 (d) 遺傳算法發現的 PNN 模型 1 的可視化，試圖提前一步預測位置和速度。
由 p = 1 的遺傳優化産生的 PNN 比架構複雜的 FFNN 更準确地再現訓練、驗證和測試資料。值得注意的是，最佳 PNN（PNN1）還具有出色的長期能量守恒和時間可逆性。PNN1 學習了時間可逆性和總能量是一個運動常數。這與實體不可知的 FFNN 甚至像一階歐拉積分這樣的基于實體的簡單模型形成鮮明對比。
在第二個例子中，PNN 學習經典力學，摩擦力與速度成正比，并基于位置 Verlet 方法發現相同的穩定積分器，全部來自觀測資料。
Verlet 風格積分器的出現來自資料顯着。由于其穩定性，該積分器系列是分子動力學模拟的首選。重要的是，研究人員發現了更複雜的模型，它們比 PNN1 更準确地再現資料，但不表現出時間可逆性，也不節約能量。這表明簡約對于學習可以深入了解「手頭」實體系統和通用性的模型至關重要。
優化熔化溫度定律
為了證明 PNN 的多功能性和通用性，研究人員将其應用于從實驗資料中發現熔化定律。目标是從基本的原子和晶體特性預測材料的熔化溫度。
為此，收集了 218 種材料（包括氧化物、金屬和其他單元素晶體）的實驗熔化溫度以及基本實體量。
PNN 發現的熔化定律。（紅點表示著名的林德曼定律，而藍點表示發現的其他模型。黑色虛線表示模型的帕累托前沿，其中一些模型比林德曼定律表現更好，同時也更簡單。樹模型被突出顯示和标記。）
PNN 模型代表了準确性和簡約性之間的各種權衡，從中我們可以定義最佳模型的帕累托前沿。PNN 方法找到了幾個簡單而準确的表達式。最簡單的非平凡關系由 PNN A 給出，它近似熔化溫度與德拜溫度成正比：
這在實體上是有意義的，因為德拜溫度與特征原子振動頻率有關，而更硬和更牢固的鍵往往會導緻更高的德拜溫度和熔化溫度。接下來是複雜性，PNN B 添加了與剪切模量成正比的校正：
這也是實體意義上的，因為剪切剛度與熔化密切相關。PNN 的複雜性略高于 PNN B，發現著名的林德曼熔化定律。
這裡 TD 是材料的德拜溫度，f 和 C 是經驗常數。值得注意的是，這條定律是在 1910 年使用實體直覺推導出來的，它非常接近，但不是在精度-複雜度空間中的最優帕累托前沿。為了完整起見，描述了具有最低 RMS 誤差的模型，PNN C 預測熔化溫度為：
非常有趣的是，該模型将林德曼表達式與德拜溫度和體積（非剪切）模量相結合。考慮到上述表達式，這種組合并不令人驚訝，但此時體積與剪切模量的選擇尚不清楚，應進一步探索。
總之，研究人員提出了能夠從資料中學習可解釋實體模型的簡約神經網絡；重要的是，它們可以提取目前問題的潛在對稱性，并提供實體洞察力。這是通過平衡精度與簡約來實作的，可調節參數用于控制這兩項的相對重要性并生成一系列帕累托最優模型。未來的工作應該探索其他複雜性度量。
工具位址：https://nanohub.org/resources/pnndemo
參考内容：https://techxplore.com/news/2021-12-scientists-physical-laws-faster-machine.html
人工智能×[ 生物 神經科學 數學 實體 材料 ]
「ScienceAI」關注人工智能與其他前沿技術及基礎科學的交叉研究與融合發展。
歡迎關注标星，并點選右下角點贊和在看。