本文内容源自 DATA DRIVEN GOVERNING EQUATIONS APPROXIMATION USING DEEP NEURAL NETWORKS。他的通訊作者為Ohio State University 的 Prof DONGBIN XIU，印象中好像是 JCP 的 Associate Editor。
我們提供了一個使用觀察資料和深度神經網絡來近似未知控制方程的數值架構。特别是，我們建議使用殘差網絡（ResNet）作為方程式逼近的基本建構塊。 我們證明，ResNet塊可以被視為一種在時間積分中精确的單步方法。 然後，我們提出了兩種多步驟的方法，即遞歸ResNet（RT-ResNet）方法和遞歸ReNet（RS-ResNet）方法。 RT-ResNet是統一時間步長的多步方法，而RS-ResNet是使用可變時間步長的自适應多步方法。 本文介紹的所有三種方法均基于基礎動力系統的整體形式。 結果，它們不需要時間導數資料來進行方程式恢複，并且可以應付相對粗略分布的軌迹資料。.
我們考慮一個自制系統
Data driven governing equations approximations using DNN 其中
Data driven governing equations approximations using DNN 是狀态變量， 令
Data driven governing equations approximations using DNN 是流映射，則解可寫成下述形式：
Data driven governing equations approximations using DNN 我們假定
Data driven governing equations approximations using DNN 是未知的。我們的目标是使用解軌迹的資料為控制方程建立一個精确的模型。 特别是，我們假設資料是以成對的形式收集的，每個對都對應于在兩個不同時間執行個體沿着一條軌迹的解狀态。 也就是說，我們考慮
Data driven governing equations approximations using DNN 其中
Data driven governing equations approximations using DNN 是資料對的總數量，對于每個
Data driven governing equations approximations using DNN Data driven governing equations approximations using DNN 這裡
Data driven governing equations approximations using DNN 代表着資料中的噪聲，
Data driven governing equations approximations using DNN 是兩個狀态的時間間隔。
關于 DNN 的結構以及一些基礎知識， 我們不做介紹，隻強調一點，損失函數為 MSE，簡單來說便是
Data driven governing equations approximations using DNN Data driven governing equations approximations using DNN 單步Resnet逼近 從動力系統的角度來看，ResNet可以被視為Euler向前時間積分器（可參見 Weinan E 的文章）， 也就是說
Data driven governing equations approximations using DNN 故給定
Data driven governing equations approximations using DNN 我們定義有效增量（effective increment）為
Data driven governing equations approximations using DNN 比較上式與Resnet式子，我們可知神經網絡的輸出為
Data driven governing equations approximations using DNN 多步 RT-Resnet逼近 我們組合 Resnet 和 RNN 的想法有
Data driven governing equations approximations using DNN 網絡結構如下（注意不是N個Resnet塊，而是單個Resnet塊重複N次，這兩者的差別在于其參數不一樣）
Data driven governing equations approximations using DNN 記
Data driven governing equations approximations using DNN 則此模型可以寫為
Data driven governing equations approximations using DNN 多步 RS-Resnet 逼近 Data driven governing equations approximations using DNN Data driven governing equations approximations using DNN 與RT-Resnet唯一的不同便是這是 k個Resnet， 也就是說，每步的步長
Data driven governing equations approximations using DNN 不一定相同.
