神經微分方程

神經微分方程（英語：neural differential equation）是機器學習中的一種微分方程，其方程右側項由人工神經網絡的權重$\theta$參數化。神經常微分方程（nerual ordinary differential equation，簡稱neural ODE）是最常見的神經微分方程，可寫作如下形式：

${\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t).$

在經典的神經網絡中，各層是按自然數排序的。而在神經ODE中，各層形成一個由正實數排序的連續體。具體來說，函數$h:\mathbb {R} _{\geq 0}\to \mathbb {R}$將每個正序號t映射為一個實數值，表示神經網絡在該層的狀態。

神經ODE可以理解為連續時間控制系統，其數據插值能力可以用可控制性來解釋。

與殘差神經網絡的關聯

神經ODE可以被視為一種具有連續層而非離散層的殘差神經網絡。將單位時間步長的歐拉方法應用於神經ODE，會得到殘差神經網絡的前向傳播公式：

$\mathbf {h} _{\ell +1}=f_{\theta }(\mathbf {h} _{\ell },\ell )+\mathbf {h} _{\ell },$

其中$\ell$表示該殘差神經網絡的第$\ell$層。在殘差神經網絡中，前向傳播是通過逐層應用一系列變換來實現的，而神經ODE的前向傳播則是由求解微分方程來完成的。具體而言，給定神經ODE的輸入$\mathbf {h} _{\text{in}}$，對應的輸出$\mathbf {h} _{\text{out}}$可以通過求解以下初值問題得到：

${\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t),\quad \mathbf {h} (0)=\mathbf {h} _{\text{in}},$

而$t=T$時的解$\mathbf {h} (T)$即為輸出$\mathbf {h} _{\text{out}}$。

通用微分方程

在已知某些物理信息的情況下，可以將神經ODE與已有的第一性原理模型相結合，構建一個被稱為通用微分方程（universal differential equation，簡稱UDE）的物理信息神經網絡模型。例如，洛特卡-沃爾泰拉模型的UDE版本可寫成以下形式：

${\begin{aligned}{\frac {dx}{dt}}&=\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\{\frac {dy}{dt}}&=-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{aligned}}$

其中$f_{\theta }$和$g_{\theta }$是神經網絡參數化的修正項。

參見

• 物理信息神經網絡