神经微分方程

神经微分方程（英語：neural differential equation）是机器学习中的一种微分方程，其方程右侧项由人工神经网络的权重$\theta$参数化。神经常微分方程（nerual ordinary differential equation，简称neural ODE）是最常见的神经微分方程，可写作如下形式：

${\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t).$

在经典的神经网络中，各层是按自然数排序的。而在神经ODE中，各层形成一个由正实数排序的连续体。具体来说，函数$h:\mathbb {R} _{\geq 0}\to \mathbb {R}$将每个正序号t映射为一个实数值，表示神经网络在该层的状态。

神经ODE可以理解为连续时间控制系统，其数据插值能力可以用可控制性来解释。

与残差神经网络的关联

神经ODE可以被视为一种具有连续层而非离散层的残差神经网络。将单位时间步长的欧拉方法应用于神经ODE，会得到残差神经网络的前向传播公式：

$\mathbf {h} _{\ell +1}=f_{\theta }(\mathbf {h} _{\ell },\ell )+\mathbf {h} _{\ell },$

其中$\ell$表示该残差神经网络的第$\ell$层。在残差神经网络中，前向传播是通过逐层应用一系列变换来实现的，而神经ODE的前向传播则是由求解微分方程来完成的。具体而言，给定神经ODE的输入$\mathbf {h} _{\text{in}}$，对应的输出$\mathbf {h} _{\text{out}}$可以通过求解以下初值问题得到：

${\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t),\quad \mathbf {h} (0)=\mathbf {h} _{\text{in}},$

而$t=T$时的解$\mathbf {h} (T)$即为输出$\mathbf {h} _{\text{out}}$。

通用微分方程

在已知某些物理信息的情况下，可以将神经ODE与已有的第一性原理模型相结合，构建一个被称为通用微分方程（universal differential equation，简称UDE）的物理信息神经网络模型。例如，洛特卡-沃尔泰拉模型的UDE版本可写成以下形式：

${\begin{aligned}{\frac {dx}{dt}}&=\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\{\frac {dy}{dt}}&=-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{aligned}}$

其中$f_{\theta }$和$g_{\theta }$是神经网络参数化的修正项。

参见

• 物理信息神经网络