ecuación diferencial neuronal

Las ecuaciones diferenciales neuronales son una clase de modelos en aprendizaje automático que combinan redes neuronales con el marco matemático de las ecuaciones diferenciales . ^{[ 1 ]} Estos modelos proporcionan un enfoque alternativo para el diseño de redes neuronales, particularmente para sistemas que evolucionan con el tiempo o a través de transformaciones continuas.

El tipo más común, una ecuación diferencial ordinaria neuronal (EDO neuronal) , define la evolución del estado de un sistema utilizando una ecuación diferencial ordinaria cuya dinámica está regida por una red neuronal:$${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t).}$$En esta formulación, los parámetros de la red neuronal θ determinan cómo cambia el estado en cada instante de tiempo. ^{[ 1 ]} Este enfoque contrasta con las redes neuronales convencionales , donde la información fluye a través de capas discretas indexadas por números naturales . Las EDO neuronales, en cambio, utilizan capas continuas indexadas por números reales positivos , donde la función${\displaystyle h:\mathbb {R} _{\geq 0}\to \mathbb {R} }$representa el estado de la red en cualquier profundidad de capa dada t .

Las EDO neuronales pueden entenderse como sistemas de control de tiempo continuo , donde su capacidad para interpolar datos puede interpretarse en términos de controlabilidad . ^{[ 2 ]} Han encontrado aplicaciones en el análisis de series temporales , el modelado generativo y el estudio de sistemas dinámicos complejos .

Las EDO neuronales pueden interpretarse como una red neuronal residual con un continuo de capas en lugar de un número discreto de capas. ^{[ 1 ]} Al aplicar el método de Euler con un paso de tiempo unitario a una EDO neuronal, se obtiene la ecuación de propagación hacia adelante de una red neuronal residual:

$${\displaystyle \mathbf {h} _{\ell +1}=f_{\theta }(\mathbf {h} _{\ell },\ell )+\mathbf {h} _{\ell },}$$

donde ℓ es la capa ℓ de esta red neuronal residual. Mientras que la propagación hacia adelante de una red neuronal residual se realiza aplicando una secuencia de transformaciones que comienzan en la capa de entrada, el cálculo de la propagación hacia adelante de una EDO neuronal se realiza resolviendo una ecuación diferencial. Más precisamente, la salida${\displaystyle \mathbf {h} _{\text{out}}}$asociado a la entrada${\displaystyle \mathbf {h} _{\text{en}}}$La ecuación diferencial ordinaria neuronal se obtiene resolviendo el problema de valor inicial.

$${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t),\quad \mathbf {h} (0)=\mathbf {h} _{\text{in}},}$$

y asignando el valor${\displaystyle \mathbf {h} (T)}$a${\displaystyle \mathbf {h} _{\text{out}}}$.

En contextos informados por la física donde se conoce información adicional, las EDO neuronales se pueden combinar con un modelo existente de primeros principios para construir un modelo de red neuronal informado por la física llamado ecuaciones diferenciales universales (EDU). ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ]} Por ejemplo, una versión EDU del modelo de Lotka-Volterra se puede escribir como ^{[ 7 ]}

$${\displaystyle {\begin{aligned}{\frac {dx}{dt}}&=\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\{\frac {dy}{dt}}&=-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{aligned}}}$$

donde los términos${\displaystyle f_{\theta }}$y${\displaystyle g_{\theta }}$son términos de corrección parametrizados por redes neuronales.

• Redes neuronales basadas en la física

• Conferencia de Steve Brunton sobre ecuaciones diferenciales ordinarias neuronales.