núcleo tangente neuronal

Los métodos de kernel son algoritmos de aprendizaje automático que utilizan únicamente relaciones por pares entre puntos de entrada. Los métodos de kernel no dependen de los valores concretos de las entradas; solo dependen de las relaciones entre las entradas y otras entradas (como el conjunto de entrenamiento). Estas relaciones por pares se capturan completamente mediante la función de kernel: una función simétrica , semidefinida positiva de dos entradas que representa alguna noción de similitud entre las dos entradas. Una condición totalmente equivalente es que exista algún mapa de características tal que la función de kernel se pueda escribir como un producto escalar de las entradas mapeadas. Las propiedades de un método de kernel dependen de la elección de la función de kernel. (Tenga en cuenta que puede tener una dimensión mayor que .) Como ejemplo relevante, considere la regresión lineal . Esta es la tarea de estimar dadas muestras generadas a partir de , donde cada se extrae de acuerdo con alguna distribución de datos de entrada. En esta configuración, es el vector de pesos que define la función verdadera ; deseamos utilizar las muestras de entrenamiento para desarrollar un modelo que aproxime . Lo hacemos minimizando el error cuadrático medio entre nuestro modelo y las muestras de entrenamiento: Existe una solución explícita que minimiza el error cuadrático: , donde es la matriz cuyas columnas son las entradas de entrenamiento y es el vector de salidas de entrenamiento. Entonces, el modelo puede hacer predicciones sobre nuevas entradas: .${\displaystyle {\mathbf {x}}\mapsto \psi ({\mathbf {x}})}$$${\displaystyle K({\mathbf {x} },{\mathbf {x} }')=\psi ({\mathbf {x} })\cdot \psi ({\mathbf {x} }').}$$${\displaystyle \psi ({\mathbf {x}})}$${\displaystyle \mathbf {x} }$${\displaystyle {\mathbf {w}}^{*}}$${\displaystyle N}$${\displaystyle ({\mathbf {x}}_{i},y_{i})}$${\displaystyle y^{*}({\mathbf {x}})={\mathbf {w}}^{*}\cdot {\mathbf {x}}}$${\displaystyle \mathbf {x} _ {i}}$${\displaystyle {\mathbf {w}}^{*}}$${\displaystyle y^{*}}$${\displaystyle \mathbf {\hat {w}} }$${\displaystyle {\mathbf {w}}^{*}}$$${\displaystyle {\mathbf {\hat {w}} }=\arg \min _{\mathbf {w} }{\frac {1}{N}}\sum _{i=0}^{N}||y^{*}({\mathbf {x} }_{i})-{\mathbf {w} }\cdot {\mathbf {x} }_{i}||^{2}}$$${\displaystyle \mathbf {\hat {w}} }$${\displaystyle {\mathbf {\hat {w}}}=({\mathbf {X}}{\mathbf {X}}^{T})^{-1}{\mathbf {X}}{\mathbf {y}}}$${\displaystyle {\mathbf {X}}}$${\displaystyle {\mathbf {y}}}$${\displaystyle {\hat {y}}({\mathbf {x}})={\mathbf {\hat {w}}}\cdot {\mathbf {x}}}$

Sin embargo, este resultado puede reescribirse como: . ^{[ 8 ]} Nótese que esta solución dual se expresa únicamente en términos de los productos internos entre las entradas. Esto motiva extender la regresión lineal a entornos en los que, en lugar de tomar directamente productos internos entre las entradas, primero transformamos las entradas de acuerdo con un mapa de características elegido y luego evaluamos los productos internos entre las entradas transformadas. Como se discutió anteriormente, esto puede capturarse mediante una función kernel , ya que todas las funciones kernel son productos internos de entradas mapeadas con características. Esto produce el estimador de regresión kernel sin cresta: Si la matriz kernel es singular , se utiliza la pseudoinversa de Moore-Penrose . Las ecuaciones de regresión se denominan "sin cresta" porque carecen de un término de regularización de cresta .${\displaystyle {\hat {y}}({\mathbf {x}})=({\mathbf {x}}^{T}{\mathbf {X}})({\mathbf {X}}^{T}{\mathbf {X}})^{-1}{\mathbf {y}}}$${\displaystyle K({\mathbf {x}},{\mathbf {x}}')}$$${\displaystyle {\hat {y}}({\mathbf {x}})=K({\mathbf {x}},{\mathbf {X}})\;K({\mathbf {X}},{\mathbf {X}})^{-1}\;{\mathbf {y}}.}$$${\displaystyle K({\mathbf {X}},{\mathbf {X}})}$

Desde esta perspectiva, la regresión lineal es un caso especial de regresión kernel con el mapa de características identidad: . De forma equivalente, la regresión kernel es simplemente una regresión lineal en el espacio de características (es decir, el rango del mapa de características definido por el kernel elegido). Cabe destacar que la regresión kernel suele ser una regresión no lineal en el espacio de entrada, lo cual constituye una gran ventaja del algoritmo.${\displaystyle \psi ({\mathbf {x}})={\mathbf {x}}}$

Así como es posible realizar una regresión lineal utilizando algoritmos de optimización iterativos como el descenso de gradiente, también se puede realizar una regresión kernel utilizando el descenso de gradiente kernel. Esto equivale a realizar un descenso de gradiente en el espacio de características. Se sabe que si el vector de pesos se inicializa cerca de cero, el descenso de gradiente por mínimos cuadrados converge a la solución de norma mínima, es decir, el vector de pesos final tiene la norma euclidiana mínima de todas las soluciones de interpolación. De la misma manera, el descenso de gradiente kernel produce la solución de norma mínima con respecto a la norma RKHS . Este es un ejemplo de la regularización implícita del descenso de gradiente.

El NTK establece una conexión rigurosa entre la inferencia realizada por redes neuronales artificiales (RNA) de ancho infinito y la realizada por métodos de kernel : cuando la función de pérdida es la pérdida de mínimos cuadrados , la inferencia realizada por una RNA es, en promedio, igual a la regresión de kernel sin cresta con respecto al NTK. Esto sugiere que el rendimiento de las RNA grandes en la parametrización NTK puede replicarse mediante métodos de kernel para kernels elegidos adecuadamente. ^{[ 1 ] [ 2 ]}

En los modelos sobreparametrizados, el número de parámetros ajustables supera el número de muestras de entrenamiento. En este caso, el modelo es capaz de memorizar (ajustarse perfectamente) a los datos de entrenamiento. Por lo tanto, los modelos sobreparametrizados interpolan los datos de entrenamiento, logrando un error de entrenamiento prácticamente nulo. ^{[ 9 ]}

La regresión kernel se suele considerar un algoritmo de aprendizaje no paramétrico, ya que no hay parámetros explícitos que ajustar una vez elegida la función kernel. Otra perspectiva consiste en recordar que la regresión kernel es simplemente una regresión lineal en el espacio de características, por lo que el número "efectivo" de parámetros es la dimensión de dicho espacio. Por lo tanto, el estudio de kernels con mapas de características de alta dimensión puede aportar información valiosa sobre modelos con un exceso de parámetros.

Como ejemplo, consideremos el problema de la generalización. Según la estadística clásica, la memorización debería hacer que los modelos se ajusten a señales ruidosas en los datos de entrenamiento, perjudicando su rendimiento en datos no vistos. Para mitigar esto, los algoritmos de aprendizaje automático a menudo introducen regularización para mitigar las tendencias de ajuste al ruido. Sorprendentemente, las redes neuronales modernas (que tienden a estar fuertemente sobreparametrizadas) parecen generalizar bien, incluso en ausencia de regularización explícita. ^{[ 9 ] [ 10 ]} Para estudiar las propiedades de generalización de las redes neuronales sobreparametrizadas, se puede explotar la dualidad de ancho infinito con regresión de núcleo sin cresta. Trabajos recientes ^{[ 11 ] [ 12 ] [ 13 ]} han derivado ecuaciones que describen el error de generalización esperado de la regresión de núcleo de alta dimensión; estos resultados explican inmediatamente la generalización de redes neuronales suficientemente anchas entrenadas para converger en mínimos cuadrados.

Para una función de pérdida convexa con un mínimo global , si el NTK permanece definido positivo durante el entrenamiento, la pérdida de la ANN converge a ese mínimo cuando . Esta propiedad de definición positiva se ha demostrado en varios casos, proporcionando las primeras pruebas de que las ANN de gran ancho convergen a mínimos globales durante el entrenamiento. ^{[ 1 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ]}${\displaystyle {\mathcal {C}}}$${\displaystyle {\mathcal {C}}\left(f\left(\cdot$ ;\theta \left(t\right)\right)\right)} ${\displaystyle t\to \infty }$

Una ANN con salida escalar consta de una familia de funciones parametrizadas por un vector de parámetros .${\displaystyle f\left(\cdot ,\theta \right):\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} }$${\displaystyle \theta \in \mathbb {R} ^{P}}$

El NTK es un kernel definido por En el lenguaje de los métodos de kernel , el NTK es el kernel asociado con el mapa de características . Para ver cómo este kernel impulsa la dinámica de entrenamiento de la ANN, considere un conjunto de datos con etiquetas escalares y una función de pérdida . Entonces, la pérdida empírica asociada, definida en funciones , viene dada por Cuando la ANN se entrena para ajustarse al conjunto de datos (es decir, minimizar ) mediante descenso de gradiente en tiempo continuo, los parámetros evolucionan a través de la ecuación diferencial ordinaria :${\displaystyle \Theta$ :\mathbb {R} ^{n_{\mathrm {in} }}\times \mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} } $${\displaystyle \Theta \left(x,y;\theta \right)=\sum _{p=1}^{P}\partial _{\theta _{p}}f\left(x;\theta \right)\partial _{\theta _{p}}f\left(y;\theta \right).}$$${\displaystyle \Theta }$${\displaystyle \left(x\mapsto \partial _{\theta _{p}}f\left(x;\theta \right)\right)_{p=1,\ldots ,P}}$${\displaystyle \left(x_{i}\right)_{i=1,\ldots ,n}\subset \mathbb {R} ^{n_{\mathrm {in} }}}$${\displaystyle \left(z_{i}\right)_{i=1,\ldots ,n}\subset \mathbb {R} }$${\displaystyle c:\mathbb {R} \times \mathbb {R} \to \mathbb {R} }$${\displaystyle f:\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} }$$${\displaystyle {\mathcal {C}}\left(f\right)=\sum _{i=1}^{n}c\left(f\left(x_{i}\right),z_{i}\right).}$$${\displaystyle f\left(\cdot$ ;\theta \right):\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} } ${\displaystyle {\mathcal {C}}}$${\displaystyle \left(\theta \left(t\right)\right)_{t\geq 0}}$

$${\displaystyle \partial _{t}\theta \left(t\right)=-\nabla {\mathcal {C}}\left(f\left(\cdot$$ ;\theta \right)\right).}

Durante el entrenamiento, la función de salida de la ANN sigue una ecuación diferencial de evolución dada en términos del NTK:

${\displaystyle \partial _{t}f\left(x;\theta \left(t\right)\right)=-\sum _{i=1}^{n}\Theta \left(x,x_{i};\theta \right)\partial _{w}c\left(w,z_{i}\right){\Big |}_{w=f\left(x_{i};\theta \left(t\right)\right)}.}$

Esta ecuación muestra cómo el NTK impulsa la dinámica en el espacio de funciones durante el entrenamiento.${\displaystyle f\left(\cdot$ ;\theta \left(t\right)\right)} ${\displaystyle \mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} }$

Una ANN con salida vectorial de tamaño consiste en una familia de funciones parametrizadas por un vector de parámetros .${\displaystyle n_{\mathrm {out} }}$${\displaystyle f\left(\cdot$ ;\theta \right):\mathbb {R} ^{n_{\mathrm {in} }}\to \mathbb {R} ^{n_{\mathrm {out} }}} ${\displaystyle \theta \in \mathbb {R} ^{P}}$

En este caso, el NTK es un kernel con valores matriciales , con valores en el espacio de matrices, definido por La minimización del riesgo empírico procede como en el caso escalar, con la diferencia de que la función de pérdida toma entradas vectoriales . El entrenamiento de a través del descenso de gradiente en tiempo continuo produce la siguiente evolución en el espacio de funciones impulsada por el NTK: Esto generaliza la ecuación mostrada en el caso 1 para salidas escalares.${\displaystyle \Theta$ :\mathbb {R} ^{n_{\mathrm {in} }}\times \mathbb {R} ^{n_{\mathrm {in} }}\to {\mathcal {M}}_{n_{\mathrm {out} }}\left(\mathbb {R} \right)} ${\displaystyle n_{\mathrm {out} }\times n_{\mathrm {out} }}$$${\displaystyle \Theta _{k,l}\left(x,y;\theta \right)=\sum _{p=1}^{P}\partial _{\theta _{p}}f_{k}\left(x;\theta \right)\partial _{\theta _{p}}f_{l}\left(y;\theta \right).}$$${\displaystyle c:\mathbb {R} ^{n_{\mathrm {out} }}\times \mathbb {R} ^{n_{\mathrm {out} }}\to \mathbb {R} }$${\displaystyle f_{\theta \left(t\right)}}$$${\displaystyle \partial _{t}f_{k}\left(x;\theta \left(t\right)\right)=-\sum _{i=1}^{n}\sum _{l=1}^{n_{\mathrm {out} }}\Theta _{k,l}\left(x,x_{i};\theta \right)\partial _{w_{l}}c\left(\left(w_{1},\ldots ,w_{n_{\mathrm {out} }}\right),z_{i}\right){\Big |}_{w=f\left(x_{i};\theta \left(t\right)\right)}.}$$

Cada punto de datos influye en la evolución de la salida para cada entrada a lo largo del entrenamiento. Más concretamente, con respecto al ejemplo , el valor NTK determina la influencia del gradiente de pérdida en la evolución de la salida de la ANN a través de un paso de descenso de gradiente. En el caso escalar, esto se lee:${\displaystyle x_{i}}$${\displaystyle f\left(x;\theta \right)}$${\displaystyle x}$${\displaystyle i}$${\displaystyle \Theta \left(x,x_{i};\theta \right)}$${\displaystyle \partial _{w}c\left(w,z_{i}\right){\big |}_{w=f\left(x_{i};\theta \right)}}$${\displaystyle f\left(x;\theta \right)}$$${\displaystyle f\left(x;\theta \left(t+\epsilon \right)\right)-f\left(x;\theta \left(t\right)\right)\approx \epsilon \sum _{i=1}^{n}\Theta \left(x,x_{i};\theta \left(t\right)\right)\partial _{w}c\left(w,z_{i}\right){\big |}_{w=f\left(x_{i};\theta \right)}.}$$

Consideremos una ANN con capas totalmente conectadas de anchos , de modo que , donde es la composición de una transformación afín con la aplicación puntual de una no linealidad , donde parametriza los mapas . Los parámetros se inicializan aleatoriamente, de forma independiente e idénticamente distribuida .${\displaystyle \ell =0,\ldots ,L}$${\displaystyle n_{0}=n_{\mathrm {in} },n_{1},\ldots ,n_{L}=n_{\mathrm {out} }}$${\displaystyle f\left(\cdot$ ;\theta \right)=R_{L-1}\circ \cdots \circ R_{0}} ${\displaystyle R_{\ell }=\sigma \circ A_{\ell }}$${\displaystyle A_{i}}$${\displaystyle \sigma$ :\mathbb {R} \to \mathbb {R} } ${\displaystyle \theta }$${\displaystyle A_{0},\ldots ,A_{L-1}}$${\displaystyle \theta \in \mathbb {R} ^{P}}$

A medida que aumentan los anchos, la escala del NTK se ve afectada por la parametrización exacta de los parámetros y por su inicialización. Esto motiva la denominada parametrización del NTK . Esta parametrización garantiza que, si los parámetros se inicializan como variables normales estándar , el NTK tiene un límite finito no trivial. En el límite de ancho grande, el NTK converge a un límite determinista (no aleatorio) que permanece constante en el tiempo.${\displaystyle A_{i}}$${\displaystyle A_{\ell }\left(x\right)={\frac {1}{\sqrt {n_{\ell }}}}W^{\left(\ell \right)}x+b^{\left(\ell \right)}}$${\displaystyle \theta \in \mathbb {R} ^{P}}$${\displaystyle \Theta _{\infty }}$

El NTK viene dado explícitamente por , donde está determinado por el conjunto de ecuaciones recursivas:${\displaystyle \Theta _{\infty }}$${\displaystyle \Theta _{\infty }=\Theta ^{\left(L\right)}}$${\displaystyle \Theta ^{\left(L\right)}}$

${\displaystyle {\begin{aligned}\Theta ^{\left(1\right)}\left(x,y\right)&=\Sigma ^{\left(1\right)}\left(x,y\right),\\\Sigma ^{\left(1\right)}\left(x,y\right)&={\frac {1}{n_{\mathrm {in} }}}x^{T}y+1,\\\Theta ^{\left(\ell +1\right)}\left(x,y\right)&=\Theta ^{\left(\ell \right)}\left(x,y\right){\dot {\Sigma }}^{\left(\ell +1\right)}\left(x,y\right)+\Sigma ^{\left(\ell +1\right)}\left(x,y\right),\\\Sigma ^{\left(\ell +1\right)}\left(x,y\right)&=L_{\Sigma ^{\left(\ell \right)}}^{\sigma }\left(x,y\right),\\{\dot {\Sigma }}^{\left(\ell +1\right)}\left(x,y\right)&=L_{\Sigma ^{\left(\ell \right)}}^{\dot {\sigma }},\end{aligned}}}$

donde denota el núcleo definido en términos de la esperanza gaussiana :${\displaystyle L_{K}^{f}}$

${\displaystyle L_{K}^{f}\left(x,y\right)=\mathbb {E} _{\left(X,Y\right)\sim {\mathcal {N}}\left(0,{\begin{pmatrix}K\left(x,x\right)&K\left(x,y\right)\\K\left(y,x\right)&K\left(y,y\right)\end{pmatrix}}\right)}\left[f\left(X\right)f\left(Y\right)\right].}$

En esta fórmula, los núcleos son los llamados núcleos de activación de la ANN. ^{[ 28 ] [ 29 ] [ 5 ]}${\displaystyle \Sigma ^{\left(\ell \right)}}$

El NTK describe la evolución de las redes neuronales bajo descenso de gradiente en el espacio de funciones. Dual a esta perspectiva es la comprensión de cómo evolucionan las redes neuronales en el espacio de parámetros , ya que el NTK se define en términos del gradiente de las salidas de la ANN con respecto a sus parámetros. En el límite de ancho infinito, la conexión entre estas dos perspectivas se vuelve especialmente interesante. El hecho de que el NTK permanezca constante durante el entrenamiento en anchos grandes coincide con que la ANN se describa bien durante el entrenamiento mediante su expansión de Taylor de primer orden alrededor de sus parámetros en la inicialización: ^{[ 6 ]}

${\displaystyle f\left(x;\theta (t)\right)=f\left(x;\theta (0)\right)+\nabla _{\theta }f\left(x;\theta (0)\right)\left(\theta (t)-\theta (0)\right)+{\mathcal {O}}\left(\min \left(n_{1}\dots n_{L-1}\right)^{-{\frac {1}{2}}}\right).}$