Grandes límites de ancho de las redes neuronales

Las redes neuronales artificiales son una clase de modelos utilizados en el aprendizaje automático , inspirados en las redes neuronales biológicas . Son el componente central de los algoritmos modernos de aprendizaje profundo . La computación en las redes neuronales artificiales se organiza generalmente en capas secuenciales de neuronas artificiales . El número de neuronas en una capa se denomina ancho de capa. El análisis teórico de las redes neuronales artificiales a veces considera el caso límite en el que el ancho de capa se vuelve grande o infinito. Este límite permite realizar afirmaciones analíticas sencillas sobre las predicciones de la red neuronal, la dinámica de entrenamiento, la generalización y las superficies de pérdida. Este amplio límite de capa también es de interés práctico, ya que las redes neuronales de ancho finito suelen tener un rendimiento estrictamente mejor a medida que aumenta el ancho de capa. ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]}

• El proceso gaussiano de red neuronal (NNGP) corresponde al límite de ancho infinito de las redes neuronales bayesianas y a la distribución sobre funciones realizada por redes neuronales no bayesianas después de una inicialización aleatoria. ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]}
• Los mismos cálculos subyacentes que se utilizan para derivar el núcleo NNGP también se utilizan en la propagación profunda de información para caracterizar la propagación de información sobre gradientes y entradas a través de una red profunda. ^{[ 11 ]} Esta caracterización se utiliza para predecir cómo la capacidad de entrenamiento del modelo depende de la arquitectura y los hiperparámetros de inicialización.
• El núcleo tangente neuronal describe la evolución de las predicciones de la red neuronal durante el entrenamiento por descenso de gradiente. En el límite de ancho infinito, el NTK suele volverse constante, lo que a menudo permite expresiones de forma cerrada para la función calculada por una red neuronal ancha a lo largo del entrenamiento por descenso de gradiente. ^{[ 12 ]} La dinámica de entrenamiento se linealiza esencialmente. ^{[ 13 ]}
• Análisis de límite de campo medio , cuando se aplica a redes neuronales con escalado de peso de${\displaystyle \sim 1/h}$en lugar de${\displaystyle \sim 1/{\sqrt {h}}}$y tasas de aprendizaje suficientemente grandes, predice dinámicas de entrenamiento no lineales cualitativamente distintas en comparación con el comportamiento lineal estático descrito por el núcleo tangente neuronal fijo, lo que sugiere vías alternativas para comprender las redes de ancho infinito. ^{[ 14 ] [ 15 ]}
• La dinámica de catapulta describe la dinámica de entrenamiento de redes neuronales en el caso de que los logits diverjan al infinito a medida que el ancho de la capa tiende al infinito, y describe propiedades cualitativas de la dinámica de entrenamiento temprana. ^{[ 16 ]}