Propagación rápida

Quickprop es un método iterativo para determinar el mínimo de la función de pérdida de una red neuronal artificial , ^[1] siguiendo un algoritmo inspirado en el método de Newton . En ocasiones, el algoritmo se clasifica en el grupo de los métodos de aprendizaje de segundo orden. Sigue una aproximación cuadrática del paso de gradiente anterior y el gradiente actual, que se espera que sea cercano al mínimo de la función de pérdida, bajo el supuesto de que la función de pérdida es localmente aproximadamente cuadrada, tratando de describirla mediante una parábola abierta hacia arriba . El mínimo se busca en el vértice de la parábola. El procedimiento requiere solo información local de la neurona artificial a la que se aplica. El paso de aproximación -ésimo viene dado por: ${\estilo de visualización k}$

${\displaystyle \Delta ^{(k)}\,w_{ij}=\Delta ^{(k-1)}\,w_{ij}\left({\frac {\nabla _{ij}\,E ^{(k)}}{\nabla _{ij}\,E^{(k-1)}-\nabla _{ij}\,E^{(k)}}}\right)}$

Donde es el peso de la entrada de la neurona , y es la función de pérdida. $estilo de visualización w_ {ij}}$${\estilo de visualización i}$${\estilo de visualización j}$${\estilo de visualización E}$

El algoritmo Quickprop es una implementación del algoritmo de retropropagación de errores , pero la red puede comportarse de manera caótica durante la fase de aprendizaje debido a los grandes tamaños de paso.

• Scott E. Fahlman: Un estudio empírico de la velocidad de aprendizaje en redes de retropropagación , septiembre de 1988