Rprop

Rprop , abreviatura de retropropagación resiliente , es una heurística de aprendizaje para el aprendizaje supervisado en redes neuronales artificiales de propagación directa . Se trata de un algoritmo de optimización de primer orden . Este algoritmo fue creado por Martin Riedmiller y Heinrich Braun en 1992. ^{[ 1 ]}

De forma similar a la regla de actualización de Manhattan , Rprop solo tiene en cuenta el signo de la derivada parcial sobre todos los patrones (no la magnitud) y actúa de forma independiente sobre cada "peso". Para cada peso, si hubo un cambio de signo de la derivada parcial de la función de error total en comparación con la última iteración, el valor de actualización para ese peso se multiplica por un factor η ⁻ , donde η ⁻  <  1. Si la última iteración produjo el mismo signo, el valor de actualización se multiplica por un factor η ⁺ , donde η ⁺  >  1. Los valores de actualización se calculan para cada peso de la manera anterior y, finalmente, cada peso se modifica en su propio valor de actualización, en la dirección opuesta a la de su derivada parcial, para minimizar la función de error total. η ⁺ se establece empíricamente en 1,2 y η ⁻ en  0,5.

Rprop puede generar incrementos o decrementos de peso muy grandes si los gradientes son grandes, lo cual es un problema al usar minilotes en lugar de lotes completos. RMSprop soluciona este problema manteniendo la media móvil de los gradientes al cuadrado para cada peso y dividiendo el gradiente por la raíz cuadrada del cuadrado medio.

RPROP es un algoritmo de actualización por lotes . Junto con el algoritmo de correlación en cascada y el algoritmo de Levenberg-Marquardt , RPROP es uno de los mecanismos de actualización de pesos más rápidos.

Martin Riedmiller desarrolló tres algoritmos, todos llamados RPROP. Igel y Hüsken les asignaron nombres y añadieron una nueva variante: ^{[ 2 ] [ 3 ]}

1. RPROP+ se define en Un método adaptativo directo para un aprendizaje de retropropagación más rápido: El algoritmo RPROP . ^{[ 4 ]}
2. RPROP − se define en Advanced Supervised Learning in Multi-layer Perceptrons – From Backpropagation to Adaptive Learning Algorithms . El backtracking se elimina de RPROP+. ^{[ 5 ]}
3. iRPROP − se define en Rprop – Descripción y detalles de implementación ^{[ 6 ]} y fue reinventado por Igel y Hüsken. ^{[ 3 ]} Esta variante es muy popular y la más sencilla.
4. iRPROP+ se define en Mejora del algoritmo de aprendizaje Rprop y es muy robusto y generalmente más rápido que las otras tres variantes. ^{[ 2 ] [ 3 ]}

• Caja de herramientas de optimización de Rprop
• Entrenamiento de Rprop para redes neuronales en MATLAB