Hispanopedia Wiki
Articulo de referencia

Descenso de gradiente estocástico

El descenso de gradiente estocástico (a menudo abreviado como SGD ) es un método iterativo para optimizar una función objetivo con propiedades de suavidad adecuadas (por ejemplo...

Hispanopedia WikiContenido en espanolLectura gratuita

El descenso de gradiente estocástico (a menudo abreviado como SGD ) es un método iterativo para optimizar una función objetivo con propiedades de suavidad adecuadas (por ejemplo, diferenciable o subdiferenciable ). Puede considerarse una aproximación estocástica de la optimización por descenso de gradiente , ya que reemplaza el gradiente real (calculado a partir de todo el conjunto de datos ) por una estimación del mismo (calculada a partir de un subconjunto de datos seleccionado aleatoriamente). Especialmente en problemas de optimización de alta dimensión , esto reduce la elevada carga computacional , logrando iteraciones más rápidas a cambio de una menor tasa de convergencia . [ 1 ]

La idea básica detrás de la aproximación estocástica se remonta al algoritmo de Robbins-Monro de la década de 1950. Hoy en día, el descenso de gradiente estocástico se ha convertido en un método de optimización importante en el aprendizaje automático . [ 2 ]

Fondo

Tanto la estimación estadística como el aprendizaje automático consideran el problema de minimizar una función objetivo que tiene la forma de una suma: Q(w)=1norte∑i=1norteQi(w),{\displaystyle Q(w)={\frac {1}{n}}\sum _{i=1}^{n}Q_{i}(w),} donde el parámetrow{\displaystyle w}que minimizaQ(w){\displaystyle Q(w)}debe ser estimado . Cada función sumandoQi{\displaystyle Q_{i}}se asocia típicamente con eli{\displaystyle i}-ésima observación en el conjunto de datos (utilizado para el entrenamiento).

En estadística clásica, los problemas de minimización de sumas surgen en mínimos cuadrados y en estimación de máxima verosimilitud (para observaciones independientes). La clase general de estimadores que surgen como minimizadores de sumas se denominan estimadores M. Sin embargo, en estadística, se ha reconocido desde hace tiempo que exigir incluso la minimización local es demasiado restrictivo para algunos problemas de estimación de máxima verosimilitud. [ 3 ] Por lo tanto, los teóricos estadísticos contemporáneos a menudo consideran puntos estacionarios de la función de verosimilitud (o ceros de su derivada, la función de puntuación y otras ecuaciones de estimación ).

El problema de minimización de la suma también surge para la minimización del riesgo empírico . Allí,Qi(w){\displaystyle Q_{i}(w)}es el valor de la función de pérdida eni{\displaystyle i}-ésimo ejemplo, yQ(w){\displaystyle Q(w)}es el riesgo empírico.

Cuando se utiliza para minimizar la función anterior, un método de descenso de gradiente estándar (o "por lotes") realizaría las siguientes iteraciones: w:=w−η∇Q(w)=w−ηnorte∑i=1norte∇Qi(w).{\displaystyle w:=w-\eta \,\nabla Q(w)=w-{\frac {\eta }{n}}\sum _ {i=1}^{n}\nabla Q_{i}(w).} El tamaño del paso se denota porη{\displaystyle \eta }(a veces llamada tasa de aprendizaje en aprendizaje automático) y aquí ":={\displaystyle :=} " denota la actualización de una variable en el algoritmo.

En muchos casos, las funciones sumando tienen una forma simple que permite evaluaciones económicas de la función suma y del gradiente de la suma. Por ejemplo, en estadística, las familias exponenciales de un parámetro permiten evaluaciones económicas de funciones y gradientes.

Sin embargo, en otros casos, evaluar la suma de gradientes puede requerir costosas evaluaciones de los gradientes de todas las funciones sumando. Cuando el conjunto de entrenamiento es enorme y no existen fórmulas sencillas, evaluar las sumas de gradientes se vuelve muy costoso, ya que requiere evaluar los gradientes de todas las funciones sumando. Para economizar en el costo computacional en cada iteración, el descenso de gradiente estocástico muestrea un subconjunto de funciones sumando en cada paso. Esto es muy efectivo en el caso de problemas de aprendizaje automático a gran escala. [ 4 ]

Método iterativo

Se toman en cuenta las fluctuaciones en la función objetivo total como pasos de gradiente con respecto a los minilotes.

En el descenso de gradiente estocástico (o "en línea"), el gradiente verdadero deQ(w){\displaystyle Q(w)}se aproxima mediante un gradiente en una sola muestra: w:=w−η∇Qi(w).{\displaystyle w:=w-\eta \,\nabla Q_{i}(w).} A medida que el algoritmo recorre el conjunto de entrenamiento, realiza la actualización mencionada anteriormente para cada muestra de entrenamiento. Se pueden realizar varias pasadas sobre el conjunto de entrenamiento hasta que el algoritmo converja. Si se hace esto, los datos se pueden barajar en cada pasada para evitar ciclos. Las implementaciones típicas pueden usar una tasa de aprendizaje adaptativa para que el algoritmo converja. [ 5 ]

En pseudocódigo, el descenso de gradiente estocástico se puede presentar como  :

  • Elija un vector de parámetros inicialw{\displaystyle w}y tasa de aprendizajeη{\displaystyle \eta }.
  • Repita el procedimiento hasta obtener un mínimo aproximado:
    • Mezcla aleatoriamente las muestras del conjunto de entrenamiento.
    • Parai=1,2,...,norte{\displaystyle i=1,2,...,n}, hacer:
      • w:=w−η∇Qi(w).{\displaystyle w:=w-\eta \,\nabla Q_{i}(w).}

Una solución intermedia entre calcular el gradiente verdadero y el gradiente en una sola muestra consiste en calcular el gradiente con más de una muestra de entrenamiento (denominada "mini-lote") en cada paso. Esto puede ofrecer un rendimiento significativamente mejor que el descenso de gradiente estocástico "verdadero" descrito, ya que el código puede utilizar bibliotecas de vectorización en lugar de calcular cada paso por separado, como se mostró por primera vez en [ 6 ], donde se denominó "algoritmo de retropropagación en modo de agrupamiento". Además, puede resultar en una convergencia más suave, puesto que el gradiente calculado en cada paso se promedia sobre un mayor número de muestras de entrenamiento.

La convergencia del descenso de gradiente estocástico se ha analizado utilizando las teorías de minimización convexa y de aproximación estocástica . Brevemente, cuando las tasas de aprendizajeη{\displaystyle \eta }Si disminuye con una tasa apropiada y bajo supuestos relativamente suaves, el descenso de gradiente estocástico converge casi con seguridad a un mínimo global cuando la función objetivo es convexa o pseudoconvexa , y en caso contrario converge casi con seguridad a un mínimo local. [ 2 ] [ 7 ] Esto es, de hecho, una consecuencia del teorema de Robbins-Siegmund . [ 8 ]

Regresión lineal

Supongamos que queremos ajustar una línea recta.y^=w1+w2incógnita{\displaystyle {\sombrero {y}}=w_{1}+w_{2}x}a un conjunto de entrenamiento con observaciones((incógnita1,y1),(incógnita2,y2)…,(incógnitanorte,ynorte)){\displaystyle ((x_{1},y_{1}),(x_{2},y_{2})\ldots ,(x_{n},y_{n}))}y las respuestas estimadas correspondientes(y^1,y^2,…,y^norte){\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\ldots ,{\hat {y}}_{n})}utilizando mínimos cuadrados . La función objetivo a minimizar es Q(w)=∑i=1norteQi(w)=∑i=1norte(y^i−yi)2=∑i=1norte(w1+w2incógnitai−yi)2.{\displaystyle Q(w)=\sum _{i=1}^{n}Q_{i}(w)=\sum _{i=1}^{n}\left({\hat {y}}_{i}-y_{i}\right)^{2}=\sum _{i=1}^{n}\left(w_{1}+w_{2}x_{i}-y_{i}\right)^{2}.} La última línea del pseudocódigo anterior para este problema específico quedará así: [w1w2]←[w1w2]−η[∂∂w1(w1+w2incógnitai−yi)2∂∂w2(w1+w2incógnitai−yi)2]=[w1w2]−η[2(w1+w2incógnitai−yi)2incógnitai(w1+w2incógnitai−yi)].{\displaystyle {\begin{bmatrix}w_{1}\\w_{2}\end{bmatrix}}\leftarrow {\begin{bmatrix}w_{1}\\w_{2}\end{bmatrix}}-\eta {\begin{bmatrix}{\frac {\partial }{\partial w_{1}}}(w_{1}+w_{2}x_{i}-y_{i})^{2}\\{\frac {\partial }{\partial w_{2}}}(w_{1}+w_{2}x_{i}-y_{i})^{2}\end{bmatrix}}={\begin{bmatrix}w_{1}\\w_{2}\end{bmatrix}}-\eta {\begin{bmatrix}2(w_{1}+w_{2}x_{i}-y_{i})\\2x_{i}(w_{1}+w_{2}x_{i}-y_{i})\end{bmatrix}}.}Tenga en cuenta que en cada iteración o paso de actualización, el gradiente se evalúa solo en un único punto.incógnitai{\displaystyle x_{i}}Esta es la diferencia clave entre el descenso de gradiente estocástico y el descenso de gradiente por lotes.

En general, dada una regresión linealy^=∑k∈1:metrowkincógnitak{\displaystyle {\hat {y}}=\sum _{k\in 1:m}w_{k}x_{k}}problema, el descenso de gradiente estocástico se comporta de manera diferente cuandometro<norte{\displaystyle m<n}(subparametrizado) ymetro≥norte{\displaystyle m\geq n}(sobreparametrizado). En el caso sobreparametrizado, el descenso de gradiente estocástico converge aarg⁡minw:wTincógnitak=yk∀k∈1:norte‖w−w0‖{\displaystyle \arg \min _{w:w^{T}x_{k}=y_{k}\forall k\in 1:n}\|w-w_{0}\|}Es decir, SGD converge a la solución de interpolación con distancia mínima desde el punto de partida.w0{\displaystyle w_{0}}Esto es cierto incluso cuando la tasa de aprendizaje permanece constante. En el caso subparametrizado, SGD no converge si la tasa de aprendizaje permanece constante. [ 9 ]

Historia

En 1951, Herbert Robbins y Sutton Monro introdujeron los primeros métodos de aproximación estocástica, precursores del descenso de gradiente estocástico. [ 10 ] Un año después, basándose en este trabajo, Jack Kiefer y Jacob Wolfowitz publicaron un algoritmo de optimización muy similar al descenso de gradiente estocástico, utilizando diferencias centrales como aproximación del gradiente. [ 11 ] Más adelante, en la década de 1950, Frank Rosenblatt utilizó el SGD para optimizar su modelo de perceptrón , demostrando la primera aplicabilidad del descenso de gradiente estocástico a las redes neuronales. [ 12 ]

La retropropagación se describió por primera vez en 1986, utilizando el descenso de gradiente estocástico para optimizar eficientemente los parámetros en redes neuronales con múltiples capas ocultas . Poco después, se desarrolló otra mejora: el descenso de gradiente por minilotes, donde se sustituyen muestras individuales por pequeños lotes de datos. En 1997, se exploraron por primera vez las ventajas prácticas de rendimiento que ofrecía la vectorización con lotes tan pequeños [ 13 ] , allanando el camino para una optimización eficiente en el aprendizaje automático. A partir de 2023, este enfoque de minilotes sigue siendo la norma para entrenar redes neuronales, equilibrando las ventajas del descenso de gradiente estocástico con las del descenso de gradiente [ 14 ] .

En la década de 1980, el momento ya se había introducido y se añadió a las técnicas de optimización SGD en 1986. [ 15 ] Sin embargo, estas técnicas de optimización asumían hiperparámetros constantes , es decir, una tasa de aprendizaje y un parámetro de momento fijos. En la década de 2010, se introdujeron enfoques adaptativos para aplicar SGD con una tasa de aprendizaje por parámetro con AdaGrad (por "Adaptive Gradient") en 2011 [ 16 ] y RMSprop (por "Root Mean Square Propagation") en 2012. [ 17 ] En 2014, se publicó Adam (por "Adaptive Moment Estimation"), que aplica los enfoques adaptativos de RMSprop al momento; posteriormente se desarrollaron muchas mejoras y ramas de Adam, como Adadelta, Adagrad, AdamW y Adamax. [ 18 ] [ 19 ]

Dentro del aprendizaje automático, los enfoques de optimización en 2023 están dominados por los optimizadores derivados de Adam, TensorFlow y PyTorch , de lejos las bibliotecas de aprendizaje automático más populares, [ 20 ] a partir de 2023 incluyen en gran medida solo optimizadores derivados de Adam, así como predecesores de Adam como RMSprop y SGD clásico. PyTorch también admite parcialmente BFGS de memoria limitada , un método de búsqueda lineal, pero solo para configuraciones de un solo dispositivo sin grupos de parámetros. [ 19 ] [ 21 ]

Aplicaciones destacadas

El descenso de gradiente estocástico es un algoritmo popular para entrenar una amplia gama de modelos en aprendizaje automático , incluyendo máquinas de vectores de soporte (lineales) , regresión logística (véase, por ejemplo, Vowpal Wabbit ) y modelos gráficos . [ 22 ] Cuando se combina con el algoritmo de retropropagación , es el algoritmo estándar de facto para entrenar redes neuronales artificiales . [ 23 ] Su uso también se ha reportado en la comunidad de geofísica , específicamente en aplicaciones de inversión de forma de onda completa (FWI). [ 24 ]

El descenso de gradiente estocástico compite con el algoritmo L-BFGS , que también es ampliamente utilizado. El descenso de gradiente estocástico se ha utilizado desde al menos 1960 para entrenar modelos de regresión lineal , originalmente bajo el nombre de ADALINE . [ 25 ]

Otro algoritmo de descenso de gradiente estocástico es el filtro adaptativo de mínimos cuadrados medios (LMS) .

Extensiones y variantes

Se han propuesto y utilizado muchas mejoras al algoritmo básico de descenso de gradiente estocástico. En particular, en el aprendizaje automático, se ha reconocido como problemático el hecho de establecer una tasa de aprendizaje (tamaño del paso). Establecer este parámetro demasiado alto puede provocar la divergencia del algoritmo; establecerlo demasiado bajo hace que la convergencia sea lenta. [ 26 ] Una extensión conceptualmente simple del descenso de gradiente estocástico hace que la tasa de aprendizaje sea una función decreciente η t del número de iteración t , lo que da lugar a un esquema de tasa de aprendizaje , de modo que las primeras iteraciones provoquen grandes cambios en los parámetros, mientras que las posteriores solo realicen ajustes finos. Dichos esquemas se conocen desde el trabajo de MacQueen sobre la agrupación k -means . [ 27 ] Spall proporciona orientación práctica sobre la elección del tamaño del paso en varias variantes de SGD. [ 28 ]

Un gráfico que visualiza el comportamiento de un conjunto seleccionado de optimizadores, utilizando una proyección en perspectiva 3D de una función de pérdida f(x, y).
Un gráfico que visualiza el comportamiento de un conjunto seleccionado de optimizadores.

Actualizaciones implícitas (ISGD)

Como se mencionó anteriormente, el descenso de gradiente estocástico clásico es generalmente sensible a la tasa de aprendizaje η . La convergencia rápida requiere tasas de aprendizaje elevadas, pero esto puede inducir inestabilidad numérica. El problema se puede resolver en gran medida [ 29 ] considerando actualizaciones implícitas en las que el gradiente estocástico se evalúa en la siguiente iteración en lugar de la actual: wnuevo:=wviejo−η∇Qi(wnuevo).{\displaystyle w^{\text{new}}:=w^{\text{old}}-\eta \,\nabla Q_{i}(w^{\text{new}}).}

Esta ecuación es implícita ya quewnuevo{\displaystyle w^{\text{new}}}aparece en ambos lados de la ecuación. Es una forma estocástica del método del gradiente proximal, ya que la actualización también se puede escribir como: wnuevo:=arg⁡minw{Qi(w)+12η‖w−wviejo‖2}.{\displaystyle w^{\text{new}}:=\arg \min _{w}\left\{Q_{i}(w)+{\frac {1}{2\eta }}\left\|w-w^{\text{old}}\right\|^{2}\right\}.}

Como ejemplo, consideremos los mínimos cuadrados con característicasincógnita1,…,incógnitanorte∈Rpag{\displaystyle x_{1},\ldots ,x_{n}\in \mathbb {R} ^{p}}y observaciones y1,…,ynorte∈R{\displaystyle y_{1},\ldots ,y_{n}\in \mathbb {R} }. Deseamos resolver: minw∑j=1norte(yj−incógnitaj′w)2,{\displaystyle \min _{w}\sum _{j=1}^{n}\left(y_{j}-x_{j}'w\right)^{2},} dóndeincógnitaj′w=incógnitaj1w1+incógnitaj,2w2+...+incógnitaj,pagwpag{\displaystyle x_{j}'w=x_{j1}w_{1}+x_{j,2}w_{2}+...+x_{j,p}w_{p}} indica el producto interno. Tenga en cuenta queincógnita{\displaystyle x}podría tener "1" como primer elemento para incluir una intersección. El descenso de gradiente estocástico clásico procede de la siguiente manera: wnuevo=wviejo+η(yi−incógnitai′wviejo)incógnitai{\displaystyle w^{\text{new}}=w^{\text{old}}+\eta \left(y_{i}-x_{i}'w^{\text{old}}\right)x_{i}}

dóndei{\displaystyle i}se muestrea uniformemente entre 1 ynorte{\displaystyle n}Aunque la convergencia teórica de este procedimiento se produce bajo supuestos relativamente suaves, en la práctica el procedimiento puede ser bastante inestable. En particular, cuandoη{\displaystyle \eta }está mal especificado de modo queI−ηincógnitaiincógnitai′{\displaystyle I-\eta x_{i}x_{i}'}tiene autovalores absolutos grandes con alta probabilidad, el procedimiento puede divergir numéricamente en unas pocas iteraciones. En contraste, el descenso de gradiente estocástico implícito (abreviado como ISGD) se puede resolver de forma cerrada como: wnuevo=wviejo+η1+η‖incógnitai‖2(yi−incógnitai′wviejo)incógnitai.{\displaystyle w^{\text{new}}=w^{\text{old}}+{\frac {\eta }{1+\eta \left\|x_{i}\right\|^{2}}}\left(y_{i}-x_{i}'w^{\text{old}}\right)x_{i}.}

Este procedimiento permanecerá numéricamente estable prácticamente para todos.η{\displaystyle \eta }ya que la tasa de aprendizaje ahora está normalizada. Esta comparación entre el descenso de gradiente estocástico clásico e implícito en el problema de mínimos cuadrados es muy similar a la comparación entre el filtro de mínimos cuadrados medios (LMS) y el filtro de mínimos cuadrados medios normalizados (NLMS) .

Aunque una solución analítica para ISGD solo es posible en mínimos cuadrados, el procedimiento puede implementarse eficientemente en una amplia gama de modelos. Específicamente, supongamos queQi(w){\displaystyle Q_{i}(w)}depende dew{\displaystyle w}solo a través de una combinación lineal con característicasincógnitai{\displaystyle x_{i}}, para que podamos escribir∇wQi(w)=−q(incógnitai′w)incógnitai{\displaystyle \nabla _{w}Q_{i}(w)=-q(x_{i}'w)x_{i}}, dóndeq()∈R{\displaystyle q()\in \mathbb {R} }puede depender deincógnitai,yi{\displaystyle x_{i},y_{i}}también pero no enw{\displaystyle w}excepto a través deincógnitai′w{\displaystyle x_{i}'w}. Los mínimos cuadrados obedecen esta regla, al igual que la regresión logística y la mayoría de los modelos lineales generalizados . Por ejemplo, en mínimos cuadrados,q(incógnitai′w)=yi−incógnitai′w{\displaystyle q(x_{i}'w)=y_{i}-x_{i}'w}y en regresión logísticaq(incógnitai′w)=yi−S(incógnitai′w){\displaystyle q(x_{i}'w)=y_{i}-S(x_{i}'w)}, dóndeS(tú)=mitú/(1+mitú){\displaystyle S(u)=e^{u}/(1+e^{u})}es la función logística . En la regresión de Poisson ,q(incógnitai′w)=yi−miincógnitai′w{\displaystyle q(x_{i}'w)=y_{i}-e^{x_{i}'w}}, etcétera.

En tales escenarios, ISGD se implementa simplemente de la siguiente manera. SeaF(ξ)=ηq(incógnitai′wviejo+ξ‖incógnitai‖2){\displaystyle f(\xi )=\eta q(x_{i}'w^{\text{old}}+\xi \|x_{i}\|^{2})}, dóndeξ{\displaystyle \xi }es escalar. Entonces, ISGD es equivalente a: wnuevo=wviejo+ξ∗incógnitai, dónde ξ∗=F(ξ∗).{\displaystyle w^{\text{new}}=w^{\text{old}}+\xi ^{\ast }x_{i},~{\text{where}}~\xi ^{\ast }=f(\xi ^{\ast }).}

El factor de escalaξ∗∈R{\displaystyle \xi ^{\ast }\in \mathbb {R} }se puede encontrar a través del método de bisección ya que en la mayoría de los modelos regulares, como los modelos lineales generalizados mencionados anteriormente, la funciónq(){\displaystyle q()}está disminuyendo y, por lo tanto, los límites de búsqueda paraξ∗{\displaystyle \xi ^{\ast }}son[min(0,F(0)),máximo(0,F(0))]{\displaystyle [\min(0,f(0)),\max(0,f(0))]}.

Impulso

Otras propuestas incluyen el método del momento o el método de la bola pesada , que en el contexto del aprendizaje automático apareció en el artículo de Rumelhart , Hinton y Williams sobre el aprendizaje por retropropagación [ 30 ] y tomó prestada la idea del artículo de 1964 del matemático soviético Boris Polyak sobre la resolución de ecuaciones funcionales. [ 31 ] El descenso de gradiente estocástico con momento recuerda la actualización Δw en cada iteración y determina la siguiente actualización como una combinación lineal del gradiente y la actualización anterior: [ 32 ] [ 33 ]Δw:=αΔw−η∇Qi(w){\displaystyle \Delta w:=\alpha \Delta w-\eta \,\nabla Q_{i}(w)}w:=w+Δw{\displaystyle w:=w+\Delta w} que conduce a: w:=w−η∇Qi(w)+αΔw{\displaystyle w:=w-\eta \,\nabla Q_{i}(w)+\alpha \Delta w}

donde el parámetrow{\displaystyle w}lo cual minimizaQ(w){\displaystyle Q(w)}debe ser estimado ,η{\displaystyle \eta }es un tamaño de paso (a veces llamado tasa de aprendizaje en aprendizaje automático) yα{\displaystyle \alpha }es un factor de decaimiento exponencial entre 0 y 1 que determina la contribución relativa del gradiente actual y los gradientes anteriores al cambio de peso.

El nombre momentum proviene de una analogía con el momentum en física: el vector de peso.w{\displaystyle w}, considerada como una partícula que viaja a través del espacio de parámetros, [ 30 ] experimenta aceleración debido al gradiente de la pérdida (" fuerza "). A diferencia del descenso de gradiente estocástico clásico, tiende a mantenerse en la misma dirección, evitando oscilaciones. El momento ha sido utilizado con éxito por científicos informáticos en el entrenamiento de redes neuronales artificiales durante varias décadas. [ 34 ] El método del momento está estrechamente relacionado con la dinámica de Langevin subamortiguada y puede combinarse con el recocido simulado . [ 35 ]

A mediados de la década de 1980, Yurii Nesterov modificó el método para utilizar el gradiente predicho en el siguiente punto, y el gradiente acelerado de Nesterov resultante se utilizó a veces en ML en la década de 2010. [ 36 ]

Promediando

El descenso de gradiente estocástico promediado , inventado independientemente por Ruppert y Polyak a finales de la década de 1980, es un descenso de gradiente estocástico ordinario que registra un promedio de su vector de parámetros a lo largo del tiempo. Es decir, la actualización es la misma que para el descenso de gradiente estocástico ordinario, pero el algoritmo también realiza un seguimiento de [ 37 ].

w¯=1t∑i=0t−1wi.{\displaystyle {\bar {w}}={\frac {1}{t}}\sum _{i=0}^{t-1}w_{i}.}Cuando se realiza la optimización, este vector de parámetros promediado toma el lugar de w .

AdaGrad

AdaGrad (algoritmo de gradiente adaptativo ) es un algoritmo de descenso de gradiente estocástico modificado con tasa de aprendizaje por parámetro , publicado por primera vez en 2011. [ 38 ] De manera informal, esto aumenta la tasa de aprendizaje para parámetros más dispersos y la disminuye para aquellos que son menos dispersos. Esta estrategia suele mejorar el rendimiento de convergencia con respecto al descenso de gradiente estocástico estándar en entornos donde los datos son dispersos y los parámetros dispersos son más informativos. Ejemplos de tales aplicaciones incluyen el procesamiento del lenguaje natural y el reconocimiento de imágenes. [ 38 ]

Todavía tiene una tasa de aprendizaje base η , pero esta se multiplica por los elementos de un vector { G j , j } que es la diagonal de la matriz de producto exterior .

GRAMO=∑τ=1tgramoτgramoτT{\displaystyle G=\sum _{\tau =1}^{t}g_{\tau }g_{\tau }^{\mathsf {T}}}

dóndegramoτ=∇Qi(w){\displaystyle g_{\tau }=\nabla Q_{i}(w)}, el gradiente, en la iteración τ . La diagonal viene dada por

GRAMOj,j=∑τ=1tgramoτ,j2.{\displaystyle G_{j,j}=\sum _{\tau =1}^{t}g_{\tau ,j}^{2}.}Este vector almacena esencialmente una suma histórica de cuadrados de gradiente por dimensión y se actualiza después de cada iteración. La fórmula para una actualización es ahora [ a ].w:=w−ηdiagramo(GRAMO)−12⊙gramo{\displaystyle w:=w-\eta \,\mathrm {diag} (G)^{-{\frac {1}{2}}}\odot g} o, escrito como actualizaciones por parámetro, wj:=wj−ηGRAMOj,jgramoj.{\displaystyle w_{j}:=w_{j}-{\frac {\eta }{\sqrt {G_{j,j}}}}g_{j}.} Cada { G ( i , i ) } da lugar a un factor de escala para la tasa de aprendizaje que se aplica a un único parámetro w i . Dado que el denominador en este factor,GRAMOi=∑τ=1tgramoτ2{\textstyle {\sqrt {G_{i}}}={\sqrt {\sum _{\tau =1}^{t}g_{\tau }^{2}}}}es la norma ℓ 2 de derivadas anteriores, las actualizaciones extremas de parámetros se amortiguan, mientras que los parámetros que reciben pocas o pequeñas actualizaciones reciben tasas de aprendizaje más altas. [ 34 ]

Aunque diseñado para problemas convexos , AdaGrad se ha aplicado con éxito a la optimización no convexa. [ 39 ]

RMSProp

RMSProp (por Propagación de la Raíz Cuadrada Media) es un método inventado en 2012 por James Martens e Ilya Sutskever , ambos estudiantes de doctorado en el grupo de Geoffrey Hinton, en el que la tasa de aprendizaje se adapta, como en Adagrad, para cada uno de los parámetros. La idea es dividir la tasa de aprendizaje de un peso por un promedio móvil de las magnitudes de los gradientes recientes para ese peso. [ 40 ] Curiosamente, no se publicó en un artículo, sino que simplemente se describió en una clase de Coursera . [ 41 ] [ 42 ]

Entonces, primero se calcula el promedio móvil en términos de medias cuadradas,

v(w,t):=γv(w,t−1)+(1−γ)(∇Qi(w))2{\displaystyle v(w,t):=\gamma v(w,t-1)+\left(1-\gamma \right)\left(\nabla Q_{i}(w)\right)^{2}}

dónde,γ{\displaystyle \gamma }es el factor del olvido. El concepto de almacenar el gradiente histórico como suma de cuadrados se toma prestado de Adagrad, pero se introduce el "olvido" para resolver las tasas de aprendizaje decrecientes de Adagrad en problemas no convexos, disminuyendo gradualmente la influencia de los datos antiguos.

Y los parámetros se actualizan como,

w:=w−ηv(w,t)∇Qi(w){\displaystyle w:=w-{\frac {\eta }{\sqrt {v(w,t)}}}\nabla Q_{i}(w)}

RMSProp ha demostrado una buena adaptación de la tasa de aprendizaje en diferentes aplicaciones. RMSProp puede considerarse una generalización de Rprop y es capaz de trabajar también con minilotes, a diferencia de solo con lotes completos. [ 40 ]

Adán

Adam [ 43 ] (abreviatura de Estimación Adaptativa del Momento) es una actualización de 2014 del optimizador RMSProp que lo combina con la característica principal del método Momentum . [ 44 ] En este algoritmo de optimización, se utilizan promedios móviles con olvido exponencial tanto de los gradientes como de los segundos momentos de los gradientes. Parámetros dadosw(t){\displaystyle w^{(t)}}y una función de pérdidaL(t){\displaystyle L^{(t)}}, dóndet{\displaystyle t}indexa la iteración de entrenamiento actual (indexada en1{\displaystyle 1}), la actualización de parámetros de Adam viene dada por:

metrow(t):=β1metrow(t−1)+(1−β1)∇wL(t−1){\displaystyle m_{w}^{(t)}:=\beta _{1}m_{w}^{(t-1)}+\left(1-\beta _{1}\right)\nabla _{w}L^{(t-1)}}vw(t):=β2vw(t−1)+(1−β2)(∇wL(t−1))2{\displaystyle v_{w}^{(t)}:=\beta _{2}v_{w}^{(t-1)}+\left(1-\beta _{2}\right)\left(\nabla _{w}L^{(t-1)}\right)^{2}}

metro^w(t)=metrow(t)1−β1t{\displaystyle {\hat {m}}_{w}^{(t)}={\frac {m_{w}^{(t)}}{1-\beta _{1}^{t}}}}v^w(t)=vw(t)1−β2t{\displaystyle {\hat {v}}_{w}^{(t)}={\frac {v_{w}^{(t)}}{1-\beta _{2}^{t}}}}

w(t):=w(t−1)−ηmetro^w(t)v^w(t)+ε{\displaystyle w^{(t)}:=w^{(t-1)}-\eta {\frac {{\hat {m}}_{w}^{(t)}}{{\sqrt {{\hat {v}}_{w}^{(t)}}}+\varepsilon }}} dóndeε{\displaystyle \varepsilon }es un escalar pequeño (por ejemplo10−8{\displaystyle 10^{-8}}) utilizado para evitar la división por 0, yβ1{\displaystyle \beta _{1}}(por ejemplo, 0,9) yβ2{\displaystyle \beta _{2}}(p. ej. 0,999) son los factores de olvido para los gradientes y los segundos momentos de los gradientes, respectivamente. La elevación al cuadrado y la raíz cuadrada se realizan elemento por elemento.

Como los promedios móviles exponenciales del gradientemetrow(t){\displaystyle m_{w}^{(t)}}y el gradiente al cuadradovw(t){\displaystyle v_{w}^{(t)}}Si se inicializan con un vector de 0, habría un sesgo hacia cero en las primeras iteraciones de entrenamiento. Un factor11−β1/2t{\displaystyle {\tfrac {1}{1-\beta _{1/2}^{t}}}}Se introduce para compensar este sesgo y obtener mejores estimaciones.metro^w(t){\displaystyle {\hat {m}}_{w}^{(t)}}yv^w(t){\displaystyle {\hat {v}}_{w}^{(t)}}.

La demostración inicial que establecía la convergencia de Adam era incompleta, y análisis posteriores han revelado que Adam no converge para todos los objetivos convexos. [ 45 ] [ 46 ] A pesar de esto, Adam se sigue utilizando debido a su sólido desempeño en la práctica. [ 47 ]

Variantes

La popularidad de Adam inspiró muchas variantes y mejoras. Algunos ejemplos incluyen:

  • gradientes mejorados por Nesterov: NAdam , [ 48 ] FASFA [ 49 ]
  • Interpretaciones variables de la información de segundo orden: Propagación de potencia [ 50 ] y AdaSqrt . [ 51 ]
  • Usando norma infinita : AdaMax [ 43 ]
  • AMSGrad , [ 52 ] que mejora la convergencia sobre Adam al usar el máximo de los gradientes cuadrados pasados ​​en lugar del promedio exponencial. [ 53 ] AdamX [ 54 ] mejora aún más la convergencia sobre AMSGrad .
  • AdamW , [ 55 ] que mejora la disminución del peso .

Descenso de gradiente estocástico basado en signos

Aunque la optimización basada en signos se remonta al Rprop mencionado anteriormente , en 2018 los investigadores intentaron simplificar Adam eliminando la magnitud del gradiente estocástico y considerando únicamente su signo. [ 56 ] [ 57 ] Esto resulta en un costo de comunicación significativamente menor para la transferencia de gradientes desde los nodos de trabajo al servidor de parámetros. En este sentido, sirve para comprimir mejor la información del gradiente, manteniendo una convergencia comparable a la del SGD estándar. [ 57 ]

La búsqueda lineal con retroceso es otra variante del descenso de gradiente. Todo lo que se menciona a continuación proviene del enlace citado. Se basa en una condición conocida como la condición de Armijo-Goldstein. Ambos métodos permiten que las tasas de aprendizaje cambien en cada iteración; sin embargo, la forma del cambio es diferente. La búsqueda lineal con retroceso utiliza evaluaciones de funciones para comprobar la condición de Armijo, y en principio el bucle del algoritmo para determinar las tasas de aprendizaje puede ser largo y desconocido de antemano. El SGD adaptativo no necesita un bucle para determinar las tasas de aprendizaje. Por otro lado, el SGD adaptativo no garantiza la "propiedad de descenso" – que sí posee la búsqueda lineal con retroceso – que es queF(incógnitanorte+1)≤F(incógnitanorte){\displaystyle f(x_{n+1})\leq f(x_{n})}para todo n. Si el gradiente de la función de costo es globalmente Lipschitz continuo, con constante de Lipschitz L, y la tasa de aprendizaje se elige del orden de 1/L, entonces la versión estándar de SGD es un caso especial de búsqueda lineal con retroceso.

Métodos de segundo orden

Un análogo estocástico del algoritmo estándar (determinista) de Newton-Raphson (un método de "segundo orden") proporciona una forma asintóticamente óptima o casi óptima de optimización iterativa en el contexto de la aproximación estocástica . Byrd, Hansen, Nocedal y Singer desarrollaron un método que utiliza mediciones directas de las matrices hessianas de los sumandos en la función de riesgo empírica. [ 58 ] Sin embargo, determinar directamente las matrices hessianas requeridas para la optimización puede no ser posible en la práctica. Spall y otros dan métodos prácticos y teóricamente sólidos para versiones de segundo orden de SGD que no requieren información hessiana directa. [ 59 ] [ 60 ] [ 61 ] (Ruppert da un método menos eficiente basado en diferencias finitas, en lugar de perturbaciones simultáneas. [ 62 ] ) Otro enfoque para la matriz hessiana de aproximación es reemplazarla con la matriz de información de Fisher, que transforma el gradiente usual en natural. [ 63 ] Estos métodos que no requieren información directa de la matriz hessiana se basan en los valores de los sumandos en la función de riesgo empírica anterior o en los valores de los gradientes de los sumandos (es decir, las entradas SGD). En particular, la optimalidad de segundo orden se puede lograr asintóticamente sin el cálculo directo de las matrices hessianas de los sumandos en la función de riesgo empírica. Cuando el objetivo es una pérdida de mínimos cuadrados no linealQ(w)=1norte∑i=1norteQi(w)=1norte∑i=1norte(metro(w;incógnitai)−yi)2,{\displaystyle Q(w)={\frac {1}{n}}\sum _{i=1}^{n}Q_{i}(w)={\frac {1}{n}}\sum _{i=1}^{n}(m(w;x_{i})-y_{i})^{2},} dóndemetro(w;incógnitai){\displaystyle m(w;x_{i})}es el modelo predictivo (por ejemplo, una red neuronal profunda ) la estructura del objetivo puede explotarse para estimar información de segundo orden utilizando solo gradientes. Los métodos resultantes son simples y a menudo efectivos [ 64 ]

Aproximaciones en tiempo continuo

Para una tasa de aprendizaje pequeñaη{\textstyle \eta }descenso de gradiente estocástico(wnorte)norte∈norte0{\textstyle (w_{n})_{n\in \mathbb {N} _{0}}}puede considerarse como una discretización de la ecuación diferencial ordinaria del flujo de gradiente .

ddtWt=−∇Q(Wt){\displaystyle {\frac {d}{dt}}W_{t}=-\nabla Q(W_{t})}

sujeto a ruido estocástico adicional. Esta aproximación solo es válida en un horizonte temporal finito en el siguiente sentido: supongamos que todos los coeficientes Qi{\textstyle Q_{i}}son suficientemente suaves. DejeT>0{\textstyle T>0}ygramo:Rd→R{\textstyle g:\mathbb {R} ^{d}\to \mathbb {R} }sea ​​una función de prueba suficientemente suave. Entonces, existe una constantedo>0{\textstyle C>0}de tal manera que para todosη>0{\textstyle \eta >0}

máximok=0,…,⌊T/η⌋|mi[gramo(wk)]−gramo(Wkη)|≤doη,{\displaystyle \max _{k=0,\dots ,\lfloor T/\eta \rfloor }\left|\mathbb {E} [g(w_{k})]-g(W_{k\eta })\right|\leq C\eta ,}

dóndemi{\textstyle \mathbb {E} }denota tomar la esperanza con respecto a la elección aleatoria de índices en el esquema de descenso de gradiente estocástico.

Dado que esta aproximación no captura las fluctuaciones aleatorias alrededor del comportamiento medio de las soluciones de descenso de gradiente estocástico para ecuaciones diferenciales estocásticas (EDE), se han propuesto como objetos límite. [ 65 ] Más precisamente, la solución a la EDE

dWt=−∇(Q(Wt)+14η|∇Q(Wt)|2)dt+ηΣ(Wt)1/2dBt,{\displaystyle dW_{t}=-\nabla \left(Q(W_{t})+{\tfrac {1}{4}}\eta |\nabla Q(W_{t})|^{2}\right)dt+{\sqrt {\eta }}\Sigma (W_{t})^{1/2}dB_{t},}

paraΣ(w)=1norte2(∑i=1norteQi(w)−Q(w))(∑i=1norteQi(w)−Q(w))T{\displaystyle \Sigma (w)={\frac {1}{n^{2}}}\left(\sum _{i=1}^{n}Q_{i}(w)-Q(w)\right)\left(\sum _{i=1}^{n}Q_{i}(w)-Q(w)\right)^{T}}dóndedBt{\textstyle dB_{t}}denota la integral de Ito con respecto a un movimiento browniano es una aproximación más precisa en el sentido de que existe una constantedo>0{\textstyle C>0}de tal manera que

máximok=0,…,⌊T/η⌋|mi[gramo(wk)]−mi[gramo(Wkη)]|≤doη2.{\displaystyle \max _{k=0,\dots ,\lfloor T/\eta \rfloor }\left|\mathbb {E} [g(w_{k})]-\mathbb {E} [g(W_{k\eta })]\right|\leq C\eta ^{2}.}

Sin embargo, esta EDE solo aproxima el movimiento de un punto del descenso de gradiente estocástico. Para una aproximación del flujo estocástico, es necesario considerar EDE con ruido de dimensión infinita. [ 66 ]

Véase también

Notas

  1. ↑⊙{\displaystyle \odot }denota el producto elemento a elemento .

Referencias

  1. ↑ Bottou, Léon ; Bousquet, Olivier (2012). «Las ventajas y desventajas del aprendizaje a gran escala» . En Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. (eds.). Optimización para el aprendizaje automático . Cambridge: MIT Press. pp. 351–368 . ISBN  978-0-262-01646-9.
  2. 1 2 Bottou, Léon (1998). «Algoritmos en línea y aproximaciones estocásticas». Aprendizaje en línea y redes neuronales . Cambridge University Press. ISBN 978-0-521-65263-6.
  3. ↑ Ferguson, Thomas S. (1982). "Una estimación de máxima verosimilitud inconsistente". Journal of the American Statistical Association . 77 (380): 831– 834. doi : 10.1080/01621459.1982.10477894 . JSTOR 2287314 . 
  4. ↑ Bottou, Léon ; Bousquet, Olivier (2008). Las ventajas y desventajas del aprendizaje a gran escala . Avances en sistemas de procesamiento de información neuronal . Vol. 20. págs. 161–168 .  
  5. ↑ Murphy, Kevin (2021). Aprendizaje automático probabilístico: una introducción . MIT Press . Recuperado el 10 de abril de 2021 .
  6. ↑ Bilmes, Jeff; Asanovic, Krste ; Chin, Chee-Whye; Demmel, James (abril de 1997). "Uso de PHiPAC para acelerar el aprendizaje de retropropagación de errores". 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing . ICASSP. Múnich, Alemania: IEEE. pp. 4153–4156 vol.5. doi : 10.1109/ICASSP.1997.604861 . 
  7. ↑ Kiwiel, Krzysztof C. (2001). "Convergencia y eficiencia de los métodos de subgradiente para la minimización cuasiconvexa". Mathematical Programming, Series A . 90 (1). Berlín, Heidelberg: Springer: 1– 25. doi : 10.1007/PL00011414 . ISSN 0025-5610 . MR 1819784 . S2CID 10043417 .   
  8. ↑ Robbins, Herbert ; Siegmund, David O. (1971). "Un teorema de convergencia para casi supermartingalas no negativas y algunas aplicaciones". En Rustagi, Jagdish S. (ed.). Métodos de optimización en estadística . Academic Press. ISBN 0-12-604550-X.
  9. ↑ Belkin, Mikhail (mayo de 2021). "En forma sin miedo: fenómenos matemáticos notables del aprendizaje profundo a través del prisma de la interpolación" . Acta Numerica . 30 : 203–248 . arXiv : 2105.14368 . doi : 10.1017/S0962492921000039 . ISSN 0962-4929 . 
  10. ↑ Robbins, H. ; Monro, S. (1951). "Un método de aproximación estocástica" . The Annals of Mathematical Statistics . 22 (3): 400. doi : 10.1214/aoms/1177729586 .
  11. ↑ Kiefer, J.; Wolfowitz, J. (1952). "Estimación estocástica del máximo de una función de regresión" . The Annals of Mathematical Statistics . 23 (3): 462– 466. doi : 10.1214/aoms/1177729392 .
  12. ↑ Rosenblatt, F. (1958). "El perceptrón: un modelo probabilístico para el almacenamiento y la organización de la información en el cerebro". Psychological Review . 65 (6): 386– 408. doi : 10.1037/h0042519 . PMID 13602029. S2CID 12781225 .  
  13. ↑ Bilmes, Jeff; Asanovic, Krste ; Chin, Chee-Whye; Demmel, James (abril de 1997). "Uso de PHiPAC para acelerar el aprendizaje de retropropagación de errores". 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing . ICASSP. Múnich, Alemania: IEEE. pp. 4153–4156 vol.5. doi : 10.1109/ICASSP.1997.604861 . 
  14. ↑ Peng, Xinyu; Li, Li; Wang, Fei-Yue (2020). "Aceleración del descenso de gradiente estocástico por minilotes mediante muestreo de tipicidad". IEEE Transactions on Neural Networks and Learning Systems . 31 (11): 4649– 4659. arXiv : 1903.04192 . Bibcode : 2020ITNNL..31.4649P . doi : 10.1109/TNNLS.2019.2957003 . PMID 31899442. S2CID 73728964 .  
  15. ↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (octubre de 1986). "Aprendizaje de representaciones mediante la retropropagación de errores" . Nature . 323 (6088): 533– 536. Bibcode : 1986Natur.323..533R . doi : 10.1038/323533a0 . ISSN 1476-4687 . S2CID 205001834 .  
  16. ↑ Duchi, John; Hazan, Elad; Singer, Yoram (2011). "Métodos de subgradiente adaptativos para el aprendizaje en línea y la optimización estocástica" (PDF) . JMLR . 12 : 2121–2159 .
  17. ↑ Hinton, Geoffrey . "Clase 6e rmsprop: Dividir el gradiente por un promedio móvil de su magnitud reciente" (PDF) . pág. 26. Consultado el 19 de marzo de 2020 . 
  18. ↑ Kingma, Diederik; Ba, Jimmy (2014). "Adam: Un método para la optimización estocástica". arXiv : 1412.6980 [ cs.LG ].
  19. 1 2 "torch.optim — Documentación de PyTorch 2.0" . pytorch.org . Consultado el 2 de octubre de 2023 .
  20. ^ Nguyen, Giang; Dlugolinsky, Stefan; Bobák, Martín; Tran, vietnamita; García, Álvaro; Heredia, Ignacio; Malik, Peter; Hluchý, Ladislav (19 de enero de 2019). "Marcos y bibliotecas de aprendizaje automático y aprendizaje profundo para la minería de datos a gran escala: una encuesta" (PDF) . Revisión de inteligencia artificial . 52 : 77– 124. doi : 10.1007/s10462-018-09679-z . S2CID 254236976 . 
  21. ↑ "Módulo: tf.keras.optimizers | TensorFlow v2.14.0" . TensorFlow . Consultado el 2 de octubre de 2023 .
  22. ↑ Jenny Rose Finkel, Alex Kleeman, Christopher D. Manning (2008). Análisis sintáctico de campos aleatorios condicionales eficiente basado en características . Actas de la Reunión Anual de la ACL.
  23. ↑ LeCun, Yann A., et al. «Retropropagación eficiente». Redes neuronales: Trucos del oficio. Springer Berlin Heidelberg, 2012. 9-48
  24. ↑ Krebs, Jerome R.; Anderson, John E.; Hinkley, David; Neelamani, Ramesh; Lee, Sunwoong; Baumstein, Anatoly; Lacasse, Martin-Daniel (2009). "Inversión sísmica rápida de campo de onda completo utilizando fuentes codificadas". Geophysics . 74 (6): WCC177– WCC188. doi : 10.1190/1.3230502 .
  25. ↑ Avi Pfeffer. "CS181 Lección 5 — Perceptrones" (PDF) . Universidad de Harvard.
  26. ↑ Goodfellow, Ian ; Bengio, Yoshua; Courville, Aaron (2016). Aprendizaje profundo . MIT Press. pág. 291. ISBN  978-0262035613.
  27. ↑ Citado por Darken, Christian; Moody, John (1990). Agrupamiento k-means adaptativo rápido: algunos resultados empíricos . Conferencia Conjunta Internacional sobre Redes Neuronales (IJCNN). IEEE. doi : 10.1109/IJCNN.1990.137720 .
  28. ↑ Spall, JC (2003). Introducción a la búsqueda y optimización estocástica: estimación, simulación y control . Hoboken, NJ: Wiley. págs. Secciones 4.4, 6.6 y 7.5. ISBN  0-471-33052-3.
  29. ↑ Toulis, Panos; Airoldi, Edoardo (2017). "Propiedades asintóticas y de muestra finita de estimadores basados ​​en gradientes estocásticos". Annals of Statistics . 45 (4): 1694– 1727. arXiv : 1408.2923 . doi : 10.1214/16-AOS1506 . S2CID 10279395 . 
  30. 1 2 Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 de octubre de 1986). "Aprendizaje de representaciones mediante la retropropagación de errores". Nature . 323 (6088): 533– 536. Bibcode : 1986Natur.323..533R . doi : 10.1038/323533a0 . S2CID 205001834 . 
  31. ↑ "Descenso de gradiente y momento: el método de la bola pesada" . 13 de julio de 2020.
  32. ↑ Sutskever, Ilya; Martens, James; Dahl, George; Hinton, Geoffrey E. (junio de 2013). Sanjoy Dasgupta y David Mcallester (eds.). Sobre la importancia de la inicialización y el momento en el aprendizaje profundo (PDF) . En Actas de la 30.ª conferencia internacional sobre aprendizaje automático (ICML-13). Vol. 28. Atlanta, GA. págs. 1139–1147 . Recuperado el 14 de enero de 2016 .  
  33. ↑ Sutskever, Ilya (2013). Entrenamiento de redes neuronales recurrentes (PDF) (Ph.D.). Universidad de Toronto. p. 74. 
  34. 1 2 Zeiler, Matthew D. (2012). "ADADELTA: Un método de tasa de aprendizaje adaptativa". arXiv : 1212.5701 [ cs.LG ].
  35. ↑ Borysenko, Oleksandr; Byshkin, Maksym (2021). "CoolMomentum: Un método para la optimización estocástica mediante dinámica de Langevin con recocido simulado" . Scientific Reports . 11 (1): 10705. arXiv : 2005.14605 . Bibcode : 2021NatSR..1110705B . doi : 10.1038/s41598-021-90144-3 . PMC 8139967. PMID 34021212 .  
  36. ↑ "Documentos con código: explicación del gradiente acelerado de Nesterov" .
  37. ↑ Polyak, Boris T.; Juditsky, Anatoli B. (1992). "Aceleración de la aproximación estocástica mediante promediado" (PDF) . SIAM J. Control Optim . 30 (4): 838–855 . doi : 10.1137/0330046 . S2CID 3548228. Archivado del original (PDF) el 12 de enero de 2016. Recuperado el 14 de febrero de 2018 . 
  38. 1 2 Duchi, John; Hazan, Elad; Singer, Yoram (2011). "Métodos de subgradiente adaptativos para el aprendizaje en línea y la optimización estocástica" (PDF) . JMLR . 12 : 2121–2159 .
  39. ↑ Gupta, Maya R.; Bengio, Samy; Weston, Jason (2014). "Entrenamiento de clasificadores multiclase altamente" (PDF) . JMLR . 15 (1): 1461– 1492.
  40. 1 2 Hinton, Geoffrey . "Clase 6e rmsprop: Dividir el gradiente por un promedio móvil de su magnitud reciente" (PDF) . pág. 26. Recuperado el 19 de marzo de 2020 . 
  41. ↑ " RMSProp" . DeepAI . 17 de mayo de 2019. Consultado el 15 de junio de 2025. El algoritmo RMSProp fue presentado por Geoffrey Hinton en su curso de Coursera, donde reconoció su eficacia en diversas aplicaciones.
  42. ↑ Geoffrey Hinton (16 de noviembre de 2016). Conferencia 6.5 — RMSprop, Adam, Dropout y normalización por lotes . YouTube . Universidad de Toronto. El evento ocurre en 36:37 . Recuperado el 15 de junio de 2025 .
  43. 1 2 Kingma, Diederik; Ba, Jimmy (2014). "Adam: Un método para la optimización estocástica". arXiv : 1412.6980 [ cs.LG ].
  44. ↑ "4. Más allá del descenso de gradiente: fundamentos del aprendizaje profundo [ Libro ] " .
  45. ↑ Reddi, Sashank J.; Kale, Satyen; Kumar, Sanjiv (2018). Sobre la convergencia de Adam y más allá . 6.ª Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR 2018). arXiv : 1904.09237 .
  46. ↑ Rubio, David Martínez (2017). Análisis de convergencia de un método adaptativo de descenso de gradiente (PDF) (tesis de maestría). Universidad de Oxford . Recuperado el 5 de enero de 2024 .
  47. ↑ Zhang, Yushun; Chen, Congliang; Shi, Naichen; Sun, Ruoyu; Luo, Zhi-Quan (2022). "Adam puede converger sin ninguna modificación en las reglas de actualización". Advances in Neural Information Processing Systems 35. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv : 2208.09632 .
  48. ↑ Dozat, T. (2016). "Incorporando el momento de Nesterov en Adam". S2CID 70293087 . {{cite journal}}: Para citar una revista se requiere |journal=( ayuda )
  49. ↑ Naveen, Philip (2022-08-09). "FASFA: Un nuevo optimizador de retropropagación de próxima generación" . doi : 10.36227/techrxiv.20427852.v1 .{{cite journal}}: Para citar una revista se requiere |journal=( ayuda )
  50. ^ Whye, Schwarz, Jonathan Jayakumar, Siddhant M. Pascanu, Razvan Latham, Peter E. Teh, Yee (1 de octubre de 2021). "Propagación de energía: una escasez que induce la reparametrización del peso" . OCLC 1333722169 . {{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
  51. ↑ Hu, Yuzheng; Lin, Licong; Tang, Shange (2019-12-20). "Información de segundo orden en métodos de optimización de primer orden". arXiv : 1912.09926 [ cs.LG ].
  52. ^ Reddi, Sashank J.; Kale, Satyen; Kumar, Sanjiv (2018). "Sobre la convergencia de Adán y más allá". arXiv : 1904.09237 [ cs.LG ].
  53. ↑ "Una visión general de los algoritmos de optimización por descenso de gradiente" . 19 de enero de 2016.
  54. ↑ Tran, Phuong Thi; Phong, Le Trieu (2019). "Sobre la prueba de convergencia de AMSGrad y una nueva versión" . IEEE Access . 7 : 61706–61716 . arXiv : 1904.03590 . Bibcode : 2019IEEEA...761706T . doi : 10.1109/ACCESS.2019.2916341 . ISSN 2169-3536 . 
  55. ↑ Loshchilov, Ilya; Hutter, Frank (4 de enero de 2019). "Regularización de decaimiento de peso desacoplado". arXiv : 1711.05101 [ cs.LG ].
  56. ↑ Balles, Lukas; Hennig, Philipp (15 de febrero de 2018). "Disecando a Adán: El signo, la magnitud y la varianza de los gradientes estocásticos" .
  57. 1 2 "SignSGD: Optimización comprimida para problemas no convexos" . 3 de julio de 2018. págs. 560–569 . 
  58. ↑ Byrd, RH; Hansen, SL; Nocedal, J.; Singer, Y. (2016). "Un método estocástico cuasi-Newton para la optimización a gran escala". SIAM Journal on Optimization . 26 (2): 1008– 1031. arXiv : 1401.7020 . doi : 10.1137/140954362 . S2CID 12396034 . 
  59. ↑ Spall, JC (2000). "Aproximación estocástica adaptativa mediante el método de perturbación simultánea". IEEE Transactions on Automatic Control . 45 (10): 1839−1853. Bibcode : 2000ITAC...45.1839S . doi : 10.1109/TAC.2000.880982 .
  60. ↑ Spall, JC (2009). "Mecanismos de retroalimentación y ponderación para mejorar las estimaciones jacobianas en el algoritmo de perturbación simultánea adaptativa". IEEE Transactions on Automatic Control . 54 (6): 1216– 1229. Bibcode : 2009ITAC...54.1216S . doi : 10.1109/TAC.2009.2019793 . S2CID 3564529 . 
  61. ↑ Bhatnagar, S.; Prasad, HL; Prashanth, LA (2013). Algoritmos recursivos estocásticos para la optimización: métodos de perturbación simultánea . Londres: Springer. ISBN 978-1-4471-4284-3.
  62. ^ Ruppert, D. (1985). "Una versión de Newton-Raphson del procedimiento multivariado de Robbins-Monro" . Anales de Estadística . 13 (1): 236– 245. doi : 10.1214/aos/1176346589 .
  63. ↑ Amari, S. (1998). "El gradiente natural funciona eficientemente en el aprendizaje". Neural Computation . 10 (2): 251– 276. doi : 10.1162/089976698300017746 . S2CID 207585383 . 
  64. ↑ Brust, JJ (2021). "Mínimos cuadrados no lineales para el aprendizaje automático a gran escala utilizando estimaciones jacobianas estocásticas". Taller: Más allá de los métodos de primer orden en el aprendizaje automático . ICML 2021. arXiv : 2107.05598 .
  65. ↑ Li, Qianxiao; Tai, Cheng; E, Weinan (2019). "Ecuaciones estocásticas modificadas y dinámica de algoritmos de gradiente estocástico I: Fundamentos matemáticos" . Journal of Machine Learning Research . 20 (40): 1– 47. arXiv : 1811.01558 . ISSN 1533-7928 . 
  66. ↑ Gess, Benjamin; Kassing, Sebastian; Konarovskyi, Vitalii (14 de febrero de 2023). "Flujos modificados estocásticos, límites de campo medio y dinámica del descenso de gradiente estocástico". arXiv : 2302.07125 [ math.PR ].

Lecturas adicionales

  • Bottou, Léon (2004), "Aprendizaje estocástico" , Conferencias avanzadas sobre aprendizaje automático , LNAI, vol.  3176, Springer, pp. 146–168 , ISBN  978-3-540-23122-6
  • Buduma, Nikhil; Locascio, Nicholas (2017), "Más allá del descenso de gradiente" , Fundamentos del aprendizaje profundo  : Diseño de algoritmos de inteligencia artificial de próxima generación , O'Reilly, ISBN 9781491925584
  • LeCun, Yann A .; Bottou, Léon; Orr, Genevieve B.; Müller, Klaus-Robert (2012), "Efficient BackProp" , Redes neuronales: Trucos del oficio , Springer, pp. 9–48 , ISBN  978-3-642-35288-1
  • Spall, James C. (2003), Introducción a la búsqueda estocástica y la optimización , Wiley , ISBN 978-0-471-33052-3
  • "Descenso de gradiente: cómo aprenden las redes neuronales" . 3Blue1Brown . 16 de octubre de 2017. Archivado del original el 22 de diciembre de 2021 ( vía YouTube) .
  • Goh (4 de abril de 2017). "Por qué Momentum realmente funciona" . Distill . 2 (4). doi : 10.23915/distill.00006 .Documento interactivo que explica el momento lineal.
Lecturas relacionadas
6 articulos
Método iterativoEn matemáticas computacionales , un método iterativo es un procedimiento matemático que utiliza un valor inicial para generar una secuencia de solu...Función de pérdidaFunción de pérdidaEn optimización matemática y teoría de decisiones , una función de pérdida o función de costo (a veces también llamada función de error) [1] es una...SuavidadSuavidadEn análisis matemático , la suavidad de una función es una propiedad medida por el número de derivadas continuas ( clase de diferenciabilidad) que ...Función diferenciableFunción diferenciableEn matemáticas , una función diferenciable de una variable real es una función cuya derivada existe en cada punto de su dominio . En otras palabras...SubderivadaUna función convexa (azul) y "líneas subtangentes" en (rojo). incógnita 0 estilo de visualización x_{0}} En matemáticas , las subderivadas (o subgr...{\textstyle f(\theta )=\nombre del operador {E} _{\xi }[F(\theta ,\xi )]}Aproximación estocásticaLos métodos de aproximación estocástica son una familia de métodos iterativos que se utilizan normalmente para problemas de búsqueda de raíces o de...