Regularización (matemáticas)

Detiene el entrenamiento cuando el rendimiento de validación se deteriora, evitando el sobreajuste al detenerse antes de que el modelo memorice los datos de entrenamiento. ^{[ 5 ]}

Agrega términos de penalización a la función de costo para desalentar los modelos complejos:

• La regularización L1 (también llamada LASSO ) da lugar a modelos dispersos al añadir una penalización basada en el valor absoluto de los coeficientes.
• La regularización L2 (también llamada regresión de cresta ) fomenta pesos más pequeños y distribuidos de manera más uniforme al agregar una penalización basada en el cuadrado de los coeficientes. ^{[ 5 ]}

En el contexto de las redes neuronales, la técnica Dropout ignora repetidamente subconjuntos aleatorios de neuronas durante el entrenamiento, lo que simula el entrenamiento de múltiples arquitecturas de redes neuronales a la vez para mejorar la generalización. ^{[ 5 ]}

La regularización puede considerarse una técnica para mejorar la capacidad de generalización de un modelo aprendido.

El objetivo de este problema de aprendizaje es encontrar una función que se ajuste o prediga el resultado (etiqueta) que minimice el error esperado sobre todas las posibles entradas y etiquetas. El error esperado de una función${\displaystyle f_{n}}$es: $${\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}$$ dónde${\displaystyle X}$y${\displaystyle Y}$son los dominios de los datos de entrada${\displaystyle x}$y sus etiquetas${\displaystyle y}$respectivamente.

Por lo general, en los problemas de aprendizaje, solo se dispone de un subconjunto de datos de entrada y etiquetas, medidos con cierto ruido. Por lo tanto, el error esperado es inmensurable, y el mejor sustituto disponible es el error empírico sobre el${\displaystyle N}$Muestras disponibles: $${\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}$$ Sin límites en la complejidad del espacio de funciones (formalmente, el espacio de Hilbert del núcleo reproductor ) disponible, se aprenderá un modelo que no incurre en pérdida alguna en el error empírico sustituto. Si las mediciones (por ejemplo, de${\displaystyle x_{i}}$Si se realizaron con ruido, este modelo puede sufrir sobreajuste y mostrar un error esperado deficiente. La regularización introduce una penalización por explorar ciertas regiones del espacio funcional utilizado para construir el modelo, lo que puede mejorar la generalización.

El problema de aprendizaje con la función de pérdida de mínimos cuadrados y la regularización de Tikhonov se puede resolver analíticamente. Escrito en forma matricial, el óptimo${\displaystyle w}$es aquel para el cual el gradiente de la función de pérdida con respecto a${\displaystyle w}$es 0. $${\displaystyle \min _{w}{\frac {1}{n}}\left({\hat {X}}wY\right)^{\mathsf {T}}\left({\hat {X}}wY\right)+\lambda \left\|w\right\|_{2}^{2}}$$$${\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+2\lambda w}$$$${\displaystyle 0={\hat {X}}^{\mathsf {T}}\left({\hat {X}}wY\right)+n\lambda w}$$$${\displaystyle w=\left({\hat {X}}^{\mathsf {T}}{\hat {X}}+\lambda nI\right)^{-1}\left({\hat {X}}^{\mathsf {T}}Y\right)}$$ donde la tercera afirmación es una condición de primer orden .

Por construcción del problema de optimización, otros valores de${\displaystyle w}$dan valores mayores para la función de pérdida. Esto se puede verificar examinando la segunda derivada.${\displaystyle \nabla _{ww}}$.

Durante el entrenamiento, este algoritmo toma${\displaystyle O(d^{3}+nd^{2})}$tiempo . Los términos corresponden a la inversión de la matriz y al cálculo${\displaystyle X^{\mathsf {T}}X}$, respectivamente. Las pruebas llevan${\displaystyle O(nd)}$tiempo.

Consideremos la aproximación finita de la serie de Neumann para una matriz invertible A donde${\displaystyle \left\|IA\right\|<1}$: $${\displaystyle \sum _{i=0}^{T-1}\left(IA\right)^{i}\approx A^{-1}}$$

Esto puede utilizarse para aproximar la solución analítica de mínimos cuadrados no regularizados, si se introduce γ para asegurar que la norma sea menor que uno.$${\displaystyle w_{T}={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}}$$

La solución exacta al problema de aprendizaje de mínimos cuadrados no regularizados minimiza el error empírico, pero puede fallar. Al limitar T , el único parámetro libre en el algoritmo anterior, el problema se regulariza en el tiempo, lo que puede mejorar su generalización.

El algoritmo anterior es equivalente a restringir el número de iteraciones de descenso de gradiente para el riesgo empírico. $${\displaystyle I_{s}[w]={\frac {1}{2n}}\left\|{\hat {X}}w-{\hat {Y}}\right\|_{\mathbb {R} ^{n}}^{2}}$$ Con la actualización del descenso de gradiente: $${\displaystyle {\begin{aligned}w_{0}&=0\\[1ex]w_{t+1}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)w_{t}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

El caso base es trivial. El caso inductivo se demuestra de la siguiente manera: $${\displaystyle {\begin{aligned}w_{T}&=\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right){\frac {\gamma }{n}}\sum _{i=0}^{T-2}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=1}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}+{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\\[1ex]&={\frac {\gamma }{n}}\sum _{i=0}^{T-1}\left(I-{\frac {\gamma }{n}}{\hat {X}}^{\mathsf {T}}{\hat {X}}\right)^{i}{\hat {X}}^{\mathsf {T}}{\hat {Y}}\end{aligned}}}$$

Mientras que el${\displaystyle L_{1}}$La norma no da como resultado un problema NP-difícil,${\displaystyle L_{1}}$La norma es convexa pero no es estrictamente diferenciable debido al quiebre en x = 0. Se pueden utilizar métodos de subgradiente que se basan en la subderivada para resolver${\displaystyle L_{1}}$problemas de aprendizaje regularizados. Sin embargo, se puede lograr una convergencia más rápida mediante métodos proximales.

Para un problema${\displaystyle \min _{w\in H}F(w)+R(w)}$de tal manera que${\displaystyle F}$es convexa, continua, diferenciable, con gradiente continuo de Lipschitz (como la función de pérdida de mínimos cuadrados) y${\displaystyle R}$Si es convexa, continua y propia, entonces el método proximal para resolver el problema es el siguiente. Primero definimos el operador proximal.$${\displaystyle \operatorname {prox} _{R}(v)=\mathop {\operatorname {argmin} } _{w\in \mathbb {R} ^{D}}\left\{R(w)+{\frac {1}{2}}\left\|w-v\right\|^{2}\right\},}$$ y luego iterar $${\displaystyle w_{k+1}=\mathop {\operatorname {prox} } _{\gamma ,R}\left(w_{k}-\gamma \nabla F(w_{k})\right)}$$

El método proximal realiza iterativamente el descenso de gradiente y luego proyecta el resultado de vuelta al espacio permitido por${\displaystyle R}$.

Cuando${\displaystyle R}$es el regularizador L ₁ , el operador proximal es equivalente al operador de umbralización suave, $${\displaystyle S_{\lambda }(v)f(n)={\begin{cases}v_{i}-\lambda ,&{\text{if }}v_{i}>\lambda \\0,&{\text{if }}v_{i}\in [-\lambda ,\lambda ]\\v_{i}+\lambda ,&{\text{if }}v_{i}<-\lambda \end{cases}}}$$

Esto permite un cálculo eficiente.

Los grupos de características pueden regularizarse mediante una restricción de escasez, lo que puede resultar útil para expresar cierto conocimiento previo en un problema de optimización.

En el caso de un modelo lineal con grupos conocidos que no se superponen, se puede definir un regularizador: $${\displaystyle R(w)=\sum _{g=1}^{G}\left\|w_{g}\right\|_{2},}$$dónde$${\displaystyle \|w_{g}\|_{2}={\sqrt {\sum _{j=1}^{|G_{g}|}\left(w_{g}^{j}\right)^{2}}}}$$

Esto puede verse como la inducción de un regularizador sobre el${\displaystyle L_{2}}$norma sobre los miembros de cada grupo seguida de una${\displaystyle L_{1}}$norma sobre grupos.

Esto se puede resolver mediante el método proximal, donde el operador proximal es una función de umbralización suave por bloques:

$${\displaystyle \operatorname {prox} \limits _{\lambda ,R,g}(w_{g})={\begin{cases}\left(1-{\dfrac {\lambda }{\left\|w_{g}\right\|_{2}}}\right)w_{g},&{\text{if }}\left\|w_{g}\right\|_{2}>\lambda \\[1ex]0,&{\text{if }}\|w_{g}\|_{2}\leq \lambda \end{cases}}}$$

El algoritmo descrito para la escasez de grupos sin solapamientos puede aplicarse al caso en que los grupos se solapan, en ciertas situaciones. Esto probablemente dará como resultado algunos grupos con todos los elementos iguales a cero, y otros grupos con algunos elementos distintos de cero y otros iguales a cero.

Si se desea preservar la estructura del grupo, se puede definir un nuevo regularizador: $${\displaystyle R(w)=\inf \left\{\sum _{g=1}^{G}\|w_{g}\|_{2}:w=\sum _{g=1}^{G}{\bar {w}}_{g}\right\}}$$

Para cada${\displaystyle w_{g}}$,${\displaystyle {\bar {w}}_{g}}$se define como el vector tal que la restricción de${\displaystyle {\bar {w}}_{g}}$al grupo${\displaystyle g}$igual${\displaystyle w_{g}}$y todas las demás entradas de${\displaystyle {\bar {w}}_{g}}$son cero. El regularizador encuentra la desintegración óptima de${\displaystyle w}$en partes. Puede considerarse como la duplicación de todos los elementos que existen en múltiples grupos. Los problemas de aprendizaje con este regularizador también pueden resolverse con el método proximal, aunque con una complicación. El operador proximal no puede calcularse de forma cerrada, pero puede resolverse iterativamente, lo que induce una iteración interna dentro de la iteración del método proximal.

$${\displaystyle R(w)=\sum _{i=1}^{D}\left\|W\right\|_{2,1}}$$

Este regularizador define una norma L2 en cada columna y una norma L1 en todas las columnas. Se puede resolver mediante métodos proximales.

$${\displaystyle R(w)=\left\|\sigma (W)\right\|_{1}}$$dónde${\displaystyle \sigma (W)}$son los valores propios en la descomposición en valores singulares de${\displaystyle W}$.

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t=1}^{T}\left\|f_{t}-{\frac {1}{T}}\sum _{s=1}^{T}f_{s}\right\|_{H_{k}}^{2}}$$

Este regularizador restringe las funciones aprendidas para cada tarea a ser similares al promedio general de las funciones en todas las tareas. Esto resulta útil para expresar información previa que se espera que cada tarea comparta con las demás. Un ejemplo es la predicción de los niveles de hierro en sangre medidos en diferentes momentos del día, donde cada tarea representa a un individuo.

$${\displaystyle R(f_{1}\cdots f_{T})=\sum _{r=1}^{C}\sum _{t\in I(r)}\left\|f_{t}-{\frac {1}{I(r)}}\sum _{s\in I(r)}f_{s}\right\|_{H_{k}}^{2}}$$dónde${\displaystyle I(r)}$es un conjunto de tareas.

Este regularizador es similar al regularizador con restricción de media, pero impone similitud entre tareas dentro del mismo clúster. Esto permite capturar información previa más compleja. Esta técnica se ha utilizado para predecir recomendaciones de Netflix . Un clúster correspondería a un grupo de personas con preferencias similares.

De forma más general que la descrita anteriormente, la similitud entre tareas puede definirse mediante una función. El regularizador fomenta que el modelo aprenda funciones similares para tareas similares. $${\displaystyle R(f_{1}\cdots f_{T})=\sum _{t,s=1,t\neq s}^{\mathsf {T}}\left\|f_{t}-f_{s}\right\|^{2}M_{ts}}$$para una matriz de similitud simétrica dada${\displaystyle M}$.