Regularización mediante filtrado espectral

La regularización espectral es una clase de técnicas de regularización utilizadas en el aprendizaje automático para controlar el impacto del ruido y prevenir el sobreajuste . Se puede utilizar en una amplia gama de aplicaciones, desde la eliminación de desenfoque en imágenes hasta la clasificación de correos electrónicos en carpetas de spam y de correo legítimo. Por ejemplo, en el caso de la clasificación de correos electrónicos, la regularización espectral se puede utilizar para reducir el impacto del ruido y prevenir el sobreajuste cuando se entrena un sistema de aprendizaje automático con un conjunto etiquetado de correos electrónicos para aprender a distinguir entre spam y correo legítimo.

Los algoritmos de regularización espectral se basan en métodos que fueron definidos y estudiados originalmente en la teoría de problemas inversos mal condicionados (por ejemplo, véase ^{[ 1 ]} ), centrándose en la inversión de un operador lineal (o una matriz) que posiblemente tenga un número de condición malo o una inversa no acotada. En este contexto, la regularización equivale a sustituir el operador original por un operador acotado llamado "operador de regularización" que tiene un número de condición controlado por un parámetro de regularización, ^{[ 2 ]} un ejemplo clásico es la regularización de Tikhonov . Para garantizar la estabilidad, este parámetro de regularización se ajusta en función del nivel de ruido. ^{[ 2 ]} La idea principal detrás de la regularización espectral es que cada operador de regularización puede describirse utilizando el cálculo espectral como un filtro apropiado sobre los autovalores del operador que define el problema, y ​​la función del filtro es "suprimir el comportamiento oscilatorio correspondiente a autovalores pequeños". ^{[ 2 ]} Por lo tanto, cada algoritmo de la clase de algoritmos de regularización espectral se define mediante una función de filtro adecuada (que debe derivarse para ese algoritmo en particular). Tres de los algoritmos de regularización más utilizados, para los cuales el filtrado espectral está bien estudiado, son la regularización de Tikhonov, la iteración de Landweber y la descomposición en valores singulares truncada (TSVD). En cuanto a la elección del parámetro de regularización, algunos ejemplos de métodos candidatos para calcular este parámetro incluyen el principio de discrepancia, la validación cruzada generalizada y el criterio de la curva L. ^{[ 3 ]}

Cabe destacar que la noción de filtrado espectral estudiada en el contexto del aprendizaje automático está estrechamente relacionada con la literatura sobre aproximación de funciones (en el procesamiento de señales).

El conjunto de entrenamiento se define como${\displaystyle S=\{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$, dónde${\displaystyle X}$es el${\displaystyle n\times d}$matriz de entrada y${\displaystyle Y=(y_{1},\dots,y_{n})}$es el vector de salida. Cuando corresponda, la función kernel se denota por${\displaystyle k}$y el${\displaystyle n\times n}$La matriz del núcleo se denota por${\displaystyle K}$que tiene entradas${\displaystyle K_{ij}=k(x_{i},x_{j})}$y${\displaystyle {\mathcal {H}}}$denota el espacio de Hilbert con núcleo reproductor (RKHS) con núcleo${\displaystyle k}$El parámetro de regularización se denota por${\displaystyle \lambda }$.

(Nota: Para${\displaystyle g\in G}$y${\displaystyle f\in F}$, con${\displaystyle G}$y${\displaystyle F}$siendo espacios de Hilbert, dado un operador lineal y continuo${\displaystyle L}$, supongamos que${\displaystyle g=Lf}$se sostiene. En este contexto, el problema directo sería resolver para${\displaystyle g}$dado${\displaystyle f}$y el problema inverso sería resolver para${\displaystyle f}$dado${\displaystyle g}$. Si la solución existe, es única y estable, el problema inverso (es decir, el problema de resolver para${\displaystyle f}$) está bien planteado; de lo contrario, está mal planteado.)

La conexión entre el problema de estimación de mínimos cuadrados regularizados (RLS) (configuración de regularización de Tikhonov) y la teoría de problemas inversos mal condicionados es un ejemplo de cómo los algoritmos de regularización espectral están relacionados con la teoría de problemas inversos mal condicionados.

El estimador RLS resuelve $${\displaystyle \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}+\lambda \left\|f\right\|_{\mathcal {H}}^{2}}$$ y el RKHS permite expresar este estimador RLS como${\displaystyle f_{S}^{\lambda }(X)=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$dónde${\displaystyle (K+n\lambda I)c=Y}$con${\displaystyle c=(c_{1},\dots ,c_{n})}$. ^{[ 4 ]} El término de penalización se utiliza para controlar la suavidad y prevenir el sobreajuste. Dado que la solución de minimización del riesgo empírico${\displaystyle \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$se puede escribir como${\displaystyle f_{S}^{\lambda }(X)=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$de tal manera que${\displaystyle Kc=Y}$, agregar la función de penalización equivale al siguiente cambio en el sistema que debe resolverse: ^{[ 5 ]}$${\displaystyle \left\{\min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}\rightarrow \min _{f\in {\mathcal {H}}}{\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2}+\lambda \left\|f\right\|_{\mathcal {H}}^{2}\right\}\equiv {\biggl \{}Kc=Y\rightarrow \left(K+n\lambda I\right)c=Y{\biggr \}}.}$$

En este entorno de aprendizaje, la matriz del núcleo se puede descomponer como${\displaystyle K=Q\Sigma Q^{T}}$, con $${\displaystyle \Sigma =\operatorname {diag} (\sigma _{1},\dots ,\sigma _{n}),~\sigma _{1}\geq \sigma _{2}\geq \cdots \geq \sigma _{n}\geq 0}$$ y${\displaystyle q_{1},\dots ,q_{n}}$son los vectores propios correspondientes. Por lo tanto, en la configuración inicial de aprendizaje, se cumple lo siguiente: $${\displaystyle c=K^{-1}Y=Q\Sigma ^{-1}Q^{T}Y=\sum _{i=1}^{n}{\frac {1}{\sigma _{i}}}\langle q_{i},Y\rangle q_{i}.}$$

Por lo tanto, para valores propios pequeños, incluso pequeñas perturbaciones en los datos pueden provocar cambios considerables en la solución. En consecuencia, el problema está mal condicionado, y resolver este problema RLS equivale a estabilizar un problema de inversión de matrices posiblemente mal condicionado, que se estudia en la teoría de problemas inversos mal planteados; en ambos problemas, una preocupación principal es abordar la cuestión de la estabilidad numérica .

Cada algoritmo de la clase de algoritmos de regularización espectral se define mediante una función de filtro adecuada, denotada aquí por${\displaystyle G_{\lambda }(\cdot )}$. Si la matriz del núcleo se denota por${\displaystyle K}$, entonces${\displaystyle \lambda }$debería controlar la magnitud de los autovalores más pequeños de${\displaystyle G_{\lambda }(K)}$En una configuración de filtrado, el objetivo es encontrar estimadores.${\displaystyle f_{S}^{\lambda }(X):=\sum _{i=1}^{n}c_{i}k(x,x_{i})}$dónde${\displaystyle c=G_{\lambda }(K)Y}$Para ello, se utiliza una función de filtro escalar.${\displaystyle G_{\lambda }(\sigma )}$se define utilizando la descomposición en valores propios de la matriz del núcleo: $${\displaystyle G_{\lambda }(K)=QG_{\lambda }(\Sigma )Q^{T},}$$ lo cual produce $${\displaystyle G_{\lambda }(K)Y~=~\sum _{i=1}^{n}G_{\lambda }(\sigma _{i})\langle q_{i},Y\rangle q_{i}.}$$

Por lo general, una función de filtro apropiada debe tener las siguientes propiedades: ^{[ 5 ]}

1. Como${\displaystyle \lambda }$va a cero,${\displaystyle G_{\lambda }(\sigma )~\rightarrow ~1/\sigma }$.
2. La magnitud de los autovalores (más pequeños) de${\displaystyle G_{\lambda }}$está controlado por${\displaystyle \lambda }$.

Si bien los puntos anteriores ofrecen una caracterización aproximada de las propiedades generales de las funciones de filtro para todos los algoritmos de regularización espectral, la derivación de la función de filtro (y, por lo tanto, su forma exacta) varía según el método de regularización específico al que se aplique el filtrado espectral.

c 0 := 0 para i = 1, ..., t − 1 c i := c i −1 + η ( Y − Kc i −1 ) fin