Perspectivas de regularización en máquinas de vectores de soporte

Dentro del análisis matemático , las perspectivas de regularización en máquinas de vectores de soporte proporcionan una forma de interpretar las máquinas de vectores de soporte (SVM) en el contexto de otros algoritmos de aprendizaje automático basados ​​en regularización. Los algoritmos SVM categorizan datos binarios, con el objetivo de ajustar los datos del conjunto de entrenamiento de una manera que minimice el promedio de la función de pérdida de bisagra y la norma L2 de los pesos aprendidos. Esta estrategia evita el sobreajuste a través de la regularización de Tikhonov y en el sentido de la norma L2 y también corresponde a minimizar el sesgo y la varianza de nuestro estimador de los pesos. Los estimadores con un error cuadrático medio más bajo predicen mejor o generalizan mejor cuando se les dan datos no vistos.

En concreto, los algoritmos de regularización de Tikhonov generan un límite de decisión que minimiza el error medio del conjunto de entrenamiento y limita el límite de decisión para que no sea excesivamente complicado ni se ajuste demasiado a los datos de entrenamiento mediante una norma L2 del término de ponderaciones. Los errores del conjunto de entrenamiento y de prueba se pueden medir sin sesgo y de forma justa utilizando exactitud, precisión, Auc-Roc, precisión-recuperación y otras métricas.

Las perspectivas de regularización en máquinas de vectores de soporte interpretan SVM como un caso especial de regularización de Tikhonov, específicamente regularización de Tikhonov con la pérdida de bisagra para una función de pérdida. Esto proporciona un marco teórico con el que analizar algoritmos SVM y compararlos con otros algoritmos con los mismos objetivos: generalizar sin sobreajuste . SVM fue propuesto por primera vez en 1995 por Corinna Cortes y Vladimir Vapnik , y enmarcado geométricamente como un método para encontrar hiperplanos que pueden separar datos multidimensionales en dos categorías. ^[1] Esta interpretación geométrica tradicional de SVM proporciona una intuición útil sobre cómo funcionan SVM, pero es difícil de relacionar con otras técnicas de aprendizaje automático para evitar el sobreajuste, como regularización , detención temprana , escasez e inferencia bayesiana . Sin embargo, una vez que se descubrió que SVM también es un caso especial de regularización de Tikhonov, las perspectivas de regularización en SVM proporcionaron la teoría necesaria para ajustar SVM dentro de una clase más amplia de algoritmos. ^{[2] [3] [4]} Esto ha permitido realizar comparaciones detalladas entre SVM y otras formas de regularización de Tikhonov, y una base teórica de por qué es beneficioso utilizar la función de pérdida de SVM, la pérdida de bisagra. ^[5]

En el marco de la teoría del aprendizaje estadístico , un algoritmo es una estrategia para elegir una función dado un conjunto de datos de entrenamiento y sus etiquetas (las etiquetas suelen ser ). Las estrategias de regularización evitan el sobreajuste eligiendo una función que se ajuste a los datos, pero que no sea demasiado compleja. En concreto: ${\displaystyle f\colon \mathbf {X} \to \mathbf {Y} }$${\displaystyle S=\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\}}$${\displaystyle x_{i}}$${\displaystyle y_{i}}$${\displaystyle \pm 1}$

${\displaystyle f={\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left\{{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))+\lambda \|f\|_{\mathcal {H}}^{2}\right\},}$

donde es un espacio de hipótesis ^[6] de funciones, es la función de pérdida, es una norma en el espacio de hipótesis de funciones y es el parámetro de regularización. ^[7]${\displaystyle {\mathcal {H}}}$${\displaystyle V\colon \mathbf {Y} \times \mathbf {Y} \to \mathbb {R} }$${\displaystyle \|\cdot \|_{\mathcal {H}}}$${\displaystyle \lambda \in \mathbb {R} }$

Cuando es un espacio de Hilbert de núcleo reproductor , existe una función de núcleo que puede escribirse como una matriz definida positiva simétrica . Por el teorema del representador , ^[8]${\displaystyle {\mathcal {H}}}$ ${\displaystyle K\colon \mathbf {X} \times \mathbf {X} \to \mathbb {R} }$${\displaystyle n\times n}$ ${\displaystyle \mathbf {K} }$

${\displaystyle f(x_{i})=\sum _{j=1}^{n}c_{j}\mathbf {K} _{ij},{\text{ and }}\|f\|_{\mathcal {H}}^{2}=\langle f,f\rangle _{\mathcal {H}}=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=c^{T}\mathbf {K} c.}$

La función de pérdida más simple e intuitiva para la categorización es la pérdida por clasificación errónea, o pérdida 0-1, que es 0 si y 1 si , es decir, la función de paso de Heaviside en . Sin embargo, esta función de pérdida no es convexa , lo que hace que el problema de regularización sea muy difícil de minimizar computacionalmente. Por lo tanto, buscamos sustitutos convexos para la pérdida 0-1. La pérdida de bisagra, , donde , proporciona dicha relajación convexa. De hecho, la pérdida de bisagra es el límite superior convexo más estricto para la función de pérdida por clasificación errónea 0-1, ^[4] y con datos infinitos devuelve la solución óptima de Bayes : ^{[5] [9]}${\displaystyle f(x_{i})=y_{i}}$${\displaystyle f(x_{i})\neq y_{i}}$${\displaystyle -y_{i}f(x_{i})}$${\displaystyle V{\big (}y_{i},f(x_{i}){\big )}={\big (}1-yf(x){\big )}_{+}}$${\displaystyle (s)_{+}=\max(s,0)}$

${\displaystyle f_{b}(x)={\begin{cases}1,&p(1\mid x)>p(-1\mid x),\\-1,&p(1\mid x)<p(-1\mid x).\end{cases}}}$

Se puede demostrar que el problema de regularización de Tikhonov es equivalente a las formulaciones tradicionales de SVM expresándolo en términos de la pérdida de bisagra. ^[10] Con la pérdida de bisagra

${\displaystyle V{\big (}y_{i},f(x_{i}){\big )}={\big (}1-yf(x){\big )}_{+},}$

donde , el problema de regularización se convierte en ${\displaystyle (s)_{+}=\max(s,0)}$

${\displaystyle f={\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left\{{\frac {1}{n}}\sum _{i=1}^{n}{\big (}1-yf(x){\big )}_{+}+\lambda \|f\|_{\mathcal {H}}^{2}\right\}.}$

Multiplicando por rendimientos ${\displaystyle 1/(2\lambda )}$

${\displaystyle f={\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left\{C\sum _{i=1}^{n}{\big (}1-yf(x){\big )}_{+}+{\frac {1}{2}}\|f\|_{\mathcal {H}}^{2}\right\}}$

con , que es equivalente al problema de minimización SVM estándar. ${\displaystyle C=1/(2\lambda n)}$

• Evgeniou, Theodoros; Massimiliano Pontil; Tomaso Poggio (2000). "Redes de regularización y máquinas de vectores de soporte" (PDF) . Avances en matemáticas computacionales . 13 (1): 1– 50. doi :10.1023/A:1018946025316. S2CID  70866.
• Joachims, Thorsten. "SVMlight". Archivado desde el original el 19 de abril de 2015. Consultado el 18 de mayo de 2012 .
• Vapnik, Vladimir (1999). La naturaleza de la teoría del aprendizaje estadístico. Nueva York: Springer-Verlag. ISBN 978-0-387-98780-4.