pérdida de bisagra

En aprendizaje automático , la pérdida de bisagra es una función de pérdida que se utiliza para entrenar clasificadores . La pérdida de bisagra se utiliza para la clasificación de "máximo margen", sobre todo para las máquinas de vectores de soporte (SVM). ^{[ 1 ]}

Para una salida prevista t = ±1 y una puntuación del clasificador y , la pérdida de bisagra de la predicción y se define como:

${\displaystyle \ell (y)=\max(0,1-t\cdot y)}$

Tenga en cuenta que${\displaystyle y}$debe ser la salida "bruta" de la función de decisión del clasificador, no la etiqueta de clase predicha. Por ejemplo, en las SVM lineales,${\displaystyle y=\mathbf {w} \cdot \mathbf {x} +b}$, dónde${\displaystyle (\mathbf {w},b)}$son los parámetros del hiperplano y${\displaystyle \mathbf {x} }$es la(s) variable(s) de entrada.

Cuando t e y tienen el mismo signo (lo que significa que y predice la clase correcta) y${\displaystyle |y|\geq 1}$, la pérdida de bisagra${\displaystyle \ell (y)=0}$Cuando tienen signos opuestos,${\displaystyle \ell (y)}$aumenta linealmente con y , y de manera similar si${\displaystyle |y|<1}$, incluso si tiene el mismo signo (predicción correcta, pero no por suficiente margen).

La pérdida de bisagra no es una regla de puntuación adecuada .

Si bien las SVM binarias se extienden comúnmente a la clasificación multiclase de forma uno contra todos o uno contra uno, ^{[ 2 ]} también es posible extender la pérdida de bisagra para tal fin. Se han propuesto varias variaciones diferentes de la pérdida de bisagra multiclase. ^{[ 3 ]} Por ejemplo, Crammer y Singer ^{[ 4 ]} la definieron para un clasificador lineal como ^{[ 5 ]}

${\displaystyle \ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )}$,

dónde${\displaystyle t}$es la etiqueta objetivo,${\displaystyle \mathbf {w} _ {t}}$y${\displaystyle \mathbf {w} _ {y}}$son los parámetros del modelo.

Weston y Watkins proporcionaron una definición similar, pero con una suma en lugar de un máximo: ^{[ 6 ] [ 3 ]}

${\displaystyle \ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )}$.

En la predicción estructurada , la pérdida de bisagra se puede extender aún más a espacios de salida estructurados. Las SVM estructuradas con reescalado de margen utilizan la siguiente variante, donde w denota los parámetros de la SVM, y las predicciones de la SVM, φ la función de características conjunta y Δ la pérdida de Hamming :

${\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}}$.

La pérdida de bisagra es una función convexa , por lo que muchos de los optimizadores convexos habituales utilizados en el aprendizaje automático pueden trabajar con ella. No es diferenciable , pero tiene un subgradiente con respecto a los parámetros del modelo w de una SVM lineal con función de puntuación.${\displaystyle y=\mathbf {w} \cdot \mathbf {x} }$que se da por

${\displaystyle {\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1,\\0&{\text{otherwise}}.\end{cases}}}$

Sin embargo, dado que la derivada de la pérdida de bisagra en${\displaystyle ty=1}$Si no está definido, se pueden preferir versiones suavizadas para la optimización, como las de Rennie y Srebro ^{[ 7 ].}

${\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty<1,\\0&{\text{if}}~~1\leq ty\end{cases}}}$

o el suavizado cuadrático

${\displaystyle \ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma ,\\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}$

sugerido por Zhang. ^{[ 8 ]} La pérdida de Huber modificada${\displaystyle L}$es un caso especial de esta función de pérdida con${\displaystyle \gamma =2}$, específicamente${\displaystyle L(t,y)=4\ell _{2}(y)}$.

• Spline de regresión adaptativa multivariante §  Funciones de bisagra