Funciones de pérdida para la clasificación

En el aprendizaje automático y la optimización matemática , las funciones de pérdida para la clasificación son funciones de pérdida computacionalmente factibles que representan el precio pagado por la inexactitud de las predicciones en problemas de clasificación (problemas de identificar a qué categoría pertenece una observación particular). ^{[ 1 ]} Dado${\displaystyle {\mathcal {X}}}$como el espacio de todas las entradas posibles (generalmente${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$), y${\displaystyle {\mathcal {Y}}=\{-1,1\}}$como el conjunto de etiquetas (posibles resultados), un objetivo típico de los algoritmos de clasificación es encontrar una función${\displaystyle f:{\mathcal {X}}\to {\mathcal {Y}}}$que mejor predice una etiqueta${\displaystyle y}$para una entrada dada${\displaystyle {\vec {x}}}$. ^{[ 2 ]} Sin embargo, debido a información incompleta, ruido en la medición o componentes probabilísticos en el proceso subyacente, es posible que el mismo${\displaystyle {\vec {x}}}$para generar diferentes${\displaystyle y}$. ^{[ 3 ]} Como resultado, el objetivo del problema de aprendizaje es minimizar la pérdida esperada (también conocida como riesgo), definida como

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

dónde${\displaystyle V(f({\vec {x}}),y)}$es una función de pérdida dada, y ${\displaystyle p({\vec {x}},y)}$es la función de densidad de probabilidad del proceso que generó los datos, que puede escribirse de forma equivalente como

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

Dentro de la clasificación, varias funciones de pérdida de uso común se escriben únicamente en términos del producto de la etiqueta verdadera.${\displaystyle y}$y la etiqueta prevista${\displaystyle f({\vec {x}})}$Por lo tanto, pueden definirse como funciones de una sola variable.${\displaystyle \upsilon =yf({\vec {x}})}$, de modo que${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$con una función elegida adecuadamente${\displaystyle \phi$ :\mathbb {R} \to \mathbb {R} } . Estas se denominan funciones de pérdida basadas en el margen . Elegir una función de pérdida basada en el margen equivale a elegir${\displaystyle \phi }$La selección de una función de pérdida dentro de este marco impacta en el óptimo${\displaystyle f_{\phi }^{*}}$que minimiza el riesgo esperado, véase minimización del riesgo empírico .

En el caso de clasificación binaria, es posible simplificar el cálculo del riesgo esperado a partir de la integral especificada anteriormente. Específicamente,

${\displaystyle {\begin{aligned}I[f]&=\int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy\\[6pt]&=\int _{\mathcal {X}}\int _{\mathcal {Y}}\phi (yf({\vec {x}}))\,p(y\mid {\vec {x}})\,p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _ {\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,p(-1\mid {\vec {x}})]\,p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,(1-p(1\mid {\vec {x}}))]\,p({\vec {x}})\,d{\vec {x}}\end{aligned}}}$

La segunda igualdad se deduce de las propiedades descritas anteriormente. La tercera igualdad se deduce del hecho de que 1 y −1 son los únicos valores posibles para${\displaystyle y}$y el cuarto porque${\displaystyle p(-1\mid x)=1-p(1\mid x)}$El término entre paréntesis${\displaystyle [\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]}$se conoce como riesgo condicional.

Se puede resolver para el minimizador de${\displaystyle I[f]}$tomando la derivada funcional de la última igualdad con respecto a${\displaystyle f}$y haciendo que la derivada sea igual a 0. Esto dará como resultado la siguiente ecuación.

${\displaystyle {\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0,\;\;\;\;\;(1)}$

dónde${\displaystyle \eta =p(y=1|{\vec {x}})}$, lo cual también equivale a establecer la derivada del riesgo condicional igual a cero.

Dada la naturaleza binaria de la clasificación, una selección natural para una función de pérdida (suponiendo el mismo costo para los falsos positivos y los falsos negativos ) sería la función de pérdida 0-1 ( función indicadora 0-1 ), que toma el valor de 0 si la clasificación predicha es igual a la de la clase verdadera o un 1 si la clasificación predicha no coincide con la clase verdadera. Esta selección se modela mediante

${\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}}))}$

dónde${\displaystyle H}$indica la función escalón de Heaviside . Sin embargo, esta función de pérdida no es convexa ni suave, y resolver la solución óptima es un problema de optimización combinatoria NP-difícil . ^{[ 4 ]} Como resultado, es mejor sustituir funciones de pérdida sustitutas que sean manejables para los algoritmos de aprendizaje comúnmente utilizados, ya que tienen propiedades convenientes como ser convexas y suaves. Además de su manejabilidad computacional, se puede demostrar que las soluciones al problema de aprendizaje que utilizan estas funciones de pérdida sustitutas permiten recuperar la solución real al problema de clasificación original. ^{[ 5 ]} Algunas de estas sustitutas se describen a continuación.

En la práctica, la distribución de probabilidad${\displaystyle p({\vec {x}},y)}$es desconocido. En consecuencia, utilizar un conjunto de entrenamiento de${\displaystyle n}$puntos de muestra distribuidos de forma independiente e idéntica

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}}$

Al extraer datos del espacio muestral , se busca minimizar el riesgo empírico.

${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

como un indicador del riesgo esperado. ^{[ 3 ]} (Véase la teoría del aprendizaje estadístico para una descripción más detallada).

Utilizando el teorema de Bayes , se puede demostrar que el óptimo${\displaystyle f_{0/1}^{*}}$, es decir, la que minimiza el riesgo esperado asociado con la pérdida cero-uno, implementa la regla de decisión óptima de Bayes para un problema de clasificación binaria y tiene la forma de

${\displaystyle f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$.

Se dice que una función de pérdida está calibrada para la clasificación o es consistente con Bayes si su valor óptimo${\displaystyle f_{\phi }^{*}}$es tal que${\displaystyle f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))}$y, por lo tanto, es óptimo bajo la regla de decisión de Bayes. Una función de pérdida consistente con Bayes nos permite encontrar la función de decisión óptima de Bayes.${\displaystyle f_{\phi }^{*}}$minimizando directamente el riesgo esperado y sin tener que modelar explícitamente las funciones de densidad de probabilidad.

Para pérdida de margen convexo${\displaystyle \phi (\upsilon )}$, se puede demostrar que${\displaystyle \phi (\upsilon )}$es consistente en Bayes si y solo si es diferenciable en 0 y${\displaystyle \phi '(0)<0}$. ^{[ 6 ] [ 1 ]} Sin embargo, este resultado no excluye la existencia de funciones de pérdida consistentes con Bayes no convexas. Un resultado más general establece que las funciones de pérdida consistentes con Bayes se pueden generar utilizando la siguiente formulación ^{[ 7 ]}

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)}$,

dónde${\displaystyle f(\eta ),(0\leq \eta \leq 1)}$es cualquier función invertible tal que${\displaystyle f^{-1}(-v)=1-f^{-1}(v)}$y${\displaystyle C(\eta )}$es cualquier función diferenciable estrictamente cóncava tal que${\displaystyle C(\eta )=C(1-\eta )}$La Tabla I muestra las funciones de pérdida consistentes de Bayes generadas para algunas opciones de ejemplo de${\displaystyle C(\eta )}$y${\displaystyle f^{-1}(v)}$Nótese que las funciones de pérdida de Savage y Tangent no son convexas. Se ha demostrado que estas funciones de pérdida no convexas son útiles para tratar con valores atípicos en la clasificación. ^{[ 7 ] [ 8 ]} Para todas las funciones de pérdida generadas a partir de (2), la probabilidad posterior${\displaystyle p(y=1|{\vec {x}})}$se puede encontrar utilizando la función de enlace invertible como ${\displaystyle p(y=1|{\vec {x}})=\eta =f^{-1}(v)}$Las funciones de pérdida en las que la probabilidad posterior se puede recuperar utilizando el enlace invertible se denominan funciones de pérdida propias .

El único minimizador del riesgo esperado,${\displaystyle f_{\phi }^{*}}$, asociadas con las funciones de pérdida generadas anteriormente, se pueden encontrar directamente a partir de la ecuación (1) y se demuestra que son iguales a las correspondientes${\displaystyle f(\eta )}$Esto se cumple incluso para las funciones de pérdida no convexas, lo que significa que se pueden utilizar algoritmos basados ​​en el descenso de gradiente, como el aumento de gradiente, para construir el minimizador.

Para funciones de pérdida adecuadas, el margen de pérdida se puede definir como${\displaystyle \mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}}$y se ha demostrado que está directamente relacionado con las propiedades de regularización del clasificador. ^{[ 9 ]} Específicamente, una función de pérdida con un margen mayor aumenta la regularización y produce mejores estimaciones de la probabilidad posterior. Por ejemplo, el margen de pérdida se puede aumentar para la pérdida logística introduciendo un${\displaystyle \gamma }$parámetro y escribiendo la pérdida logística como${\displaystyle {\frac {1}{\gamma }}\log(1+e^{-\gamma v})}$donde más pequeño${\displaystyle 0<\gamma <1}$aumenta el margen de pérdida. Se demuestra que esto es directamente equivalente a disminuir la tasa de aprendizaje en el aumento de gradiente.${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),}$donde disminuye${\displaystyle \gamma }$mejora la regularización del clasificador potenciado. La teoría deja claro que cuando una tasa de aprendizaje de${\displaystyle \gamma }$Se utiliza la fórmula correcta para recuperar la probabilidad posterior.${\displaystyle \eta =f^{-1}(\gamma F(x))}$.

En conclusión, al elegir una función de pérdida con un margen mayor (menor${\displaystyle \gamma }$) aumentamos la regularización y mejoramos nuestras estimaciones de la probabilidad posterior, lo que a su vez mejora la curva ROC del clasificador final.

Aunque se usa más comúnmente en regresión, la función de pérdida cuadrática se puede reescribir como una función.${\displaystyle \phi (yf({\vec {x}}))}$y se utiliza para la clasificación. Se puede generar utilizando (2) y la Tabla I de la siguiente manera:

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.}$

La función de pérdida cuadrática es convexa y suave. Sin embargo, la función de pérdida cuadrática tiende a penalizar excesivamente los valores atípicos, lo que conduce a tasas de convergencia más lentas (en lo que respecta a la complejidad de la muestra) que para las funciones de pérdida logística o de bisagra. ^{[ 1 ]} Además, las funciones que producen valores altos de${\displaystyle f({\vec {x}})}$para algunos${\displaystyle x\in X}$tendrá un rendimiento deficiente con la función de pérdida cuadrada, ya que los valores altos de${\displaystyle yf({\vec {x}})}$será penalizado severamente, independientemente de si los signos de${\displaystyle y}$y${\displaystyle f({\vec {x}})}$fósforo.

Una ventaja de la función de pérdida cuadrática es que su estructura facilita la validación cruzada de los parámetros de regularización. Específicamente para la regularización de Tikhonov , se puede calcular el parámetro de regularización mediante validación cruzada de exclusión de un elemento en el mismo tiempo que se tardaría en resolver un solo problema. ^{[ 10 ]}

El minimizador de${\displaystyle I[f]}$para la función de pérdida cuadrática se puede encontrar directamente de la ecuación (1) como

${\displaystyle f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.}$

La función de pérdida logística se puede generar utilizando (2) y la Tabla I de la siguiente manera:

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}}$

La función de pérdida logística es convexa y crece linealmente para valores negativos, lo que la hace menos sensible a los valores atípicos. Esta función se utiliza en el algoritmo LogitBoost .

El minimizador de${\displaystyle I[f]}$La función de pérdida logística se puede obtener directamente de la ecuación (1) como

${\displaystyle f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

Esta función no está definida cuando${\displaystyle p(1\mid x)=1}$o ${\displaystyle p(1\mid x)=0}$(tendiendo hacia ∞ y −∞ respectivamente), pero predice una curva suave que crece cuando${\displaystyle p(1\mid x)}$aumenta y es igual a 0 cuando${\displaystyle p(1\mid x)=0.5}$. ^{[ 3 ]}

Es fácil comprobar que la pérdida logística y la pérdida de entropía cruzada binaria (pérdida logarítmica) son de hecho iguales (salvo una constante multiplicativa).${\displaystyle {\frac {1}{\log(2)}}}$La pérdida de entropía cruzada está estrechamente relacionada con la divergencia de Kullback-Leibler entre la distribución empírica y la distribución predicha. La pérdida de entropía cruzada es omnipresente en las redes neuronales profundas modernas .

La función de pérdida exponencial se puede generar utilizando (2) y la Tabla-I de la siguiente manera.

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {\left({\frac {e^{2v}}{1+e^{2v}}}\right)\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)}}+\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)\left({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}}\right)=e^{-v}}$

La pérdida exponencial es convexa y crece exponencialmente para valores negativos, lo que la hace más sensible a los valores atípicos. La pérdida exponencial ponderada de 0 a 1 se utiliza en el algoritmo AdaBoost, lo que da lugar implícitamente a la pérdida exponencial.

El minimizador de${\displaystyle I[f]}$La función de pérdida exponencial se puede encontrar directamente a partir de la ecuación (1) como

${\displaystyle f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

La pérdida de Savage ^{[ 7 ]} se puede generar utilizando (2) y la Tabla-I de la siguiente manera:

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=\left({\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {e^{v}}{1+e^{v}}}\right)+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {2e^{v}}{1+e^{v}}}\right)={\frac {1}{(1+e^{v})^{2}}}.}$

La función de pérdida de Savage es cuasi-convexa y está acotada para valores negativos grandes, lo que la hace menos sensible a los valores atípicos. Esta función se ha utilizado en el algoritmo de potenciación de gradiente y en el algoritmo SavageBoost.

El minimizador de${\displaystyle I[f]}$La función de pérdida de Savage se puede encontrar directamente a partir de la ecuación (1) como

${\displaystyle f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

La pérdida tangente ^{[ 11 ]} se puede generar utilizando (2) y la Tabla-I de la siguiente manera:

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)C'[f^{-1}(v)]\\&=4\left(\arctan(v)+{\frac {1}{2}}\right)\left(1-\left(\arctan(v)+{\frac {1}{2}}\right)\right)+\left(1-\left(\arctan(v)+{\frac {1}{2}}\right)\right)\left(4-8\left(\arctan(v)+{\frac {1}{2}}\right)\right)\\&=\left(2\arctan(v)-1\right)^{2}.\end{aligned}}}$

La función de pérdida Tangent es cuasi-convexa y está acotada para valores negativos grandes, lo que la hace menos sensible a los valores atípicos. Curiosamente, la función de pérdida Tangent también asigna una penalización acotada a los puntos de datos que se han clasificado "demasiado correctamente". Esto puede ayudar a prevenir el sobreentrenamiento en el conjunto de datos. La función de pérdida Tangent se ha utilizado en el potenciador de gradiente , el algoritmo TangentBoost y los bosques de decisión alternados. ^{[ 12 ]}

El minimizador de${\displaystyle I[f]}$La función de pérdida tangente se puede encontrar directamente a partir de la ecuación (1) como

${\displaystyle f_{\text{Tangent}}^{*}=\tan \left(\eta -{\frac {1}{2}}\right)=\tan \left(p\left(1\mid x\right)-{\frac {1}{2}}\right).}$

La función de pérdida de bisagra se define con${\displaystyle \phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}}$, dónde${\displaystyle [a]_{+}=\max(0,a)}$es la función de la parte positiva .

${\displaystyle V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.}$

La función de pérdida de bisagra proporciona una cota superior convexa relativamente ajustada para la función indicadora 0-1 . Específicamente, la función de pérdida de bisagra es igual a la función indicadora 0-1 cuando${\displaystyle \operatorname {sgn} (f({\vec {x}}))=y}$y${\displaystyle |yf({\vec {x}})|\geq 1}$Además, la minimización del riesgo empírico de esta pérdida es equivalente a la formulación clásica para máquinas de vectores de soporte (SVM). Los puntos clasificados correctamente que se encuentran fuera de los límites de los vectores de soporte no se penalizan, mientras que los puntos dentro de los límites o en el lado incorrecto del hiperplano se penalizan de forma lineal en comparación con su distancia al límite correcto. ^{[ 4 ]}

Si bien la función de pérdida de bisagra es convexa y continua, no es suave (no es diferenciable) en${\displaystyle yf({\vec {x}})=1}$En consecuencia, la función de pérdida de bisagra no se puede utilizar con métodos de descenso de gradiente o métodos de descenso de gradiente estocástico que dependen de la diferenciabilidad en todo el dominio. Sin embargo, la pérdida de bisagra sí tiene un subgradiente en${\displaystyle yf({\vec {x}})=1}$, lo que permite la utilización de métodos de descenso de subgradiente . ^{[ 4 ]} Las SVM que utilizan la función de pérdida de bisagra también se pueden resolver utilizando programación cuadrática .

El minimizador de${\displaystyle I[f]}$para la función de pérdida de bisagra es

${\displaystyle f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$

cuando${\displaystyle p(1\mid x)\neq 0.5}$, que coincide con la de la función indicadora 0-1. Esta conclusión hace que la pérdida de bisagra sea bastante atractiva, ya que se pueden establecer límites a la diferencia entre el riesgo esperado y el signo de la función de pérdida de bisagra. ^{[ 1 ]} La pérdida de bisagra no se puede derivar de (2) ya que${\displaystyle f_{\text{Hinge}}^{*}}$ no es invertible.

La función de pérdida de bisagra suave generalizada con parámetro${\displaystyle \alpha }$se define como

${\displaystyle f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leq 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}},}$

dónde

${\displaystyle z=yf({\vec {x}}).}$

Es monótonamente decreciente y llega a 0 cuando${\displaystyle z=1}$.

• Programación diferenciable
• Función de puntuación