Clasificación probabilística

En el aprendizaje automático , un clasificador probabilístico es un clasificador capaz de predecir, a partir de una observación de una entrada, una distribución de probabilidad sobre un conjunto de clases, en lugar de simplemente generar la clase más probable a la que debería pertenecer la observación. Los clasificadores probabilísticos proporcionan una clasificación que puede ser útil por sí misma ^{[ 1 ]} o al combinar clasificadores en conjuntos .

Formalmente, un clasificador "ordinario" es alguna regla o función que asigna a una muestra x una etiqueta de clase ŷ :

${\displaystyle {\hat {y}}=f(x)}$

Las muestras provienen de un conjunto X (por ejemplo, el conjunto de todos los documentos o el conjunto de todas las imágenes ), mientras que las etiquetas de clase forman un conjunto finito Y definido antes del entrenamiento.

Los clasificadores probabilísticos generalizan esta noción de clasificadores: en lugar de funciones, son distribuciones condicionales .${\displaystyle \Pr(Y\vert X)}$, lo que significa que para un dado${\displaystyle x\in X}$, asignan probabilidades a todos${\displaystyle y\in Y}$(y estas probabilidades suman uno). La clasificación "difícil" se puede realizar entonces utilizando la regla de decisión óptima ^{[ 2 ] : 39–40}

${\displaystyle {\hat {y}}=\operatorname {\arg \max } _{y}\Pr(Y=y\vert X)}$

o, en español, la clase predicha es aquella que tiene la mayor probabilidad.

En estadística, los clasificadores probabilísticos binarios también se denominan modelos de regresión binaria . En econometría , la clasificación probabilística en general se denomina elección discreta .

Algunos modelos de clasificación, como el clasificador bayesiano ingenuo , la regresión logística y los perceptrones multicapa (cuando se entrenan con una función de pérdida adecuada ), son inherentemente probabilísticos. Otros modelos, como las máquinas de vectores de soporte, no lo son, pero existen métodos para convertirlos en clasificadores probabilísticos.

Algunos modelos, como la regresión logística , se entrenan condicionalmente: optimizan la probabilidad condicional.${\displaystyle \Pr(Y\vert X)}$directamente en un conjunto de entrenamiento (véase minimización del riesgo empírico ). Otros clasificadores, como Naive Bayes , se entrenan de forma generativa : en el momento del entrenamiento, la distribución condicional de la clase${\displaystyle \Pr(X\vert Y)}$y la clase anterior${\displaystyle \Pr(Y)}$se encuentran y la distribución condicional${\displaystyle \Pr(Y\vert X)}$se deriva utilizando la regla de Bayes . ^{[ 2 ] : 43}

No todos los modelos de clasificación son probabilísticos por naturaleza, y algunos que sí lo son, en particular los clasificadores bayesianos ingenuos, los árboles de decisión y los métodos de boosting , producen distribuciones de probabilidad de clase distorsionadas. ^{[ 3 ]} En el caso de los árboles de decisión, donde Pr( y | x ) es la proporción de muestras de entrenamiento con etiqueta y en la hoja donde termina x , estas distorsiones se producen porque los algoritmos de aprendizaje como C4.5 o CART buscan explícitamente producir hojas homogéneas (dando probabilidades cercanas a cero o uno, y por lo tanto un alto sesgo ) mientras que utilizan pocas muestras para estimar la proporción relevante (alta varianza ). ^{[ 4 ]}

La calibración se puede evaluar mediante un diagrama de calibración (también llamado diagrama de fiabilidad ). ^{[ 3 ] [ 5 ]} Un diagrama de calibración muestra la proporción de elementos en cada clase para bandas de probabilidad o puntuación predicha (como una distribución de probabilidad distorsionada o la "distancia con signo al hiperplano" en una máquina de vectores de soporte). Las desviaciones de la función identidad indican un clasificador mal calibrado para el cual las probabilidades o puntuaciones predichas no pueden usarse como probabilidades. En este caso, se puede usar un método para convertir estas puntuaciones en probabilidades de pertenencia a la clase debidamente calibradas .

Para el caso binario , un enfoque común es aplicar el escalado de Platt , que aprende un modelo de regresión logística sobre las puntuaciones. ^{[ 6 ]} Un método alternativo que utiliza regresión isotónica ^{[ 7 ]} es generalmente superior al método de Platt cuando se dispone de suficientes datos de entrenamiento. ^{[ 3 ]}

En el caso multiclase , se puede utilizar una reducción a tareas binarias, seguida de una calibración univariada con un algoritmo como el descrito anteriormente y una aplicación adicional del algoritmo de acoplamiento por pares de Hastie y Tibshirani. ^{[ 8 ]}

Un método utilizado para asignar puntuaciones a pares de probabilidades predichas y resultados discretos reales, de modo que se puedan comparar diferentes métodos predictivos, se denomina regla de puntuación . Las reglas de puntuación se utilizan para comparar la probabilidad predicha con los resultados observados; entre ellas se incluyen, por ejemplo, la pérdida logarítmica , la puntuación de Brier , la puntuación de probabilidad clasificada continua y otras.

Ciertos aspectos como la precisión, la calibración, la nitidez o la dispersión pueden variar de un clasificador probabilístico a otro y pueden ser objeto de una investigación específica.

Las métricas de errores de calibración buscan cuantificar el grado de calibración de las salidas de un clasificador probabilístico . Como lo expresó Philip Dawid , "un pronosticador está bien calibrado si, por ejemplo, de los eventos a los que asigna una probabilidad del 30 por ciento, la proporción a largo plazo que realmente ocurre resulta ser del 30 por ciento". ^{[ 9 ]} El trabajo fundamental en el ámbito de la medición del error de calibración es la métrica de Error de Calibración Esperado (ECE). ^{[ 10 ]} Trabajos más recientes proponen variantes de ECE que abordan las limitaciones de la métrica ECE que pueden surgir cuando las puntuaciones del clasificador se concentran en un subconjunto estrecho del intervalo [0,1], incluyendo el Error de Calibración Adaptativo (ACE) ^{[ 11 ]} y el Error de Calibración Basado en Pruebas (TCE). ^{[ 12 ]}

• MoRPE ^{[ 13 ]} es un clasificador probabilístico entrenable que utiliza regresión isotónica para la calibración de probabilidad. Resuelve el caso multiclase mediante la reducción a tareas binarias. Es un tipo de máquina de núcleo que utiliza un núcleo polinómico no homogéneo.