Regla de clasificación

Dada una población cuyos miembros pertenecen a uno de varios conjuntos o clases diferentes , una regla de clasificación o clasificador es un procedimiento mediante el cual se predice que cada elemento del conjunto de la población pertenece a una de las clases. ^{[ 1 ]} Una clasificación perfecta es aquella en la que cada elemento de la población se asigna a la clase a la que realmente pertenece. El clasificador bayesiano es el clasificador que asigna clases de forma óptima basándose en los atributos conocidos (es decir, características o regresores) de los elementos que se van a clasificar.

Un tipo especial de regla de clasificación es la clasificación binaria , para problemas en los que solo hay dos clases.

Dado un conjunto de datos que consta de pares x e y , donde x denota un elemento de la población e y la clase a la que pertenece, una regla de clasificación h ( x ) es una función que asigna a cada elemento x una clase predicha.${\displaystyle {\hat {y}}=h(x).}$Una clasificación binaria es aquella en la que la etiqueta y solo puede tomar uno de dos valores.

Las etiquetas verdaderas y _i pueden conocerse, pero no necesariamente coincidirán con sus aproximaciones.${\displaystyle {\hat {y_{i}}}=h(x_{i})}$En una clasificación binaria, los elementos que no se clasifican correctamente se denominan falsos positivos y falsos negativos.

Algunas reglas de clasificación son funciones estáticas. Otras pueden ser programas informáticos. Un clasificador informático puede aprender o implementar reglas de clasificación estáticas. Para un conjunto de datos de entrenamiento, las etiquetas verdaderas y _j son desconocidas, pero es un objetivo primordial para el procedimiento de clasificación que la aproximación${\displaystyle {\hat {y_{j}}}=h(x_{j})\approx y_{j}}$lo mejor posible, donde la calidad de esta aproximación debe juzgarse en función de las propiedades estadísticas o probabilísticas de la población general de la que se extraerán las observaciones futuras.

Dada una regla de clasificación, una prueba de clasificación es el resultado de aplicar dicha regla a una muestra finita del conjunto de datos inicial.

La clasificación puede considerarse como dos problemas distintos: la clasificación binaria y la clasificación multiclase . En la clasificación binaria, una tarea mejor comprendida, solo intervienen dos clases, mientras que la clasificación multiclase implica asignar un objeto a una de varias clases. ^{[ 2 ]} Dado que se han desarrollado muchos métodos de clasificación específicamente para la clasificación binaria, la clasificación multiclase suele requerir el uso combinado de varios clasificadores binarios. Un punto importante es que, en muchos problemas prácticos de clasificación binaria, los dos grupos no son simétricos; en lugar de la precisión general, interesa la proporción relativa de los diferentes tipos de errores. Por ejemplo, en las pruebas médicas, un falso positivo (detección de una enfermedad cuando no está presente) se considera diferente de un falso negativo (no detección de una enfermedad cuando sí está presente). En las clasificaciones multiclase, las clases pueden considerarse simétricamente (todos los errores son equivalentes) o asimétricamente, lo que resulta considerablemente más complejo.

Los métodos de clasificación binaria incluyen la regresión probit y la regresión logística . Los métodos de clasificación multiclase incluyen la regresión probit multinomial y la regresión logit multinomial .

Cuando la función de clasificación no es perfecta, aparecerán resultados falsos. En el ejemplo de la imagen de la derecha, hay 20 puntos en el lado izquierdo de la línea (lado verdadero), pero solo 8 de ellos eran verdaderos. En una situación similar, en el lado derecho de la línea (lado falso), hay 16 puntos, pero 4 de ellos se marcaron erróneamente como verdaderos. Utilizando la ubicación de los puntos, podemos construir una matriz de confusión para expresar los valores. Podemos usar 4 métricas diferentes para expresar los 4 resultados posibles: verdadero positivo (VP), falso positivo (FP), falso negativo (FN) y verdadero negativo (VN).

También podemos calcular los verdaderos positivos, falsos positivos, verdaderos negativos y falsos negativos utilizando el teorema de Bayes . El uso del teorema de Bayes nos ayuda a describir la probabilidad de un evento (teoría de la probabilidad) , basándonos en el conocimiento previo de las condiciones que podrían estar relacionadas con dicho evento. A continuación se muestran las cuatro clasificaciones utilizando el siguiente ejemplo.

• Si un paciente sometido a la prueba no tiene la enfermedad, el resultado será positivo el 5% de las veces, o con una probabilidad de 0,05.
• Supongamos que solo el 0,1% de la población padece esa enfermedad, de modo que un paciente seleccionado al azar tiene una probabilidad previa de 0,001 de tenerla.
• Sea A la condición en la que el paciente tiene la enfermedad.
• Sea ¬ A la condición en la que el paciente no tiene la enfermedad.
• Sea B la evidencia de un resultado positivo en la prueba.
• Sea ¬ B la evidencia de un resultado negativo en la prueba.

En términos de verdaderos positivos, falsos positivos, falsos negativos y verdaderos negativos:

• Un falso positivo es la probabilidad P de que ¬ A (el paciente no tiene la enfermedad) y luego B (el paciente da positivo en la prueba de la enfermedad), también expresada como P ( ¬ A |B).
• Un falso negativo es la probabilidad P de que A (el paciente tenga la enfermedad) y luego ¬ B (el paciente dé negativo en la prueba de la enfermedad), también expresada como P ( A | ¬ B ).
• Un verdadero positivo es la probabilidad P de que A (el paciente tenga la enfermedad) y luego B (el paciente dé positivo en la prueba de la enfermedad), también expresada como P ( A | B ).
• Un verdadero negativo es la probabilidad P de que ¬ A (el paciente no tiene la enfermedad) y luego ¬ B (el paciente da negativo en la prueba de la enfermedad), también expresada como P ( ¬ A | ¬ B ).

Al entrenar un clasificador, se puede querer medir su rendimiento utilizando las métricas bien aceptadas de sensibilidad y especificidad. Puede ser instructivo comparar el clasificador con un clasificador aleatorio que lanza una moneda en función de la prevalencia de una enfermedad. Supongamos que la probabilidad de que una persona tenga la enfermedad es${\displaystyle p}$y la probabilidad de que no lo hagan es${\displaystyle q=1-p}$Supongamos entonces que tenemos un clasificador aleatorio que adivina que el paciente tiene la enfermedad con esa misma probabilidad.${\displaystyle p}$y supone que no lo hace con la misma probabilidad${\displaystyle q}$.

La probabilidad de un verdadero positivo es la probabilidad de que el paciente tenga la enfermedad multiplicada por la probabilidad de que el clasificador aleatorio acierte con esto, o${\displaystyle p^{2}}$. Con un razonamiento similar, la probabilidad de un falso negativo es${\displaystyle pq}$. Según las definiciones anteriores, la sensibilidad de este clasificador es${\displaystyle p^{2}/(p^{2}+pq)=p}$. Con un razonamiento similar, podemos calcular la especificidad como${\displaystyle q^{2}/(q^{2}+pq)=q}$.

Así pues, aunque la medida en sí es independiente de la prevalencia de la enfermedad, el rendimiento de este clasificador aleatorio sí depende de ella. El clasificador puede tener un rendimiento similar al de este clasificador aleatorio, pero con una moneda mejor ponderada (mayor sensibilidad y especificidad). Por lo tanto, estas medidas pueden verse influenciadas por la prevalencia de la enfermedad. Una medida alternativa de rendimiento es el coeficiente de correlación de Matthews , para el cual cualquier clasificador aleatorio obtendrá una puntuación media de 0.

La extensión de este concepto a clasificaciones no binarias produce la matriz de confusión .

• clasificador bayesiano
• Inferencia bayesiana
• Clasificación binaria
• Regla de decisión
• Prueba diagnóstica
• Estándar de oro (prueba)
• Funciones de pérdida para la clasificación
• Prueba médica
• Sensibilidad y especificidad
• Clasificación estadística