Paradoja de la precisión

La paradoja de la precisión es el hallazgo paradójico de que la precisión no es una buena métrica para los modelos predictivos al clasificar en análisis predictivos . Esto se debe a que un modelo simple puede tener un alto nivel de precisión, pero ser demasiado rudimentario para ser útil. Por ejemplo, si la incidencia de la categoría A es dominante, encontrándose en el 99% de los casos, entonces predecir que cada caso es de la categoría A tendrá una precisión del 99%. La precisión y la exhaustividad son mejores medidas en tales casos. ^{[ 1 ] [ 2 ]} El problema subyacente es que existe un desequilibrio de clases entre la clase positiva y la clase negativa. Las probabilidades previas para estas clases deben tenerse en cuenta en el análisis de errores. La precisión y la exhaustividad ayudan, pero la precisión también puede estar sesgada por probabilidades previas de clase desequilibradas en los conjuntos de prueba.

Por ejemplo, una ciudad de 1 millón de habitantes tiene diez terroristas. Un sistema de elaboración de perfiles da como resultado la siguiente matriz de confusión :

Aunque la precisión es ⁠ 10 + 999000 / 1000000 ⁠ ≈ 99,9%, 990 de las 1000 predicciones positivas son incorrectas. La precisión de ⁠ 10 / 10 + 990 ⁠ = 1% revela su bajo rendimiento. Como las clases están tan desequilibradas, una mejor métrica es la puntuación F1 = ⁠ 2 × 0,01 × 1 / 0,01 + 1 ⁠ ≈ 2% (la exhaustividad es ⁠ 10 + 0 / 10 ⁠ = 1).

• Kubat, M. (2000). Abordando la maldición de los conjuntos de entrenamiento desequilibrados: selección unilateral. Decimocuarta Conferencia Internacional sobre Aprendizaje Automático.

• Paradoja del falso positivo