Característica operativa total

La curva característica operativa total ( COT ) es un método estadístico para comparar una variable booleana con una variable de rango . La COT puede medir la capacidad de una variable índice para diagnosticar la presencia o ausencia de una característica. El diagnóstico de presencia o ausencia depende de si el valor del índice supera un umbral. La COT considera múltiples umbrales posibles. Cada umbral genera una tabla de contingencia de dos por dos , que contiene cuatro entradas: aciertos, errores, falsas alarmas y rechazos correctos. ^{[ 1 ]}

La curva ROC ( característica operativa del receptor ) también caracteriza la capacidad de diagnóstico, aunque revela menos información que la TOC. Para cada umbral, la ROC revela dos razones: aciertos/(aciertos + fallos) y falsas alarmas/(falsas alarmas + rechazos correctos), mientras que la TOC muestra la información total en la tabla de contingencia para cada umbral. ^{[ 2 ]} El método TOC revela toda la información que proporciona el método ROC, además de información importante adicional que la ROC no revela, es decir, el tamaño de cada entrada en la tabla de contingencia para cada umbral. La TOC también proporciona el área bajo la curva (AUC) popular de la ROC.

La TOC es aplicable para medir la capacidad de diagnóstico en muchos campos, incluidos, entre otros: la ciencia del cambio del uso del suelo, las imágenes médicas , la previsión meteorológica , la teledetección y las pruebas de materiales .

El procedimiento para construir la curva TOC compara la variable booleana con la variable índice, diagnosticando cada observación como presencia o ausencia, según la relación del índice con diversos umbrales. Si el índice de una observación es mayor o igual a un umbral, se diagnostica como presencia; de lo contrario, se diagnostica como ausencia. La tabla de contingencia resultante de la comparación entre la variable booleana y el diagnóstico para un único umbral tiene cuatro entradas centrales: aciertos ( H ), fallos ( M ), falsas alarmas ( F ) y rechazos correctos ( C ). El número total de observaciones es P + Q. Los términos «verdaderos positivos», «falsos negativos», «falsos positivos» y «verdaderos negativos» son equivalentes a aciertos, fallos, falsas alarmas y rechazos correctos, respectivamente. Las entradas se pueden formular en una tabla de contingencia de dos por dos o matriz de confusión, como sigue:   

Cuatro bits de información determinan todas las entradas de la tabla de contingencia, incluyendo sus totales marginales. Por ejemplo, si conocemos H , M , F y C , podemos calcular todos los totales marginales para cualquier umbral. De manera similar, si conocemos H / P , F / Q , P y Q , podemos calcular todas las entradas de la tabla. ^{[ 1 ]} Dos bits de información no son suficientes para completar la tabla de contingencia. Por ejemplo, si solo conocemos H / P y F / Q , como muestra la curva ROC, es imposible conocer todas las entradas de la tabla. ^{[ 1 ]}

La curva TOC con cuatro recuadros indica cómo un punto en la curva TOC revela los aciertos, los fallos, las falsas alarmas y los rechazos correctos. La curva TOC es una forma eficaz de mostrar la información total en la tabla de contingencia para todos los umbrales. Los datos utilizados para crear esta curva TOC están disponibles para su descarga aquí . Este conjunto de datos tiene 30 observaciones, cada una de las cuales consta de valores para una variable booleana y una variable de índice. Las observaciones están clasificadas desde el valor mayor al menor del índice. Hay 31 umbrales, que consisten en los 30 valores del índice y un umbral adicional que es mayor que todos los valores del índice, que crea el punto en el origen (0,0). Cada punto está etiquetado para indicar el valor de cada umbral. El eje horizontal va de 0 a 30, que es el número de observaciones en el conjunto de datos ( P  + Q ). El eje vertical va de 0 a 10, que es el número de observaciones de presencia de la variable booleana P (es decir, aciertos + fallos). Las curvas TOC también muestran el umbral en el que la cantidad de presencia diagnosticada coincide con la cantidad de presencia booleana, que es el punto umbral que se encuentra directamente debajo del punto donde la línea máxima se encuentra con la línea de aciertos + errores, como ilustra la curva TOC de la izquierda. ^{[ 1 ]}     

Las siguientes cuatro piezas de información son las entradas centrales en la tabla de contingencia para cada umbral:

1. El número de aciertos en cada umbral es la distancia entre el punto del umbral y el eje horizontal.
2. El número de fallos en cada umbral es la distancia entre el punto del umbral y la línea horizontal de aciertos  +  fallos en la parte superior del gráfico.
3. El número de falsas alarmas en cada umbral es la distancia entre el punto del umbral y la línea azul discontinua máxima que delimita el lado izquierdo del espacio TOC.
4. El número de rechazos correctos en cada umbral es la distancia entre el punto del umbral y la línea mínima discontinua de color púrpura que delimita el lado derecho del espacio TOC.

Estas figuras son las curvas TOC y ROC usando los mismos datos y umbrales. Consideremos el punto que corresponde a un umbral de 74. La curva TOC muestra el número de aciertos, que es 3, y por lo tanto el número de errores, que es 7. Además, la curva TOC muestra que el número de falsas alarmas es 4 y el número de rechazos correctos es 16. En cualquier punto dado de la curva ROC, es posible obtener valores para las razones de falsas alarmas/(falsas alarmas+rechazos correctos) y aciertos/(aciertos+errores). Por ejemplo, en el umbral 74, es evidente que la coordenada x es 0,2 y la coordenada y es 0,3. Sin embargo, estos dos valores son insuficientes para construir todas las entradas de la tabla de contingencia subyacente de dos por dos.

Es común informar el área bajo la curva (AUC) para resumir una curva TOC o ROC. Sin embargo, condensar la capacidad diagnóstica en un solo número no permite apreciar la forma de la curva. Las siguientes tres curvas TOC tienen un AUC de 0,75, pero presentan formas diferentes.

Esta curva TOC de la izquierda ejemplifica un caso en el que la variable índice tiene una alta capacidad diagnóstica en umbrales altos cerca del origen, pero una capacidad diagnóstica aleatoria en umbrales bajos cerca de la parte superior derecha de la curva. La curva muestra un diagnóstico preciso de presencia hasta que alcanza un umbral de 86. A partir de ahí, la curva se estabiliza y predice alrededor de la línea aleatoria.

Esta curva TOC ejemplifica un caso en el que la variable índice tiene una capacidad diagnóstica media en todos los umbrales. La curva se sitúa consistentemente por encima de la línea aleatoria.

Esta curva TOC ejemplifica un caso en el que la variable índice presenta una capacidad diagnóstica aleatoria en umbrales altos y una alta capacidad diagnóstica en umbrales bajos. La curva sigue una línea aleatoria en los umbrales más altos cerca del origen; luego, la variable índice diagnostica correctamente la ausencia a medida que los umbrales disminuyen cerca de la esquina superior derecha.

Al medir la capacidad diagnóstica, una medida comúnmente reportada es el área bajo la curva (AUC). El AUC se puede calcular a partir de la TOC y la ROC. El valor del AUC es consistente para los mismos datos, ya sea que se calcule el área bajo la curva para una curva TOC o una curva ROC. El AUC indica la probabilidad de que el diagnóstico clasifique una observación elegida al azar de presencia booleana más alta que una observación elegida al azar de ausencia booleana. ^{[ 3 ]} El AUC es atractivo para muchos investigadores porque resume la capacidad diagnóstica en un solo número, sin embargo, el AUC ha sido criticado como una medida potencialmente engañosa, especialmente para análisis espacialmente explícitos. ^{[ 3 ] [ 4 ]} Algunas características del AUC que generan críticas incluyen el hecho de que 1) el AUC ignora los umbrales; 2) el AUC resume el rendimiento de la prueba en regiones del espacio TOC o ROC en las que rara vez se operaría; 3) el AUC pondera los errores de omisión y comisión por igual; 4) el AUC no da información sobre la distribución espacial de los errores del modelo; y, 5) la selección de la extensión espacial influye mucho en la tasa de ausencias diagnosticadas correctamente y en las puntuaciones AUC. ^{[ 5 ]} Sin embargo, la mayoría de esas críticas se aplican a muchas otras métricas.

Cuando se utilizan unidades normalizadas, el área bajo la curva (a menudo denominada simplemente AUC) es igual a la probabilidad de que un clasificador clasifique una instancia positiva elegida al azar por encima de una negativa elegida al azar (suponiendo que "positivo" se clasifica por encima de "negativo"). ^{[ 6 ]} Esto se puede ver de la siguiente manera: el área bajo la curva viene dada por (los límites de la integral se invierten, ya que un valor grande de T tiene un valor menor en el eje x).

${\displaystyle TPR(T):T\rightarrow y(x)}$

${\displaystyle FPR(T):T\rightarrow x}$

${\displaystyle A=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'>T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}>X_{0})}$

dónde${\displaystyle X_{1}}$es la puntuación para una instancia positiva y${\displaystyle X_{0}}$es la puntuación para una instancia negativa, y${\displaystyle f_{0}}$y${\displaystyle f_{1}}$son densidades de probabilidad tal como se definen en la sección anterior.

Además, se puede demostrar que el AUC está estrechamente relacionado con la prueba U de Mann-Whitney , ^{[ 7 ] [ 8 ]} que evalúa si los positivos se clasifican más alto que los negativos. También es equivalente a la prueba de rangos de Wilcoxon . ^{[ 8 ]} El AUC está relacionado con el coeficiente de Gini (${\displaystyle G_{1}}$) por la fórmula${\displaystyle G_{1}=2{\mbox{AUC}}-1}$, dónde:

${\displaystyle G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})}$^{[ 9 ]}

De esta forma, es posible calcular el AUC utilizando un promedio de varias aproximaciones trapezoidales.

También es común calcular el área bajo la envolvente convexa de la TOC (ROC AUCH = ROCH AUC), ya que cualquier punto del segmento de línea entre dos resultados de predicción puede obtenerse utilizando aleatoriamente uno u otro sistema con probabilidades proporcionales a la longitud relativa del componente opuesto del segmento. ^{[ 10 ]} También es posible invertir las concavidades; al igual que en la figura, la peor solución puede reflejarse para convertirse en una mejor solución; las concavidades pueden reflejarse en cualquier segmento de línea, pero esta forma más extrema de fusión es mucho más propensa a sobreajustar los datos. ^{[ 11 ]}

Otro problema con TOC AUC es que reducir la curva TOC a un solo número ignora el hecho de que se trata de las compensaciones entre los diferentes sistemas o puntos de rendimiento graficados y no el rendimiento de un sistema individual, así como también ignora la posibilidad de reparación de concavidad, por lo que se recomiendan medidas alternativas relacionadas como informadness o DeltaP. ^{[ 12 ] [ 13 ]} Estas medidas son esencialmente equivalentes al Gini para un solo punto de predicción con DeltaP' = informadness = 2AUC-1, mientras que DeltaP = markedness representa el dual (es decir, predecir la predicción de la clase real) y su media geométrica es el coeficiente de correlación de Matthews .

Mientras que el AUC de TOC varía entre 0 y 1 —con un clasificador no informativo que produce 0,5— las medidas alternativas conocidas como informadness , Certainty ^{[ 12 ]} y coeficiente de Gini (en el caso de una sola parametrización o un solo sistema) tienen la ventaja de que 0 representa un rendimiento aleatorio, mientras que 1 representa un rendimiento perfecto, y -1 representa el caso "perverso" de que la información completa siempre dé la respuesta incorrecta. ^{[ 14 ]} Al reducir el rendimiento aleatorio a 0, estas escalas alternativas pueden interpretarse como estadísticas Kappa. Se ha demostrado que la informadness tiene características deseables para el aprendizaje automático en comparación con otras definiciones comunes de Kappa, como el kappa de Cohen y el kappa de Fleiss . ^{[ 15 ]}

A veces puede ser más útil observar una región específica de la curva TOC en lugar de la curva completa. Es posible calcular el AUC parcial. ^{[ 16 ]} Por ejemplo, se podría enfocar en la región de la curva con una baja tasa de falsos positivos, que suele ser de gran interés para las pruebas de cribado poblacional. ^{[ 17 ]} Otro enfoque común para problemas de clasificación en los que P ≪ N (común en aplicaciones bioinformáticas) es utilizar una escala logarítmica para el eje x. ^{[ 18 ]}

• Puntuación de Brier
• Coeficiente de determinación
• Tasa constante de falsas alarmas
• compensación por error de detección
• Teoría de la detección
• Puntuación de F1
• Falsa alarma
• Precisión y recuperación
• COHETE
• curva ROC

• Pontius Jr, Robert Gilmore; Si, Kangping (2014). "La característica operativa total para medir la capacidad de diagnóstico para múltiples umbrales". International Journal of Geographical Information Science . 28 (3): 570– 583. Bibcode : 2014IJGIS..28..570P . doi : 10.1080/13658816.2013.862623 . S2CID 29204880 . 
• Pontius Jr, Robert Gilmore; Parmentier, Benoit (2014). "Recomendaciones para el uso de la curva ROC (Relative Operating Characteristic)". Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 254740981 . 
• Mas, Jean-François; Filho, Britaldo Soares; Poncio Jr, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "Un conjunto de herramientas para el análisis ROC de modelos espaciales" . Revista internacional de información geográfica de ISPRS . 2 (3): 869– 887. Bibcode : 2013IJGI....2..869M . doi : 10.3390/ijgi2030869 .
• Pontius Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibración y validación de un modelo de perturbación forestal en los Ghats occidentales, India 1920–1990". GeoJournal . 61 (4): 325– 334. Bibcode : 2004GeoJo..61..325G . doi : 10.1007/s10708-004-5049-5 . S2CID 155073463 . 
• Pontius Jr, Robert Gilmore; Batchu, Kiran (2003). "Uso de la curva ROC para cuantificar la certeza en la predicción de la ubicación del cambio de cobertura terrestre en la India". Transactions in GIS . 7 (4): 467– 484. Bibcode : 2003TrGIS...7..467P . doi : 10.1111/1467-9671.00159 . S2CID 14452746 . 
• Pontius Jr, Robert Gilmore; Schneider, Laura (2001). "Validación de un modelo de cambio de uso de la tierra mediante un método ROC para la cuenca hidrográfica de Ipswich, Massachusetts, EE. UU." Agriculture, Ecosystems & Environment . 85 ( 1– 3): 239– 248. doi : 10.1016/s0167-8809(01)00187-6 .

• Introducción a la Característica Operativa Total: Utilidad en la Evaluación de Modelos de Cambio de Uso del Suelo
• Utilización de TOC en el riesgo de incendios forestales
• Cómo ejecutar el paquete TOC en R
• Paquete TOC R en Github
• Libro de Excel para generar curvas TOC
• Tutorial sobre la curva TOC de Google Earth Engine
• Código fuente de la curva TOC de Google Earth Engine