Característica operativa total

La característica operativa total ( TOC ) es un método estadístico para comparar una variable booleana con una variable de rango . La TOC puede medir la capacidad de una variable de índice para diagnosticar la presencia o ausencia de una característica. El diagnóstico de presencia o ausencia depende de si el valor del índice está por encima de un umbral. La TOC considera múltiples umbrales posibles. Cada umbral genera una tabla de contingencia de dos por dos , que contiene cuatro entradas: aciertos, errores, falsas alarmas y rechazos correctos. ^[1]

La característica operativa del receptor (ROC) también caracteriza la capacidad de diagnóstico, aunque la ROC revela menos información que la TOC. Para cada umbral, la ROC revela dos proporciones, aciertos/(aciertos + errores) y falsas alarmas/(falsas alarmas + rechazos correctos), mientras que la TOC muestra la información total en la tabla de contingencia para cada umbral. ^[2] El método TOC revela toda la información que proporciona el método ROC, más información importante adicional que la ROC no revela, es decir, el tamaño de cada entrada en la tabla de contingencia para cada umbral. La TOC también proporciona el área bajo la curva (AUC) popular de la ROC.

La TOC se puede aplicar para medir la capacidad de diagnóstico en muchos campos, incluidos, entre otros: ciencia del cambio territorial, imágenes médicas , pronóstico del tiempo , teledetección y pruebas de materiales .

El procedimiento para construir la curva TOC compara la variable booleana con la variable índice diagnosticando cada observación como presencia o ausencia, dependiendo de cómo se relaciona el índice con varios umbrales. Si el índice de una observación es mayor o igual que un umbral, entonces la observación se diagnostica como presencia, de lo contrario, la observación se diagnostica como ausencia. La tabla de contingencia que resulta de la comparación entre la variable booleana y el diagnóstico para un solo umbral tiene cuatro entradas centrales. Las cuatro entradas centrales son aciertos ( H ), errores ( M ), falsas alarmas ( F ) y rechazos correctos ( C ). El número total de observaciones es  P  +  Q . Los términos "verdaderos positivos", "falsos negativos", "falsos positivos" y "verdaderos negativos" son equivalentes a aciertos, errores, falsas alarmas y rechazos correctos, respectivamente. Las entradas se pueden formular en una tabla de contingencia de dos por dos o matriz de confusión, de la siguiente manera:

Cuatro bits de información determinan todas las entradas en la tabla de contingencia, incluyendo sus totales marginales. Por ejemplo, si conocemos H , M , F y C , entonces podemos calcular todos los totales marginales para cualquier umbral. Alternativamente, si conocemos H / P , F / Q , P y Q , entonces podemos calcular todas las entradas en la tabla. ^[1] Dos bits de información no son suficientes para completar la tabla de contingencia. Por ejemplo, si conocemos solo H / P y F / Q , que es lo que muestra ROC, entonces es imposible conocer todas las entradas en la tabla. ^[1]

La curva TOC con cuatro cuadros indica cómo un punto en la curva TOC revela los aciertos, los errores, las falsas alarmas y los rechazos correctos. La curva TOC es una forma eficaz de mostrar la información total en la tabla de contingencia para todos los umbrales. Los datos utilizados para crear esta curva TOC están disponibles para descargar aquí. Este conjunto de datos tiene 30 observaciones, cada una de las cuales consta de valores para una variable booleana y una variable de índice. Las observaciones se clasifican del mayor al menor valor del índice. Hay 31 umbrales, que consisten en los 30 valores del índice y un umbral adicional que es mayor que todos los valores del índice, que crea el punto en el origen (0,0). Cada punto está etiquetado para indicar el valor de cada umbral. Los ejes horizontales van de 0 a 30, que es el número de observaciones en el conjunto de datos ( P  +  Q ). El eje vertical va de 0 a 10, que es el número de observaciones de presencia de la variable booleana P (es decir, aciertos + errores). Las curvas TOC también muestran el umbral en el cual la cantidad de presencia diagnosticada coincide con la cantidad booleana de presencia, que es el punto umbral que se encuentra directamente debajo del punto donde la línea máxima se encuentra con la línea de aciertos y errores, como lo ilustra la curva TOC de la izquierda. ^[1]

Los siguientes cuatro datos son las entradas centrales de la tabla de contingencia para cada umbral:

1. El número de impactos en cada umbral es la distancia entre el punto del umbral y el eje horizontal.
2. El número de fallos en cada umbral es la distancia entre el punto del umbral y la línea horizontal de aciertos + fallos en la parte superior del gráfico.
3. El número de falsas alarmas en cada umbral es la distancia entre el punto del umbral y la línea máxima discontinua azul que delimita el lado izquierdo del espacio de la tabla de contenido.
4. El número de rechazos correctos en cada umbral es la distancia entre el punto del umbral y la línea mínima discontinua de color púrpura que delimita el lado derecho del espacio TOC.

Estas cifras son las curvas TOC y ROC que utilizan los mismos datos y umbrales. Considere el punto que corresponde a un umbral de 74. La curva TOC muestra el número de aciertos, que es 3, y, por lo tanto, el número de errores, que es 7. Además, la curva TOC muestra que el número de falsas alarmas es 4 y el número de rechazos correctos es 16. En cualquier punto dado en la curva ROC, es posible obtener valores para las proporciones de falsas alarmas/(falsas alarmas + rechazos correctos) y aciertos/(aciertos + errores). Por ejemplo, en el umbral 74, es evidente que la coordenada x es 0,2 y la coordenada y es 0,3. Sin embargo, estos dos valores son insuficientes para construir todas las entradas de la tabla de contingencia subyacente de dos por dos.

Es común informar el área bajo la curva (AUC) para resumir una curva TOC o ROC. Sin embargo, condensar la capacidad de diagnóstico en un solo número no permite apreciar la forma de la curva. Las siguientes tres curvas TOC son curvas TOC que tienen un AUC de 0,75 pero tienen formas diferentes. ^{[ cita requerida ]}

Esta curva TOC de la izquierda ejemplifica un caso en el que la variable índice tiene una alta capacidad diagnóstica en umbrales altos cerca del origen, pero una capacidad diagnóstica aleatoria en umbrales bajos cerca de la esquina superior derecha de la curva. La curva muestra un diagnóstico preciso de presencia hasta que alcanza un umbral de 86. Luego, la curva se estabiliza y predice alrededor de la línea aleatoria. ^{[ cita requerida ]}

Esta curva TOC ejemplifica un caso en el que la variable índice tiene una capacidad diagnóstica media en todos los umbrales. La curva se encuentra constantemente por encima de la línea aleatoria.

Esta curva TOC ejemplifica un caso en el que la variable índice tiene una capacidad diagnóstica aleatoria en umbrales altos y una capacidad diagnóstica alta en umbrales bajos. La curva sigue la línea aleatoria en los umbrales más altos cerca del origen, luego la variable índice diagnostica la ausencia correctamente a medida que los umbrales disminuyen cerca de la esquina superior derecha.

Al medir la capacidad diagnóstica, una medida comúnmente reportada es el área bajo la curva (AUC). El AUC se puede calcular a partir del TOC y el ROC. El valor del AUC es consistente para los mismos datos ya sea que esté calculando el área bajo la curva para una curva TOC o una curva ROC. El AUC indica la probabilidad de que el diagnóstico clasifique una observación elegida aleatoriamente de presencia booleana por encima de una observación elegida aleatoriamente de ausencia booleana. ^[3] El AUC es atractivo para muchos investigadores porque resume la capacidad diagnóstica en un solo número, sin embargo, el AUC ha sido objeto de críticas como una medida potencialmente engañosa, especialmente para análisis espacialmente explícitos. ^{[3] [4]} Algunas características del AUC que generan críticas incluyen el hecho de que 1) el AUC ignora los umbrales; 2) el AUC resume el desempeño de la prueba en regiones del espacio TOC o ROC en las que uno raramente operaría; 3) el AUC pondera los errores de omisión y comisión por igual; 4) el AUC no brinda información sobre la distribución espacial de los errores del modelo; y, 5) la selección de la extensión espacial influye en gran medida en la tasa de ausencias diagnosticadas con precisión y en las puntuaciones del AUC. ^[5] Sin embargo, la mayoría de esas críticas se aplican a muchas otras métricas.

Cuando se utilizan unidades normalizadas, el área bajo la curva (a menudo denominada simplemente AUC) es igual a la probabilidad de que un clasificador clasifique una instancia positiva elegida al azar por encima de una negativa elegida al azar (suponiendo que "positiva" se clasifica por encima de "negativa"). ^[6] Esto se puede ver de la siguiente manera: el área bajo la curva está dada por (los límites integrales se invierten ya que una T grande tiene un valor menor en el eje x)

${\displaystyle TPR(T):T\rightarrow y(x)}$

${\displaystyle FPR(T):T\rightarrow x}$

${\displaystyle A=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'>T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}>X_{0})}$

donde es la puntuación para una instancia positiva y es la puntuación para una instancia negativa, y y son densidades de probabilidad como se definió en la sección anterior. $Estilo de visualización X_{1}$$Estilo de visualización X_{0}$$estilo de visualización f_{0}}$$estilo de visualización f_{1}}$

Se puede demostrar además que el AUC está estrechamente relacionado con la U de Mann-Whitney [ ^{7] [8]} , que prueba si los positivos tienen una clasificación más alta que los negativos. También es equivalente a la prueba de rangos de Wilcoxon ^[8] . El AUC está relacionado con el coeficiente de Gini ( ) mediante la fórmula , donde: $Estilo de visualización G_{1}$${\displaystyle G_{1}=2{\box{AUC}}-1}$

${\displaystyle G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})}$^[9]

De esta manera, es posible calcular el AUC utilizando un promedio de un número de aproximaciones trapezoidales.

También es común calcular el área bajo la envoltura convexa de TOC (ROC AUCH = ROCH AUC) ya que cualquier punto en el segmento de línea entre dos resultados de predicción se puede lograr usando aleatoriamente uno u otro sistema con probabilidades proporcionales a la longitud relativa del componente opuesto del segmento. ^[10] También es posible invertir concavidades – tal como en la figura la peor solución puede reflejarse para convertirse en una mejor solución; las concavidades se pueden reflejar en cualquier segmento de línea, pero es mucho más probable que esta forma más extrema de fusión sobreajuste los datos. ^[11]

Otro problema con el AUC de TOC es que al reducir la curva TOC a un solo número se ignora el hecho de que se trata de las compensaciones entre los diferentes sistemas o puntos de rendimiento graficados y no del rendimiento de un sistema individual, así como también se ignora la posibilidad de reparación de la concavidad, de modo que se recomiendan medidas alternativas relacionadas como la información ^{[ cita requerida ]} o DeltaP. ^{[12] [13]} Estas medidas son esencialmente equivalentes al Gini para un solo punto de predicción con DeltaP' = información = 2AUC-1, mientras que DeltaP = marcación representa el dual (es decir, predecir la predicción a partir de la clase real) y su media geométrica es el coeficiente de correlación de Matthews . ^{[ cita requerida ]}

Mientras que el AUC de TOC varía entre 0 y 1 (y un clasificador no informativo da como resultado 0,5), las medidas alternativas conocidas como información , ^{[ cita requerida ]} certeza ^[12] y coeficiente de Gini (en el caso de parametrización única o sistema único) ^{[ cita requerida ]} tienen todas la ventaja de que 0 representa el desempeño aleatorio, mientras que 1 representa el desempeño perfecto y −1 representa el caso "perverso" de información completa que siempre da la respuesta incorrecta. ^[14] Llevar el desempeño aleatorio a 0 permite que estas escalas alternativas se interpreten como estadísticas Kappa. Se ha demostrado que la información tiene características deseables para el aprendizaje automático en comparación con otras definiciones comunes de Kappa, como Kappa de Cohen y Kappa de Fleiss . ^{[ cita requerida ] [15]}

A veces puede ser más útil observar una región específica de la curva TOC en lugar de observar la curva completa. Es posible calcular el AUC parcial. ^[16] Por ejemplo, uno podría enfocarse en la región de la curva con una baja tasa de falsos positivos, que a menudo es de gran interés para las pruebas de detección de la población. ^[17] Otro enfoque común para los problemas de clasificación en los que P ≪ N (común en aplicaciones de bioinformática) es usar una escala logarítmica para el eje x. ^[18]

• Puntuación de Brier
• Coeficiente de determinación
• Tasa constante de falsas alarmas
• Compensación por error de detección
• Teoría de la detección
• Puntuación de F1
• Falsa alarma
• Precisión y recuperación
• ROCCET
• Característica de funcionamiento del receptor

• Pontius Jr, Robert Gilmore; Si, Kangping (2014). "La característica operativa total para medir la capacidad de diagnóstico para múltiples umbrales". Revista Internacional de Ciencias de la Información Geográfica . 28 (3): 570–583. doi :10.1080/13658816.2013.862623. S2CID  29204880.
• Pontius Jr, Robert Gilmore; Parmentier, Benoit (2014). "Recomendaciones para el uso de la característica operativa relativa (ROC)". Ecología del paisaje . 29 (3): 367–382. doi :10.1007/s10980-013-9984-8. S2CID  254740981.
• Mas, Jean-François; Filho, Britaldo Soares; Poncio Jr, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "Un conjunto de herramientas para el análisis ROC de modelos espaciales". Revista internacional de información geográfica de ISPRS . 2 (3): 869–887. Código Bib : 2013IJGI....2..869M. doi : 10.3390/ijgi2030869 .
• Pontius Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibración y validación de un modelo de perturbación forestal en los Ghats occidentales, India, 1920-1990". GeoJournal . 61 (4): 325–334. doi :10.1007/s10708-004-5049-5. S2CID  155073463.
• Pontius Jr, Robert Gilmore; Batchu, Kiran (2003). "Uso de la característica operativa relativa para cuantificar la certeza en la predicción de la ubicación del cambio de la cobertura terrestre en la India". Transactions in GIS . 7 (4): 467–484. doi :10.1111/1467-9671.00159. S2CID  14452746.
• Pontius Jr, Robert Gilmore; Schneider, Laura (2001). "Validación del modelo de cambio de uso de la tierra mediante un método ROC para la cuenca hidrográfica de Ipswich, Massachusetts, EE. UU." Agricultura, ecosistemas y medio ambiente . 85 (1–3): 239–248. doi :10.1016/s0167-8809(01)00187-6.

• Introducción a la característica operativa total: evaluación de modelos de utilidad en el cambio de la tierra
• Utilización de TOC en riesgo de incendios forestales
• Cómo ejecutar el paquete TOC en R
• Paquete TOC R en Github
• Libro de trabajo de Excel para generar curvas TOC
• Tutorial de curvas de índice de contenido de Google Earth Engine
• Código fuente de la curva TOC de Google Earth Engine