Hispanopedia Wiki
Articulo de referencia

curva ROC

Curva ROC de tres predictores de la escisión de péptidos en el proteasoma. Una curva de características operativas del receptor , o curva ROC , es una representación gráfica que...

Hispanopedia WikiContenido en espanolLectura gratuita
Curva ROC de tres predictores de la escisión de péptidos en el proteasoma.

Una curva de características operativas del receptor , o curva ROC , es una representación gráfica que ilustra el rendimiento de un modelo clasificador binario (aunque puede generalizarse a múltiples clases) con diferentes valores umbral. El análisis ROC se aplica comúnmente en la evaluación del rendimiento de las pruebas diagnósticas en epidemiología clínica.

La curva ROC es la gráfica de la tasa de verdaderos positivos (TPR) frente a la tasa de falsos positivos (FPR) en cada ajuste de umbral.

La curva ROC también puede considerarse como una gráfica de la potencia estadística en función del error de tipo I de la regla de decisión (cuando el rendimiento se calcula a partir de una muestra de la población, puede interpretarse como un estimador de estas cantidades). Por lo tanto, la curva ROC representa la sensibilidad en función de la tasa de falsos positivos . [ 1 ]

Dado que se conocen las distribuciones de probabilidad tanto para los verdaderos positivos como para los falsos positivos, la curva ROC se obtiene como la función de distribución acumulativa (CDF, ​​área bajo la distribución de probabilidad de−∞{\displaystyle -\infty }al umbral de discriminación) de la probabilidad de detección en el eje y frente a la función de distribución acumulada (CDF) de la probabilidad de falsos positivos en el eje x .

El análisis ROC proporciona herramientas para seleccionar modelos potencialmente óptimos y descartar los subóptimos independientemente del contexto de costos o la distribución de clases (y antes de especificarlos). El análisis ROC se relaciona de forma directa y natural con el análisis de costo-beneficio en la toma de decisiones diagnósticas .

Terminología

La tasa de verdaderos positivos también se conoce como sensibilidad o probabilidad de detección . [ 2 ] La tasa de falsos positivos también se conoce como probabilidad de falsa alarma [ 2 ] y es igual a (1 − especificidad ). La curva ROC también se conoce como curva característica operativa relativa, porque es una comparación de dos características operativas (TPR y FPR) a medida que cambia el criterio. [ 3 ]

Historia

La curva ROC fue desarrollada por primera vez por ingenieros eléctricos e ingenieros de radar durante la Segunda Guerra Mundial para detectar objetos enemigos en los campos de batalla, a partir de 1941, lo que dio origen a su nombre ("característica operativa del receptor"). [ 4 ]

Pronto se introdujo en la psicología para explicar la detección perceptiva de estímulos. El análisis ROC se ha utilizado en medicina , radiología , biometría , predicción de peligros naturales , [ 5 ] meteorología , [ 6 ] evaluación del rendimiento de modelos, [ 7 ] y otras áreas durante muchas décadas y se utiliza cada vez más en la investigación de aprendizaje automático y minería de datos .

Concepto básico

Un modelo de clasificación ( clasificador o diagnóstico [ 8 ] ) es una correspondencia entre instancias de clases o grupos específicos. Dado que el resultado del clasificador o diagnóstico puede ser un valor real arbitrario (salida continua), el límite entre clases debe determinarse mediante un valor umbral (por ejemplo, para determinar si una persona tiene hipertensión según la medición de la presión arterial ). También puede ser una etiqueta de clase discreta que indique una de las clases.

Consideremos un problema de predicción binaria ( clasificación binaria ), donde los resultados se etiquetan como positivos ( p ) o negativos ( n ). Un clasificador binario puede tener cuatro resultados posibles. Si el resultado de la predicción es p y el valor real también es p , se denomina verdadero positivo (VP); sin embargo, si el valor real es n , se denomina falso positivo (FP). Por el contrario, se produce un verdadero negativo (VN) cuando tanto el resultado de la predicción como el valor real son n , y un falso negativo (FN) cuando el resultado de la predicción es n y el valor real es p .

Para ilustrarlo con un ejemplo práctico, consideremos una prueba diagnóstica que busca determinar si una persona padece una determinada enfermedad. Un falso positivo se produce cuando la prueba da positivo, pero la persona no tiene la enfermedad. Un falso negativo, por otro lado, se produce cuando la prueba da negativo, lo que sugiere que la persona está sana, cuando en realidad sí padece la enfermedad.

Consideremos un experimento con P casos positivos y N casos negativos para una determinada condición. Los cuatro resultados se pueden formular en una tabla de contingencia de 2×2 o matriz de confusión , como sigue:

  1. ↑ el número de casos positivos reales en los datos
  2. ↑ Un resultado de prueba que indica correctamente la presencia de una condición o característica.
  3. ↑ Error de tipo II: Un resultado de prueba que indica erróneamente que una condición o atributo particular está ausente.
  4. ↑ el número de casos negativos reales en los datos
  5. ↑ Un resultado de prueba que indica correctamente la ausencia de una condición o característica.
  6. ↑ Error de tipo I: Un resultado de prueba que indica erróneamente que una condición o atributo particular está presente.

Espacio ROC

El espacio ROC y los gráficos de los cuatro ejemplos de predicción.
El espacio ROC para un clasificador "mejor" y "peor"

La tabla de contingencia permite obtener diversas métricas de evaluación (véase el recuadro informativo). Para trazar una curva ROC, solo se necesitan la tasa de verdaderos positivos (TPR) y la tasa de falsos positivos (FPR) (en función de algún parámetro del clasificador). La TPR indica cuántos resultados positivos correctos se producen entre todas las muestras positivas disponibles durante la prueba. La FPR, por otro lado, indica cuántos resultados positivos incorrectos se producen entre todas las muestras negativas disponibles durante la prueba.

El espacio ROC se define mediante la tasa de falsos positivos (FPR) y la tasa de verdaderos positivos (TPR) como ejes x e y , respectivamente, que representan las compensaciones relativas entre los verdaderos positivos (beneficios) y los falsos positivos (costos). Dado que la TPR es equivalente a la sensibilidad y la FPR es igual a 1 − especificidad , el gráfico ROC a veces se denomina gráfico de sensibilidad frente a (1 − especificidad). Cada resultado de predicción o instancia de una matriz de confusión representa un punto en el espacio ROC.

El mejor método de predicción posible daría un punto en la esquina superior izquierda o coordenada (0,1) del espacio ROC, que representa una sensibilidad del 100% (sin falsos negativos) y una especificidad del 100% (sin falsos positivos). El punto (0,1) también se denomina clasificación perfecta . Una suposición aleatoria daría un punto a lo largo de una línea diagonal (la llamada línea de no discriminación ) desde la esquina inferior izquierda hasta la superior derecha (independientemente de las tasas base positivas y negativas ). [ 17 ] Un ejemplo intuitivo de suposición aleatoria es una decisión lanzando monedas. A medida que aumenta el tamaño de la muestra, el punto ROC de un clasificador aleatorio tiende hacia la línea diagonal. En el caso de una moneda equilibrada, tenderá al punto (0,5, 0,5).

La diagonal divide el espacio ROC. Los puntos por encima de la diagonal representan buenos resultados de clasificación (mejores que el azar); los puntos por debajo de la línea representan malos resultados (peores que el azar). Cabe destacar que la salida de un predictor consistentemente malo podría simplemente invertirse para obtener un buen predictor.

Consideremos cuatro resultados de predicción a partir de 100 casos positivos y 100 casos negativos:

En la figura se muestran los gráficos de los cuatro resultados anteriores en el espacio ROC. El resultado del método A muestra claramente el mejor poder predictivo entre A , B y C. El resultado de B se encuentra en la línea de suposición aleatoria (la línea diagonal), y se puede ver en la tabla que la precisión de B es del 50%. Sin embargo, cuando C se refleja a través del punto central (0,5, 0,5), el método resultante C′ es incluso mejor que A. Este método reflejado simplemente invierte las predicciones de cualquier método o prueba que haya producido la tabla de contingencia C. Aunque el método C original tiene un poder predictivo negativo, simplemente invertir sus decisiones conduce a un nuevo método predictivo C′ que tiene un poder predictivo positivo. Cuando el método C predice p o n , el método C′ predeciría n o p , respectivamente. De esta manera, la prueba C′ tendría el mejor rendimiento. Cuanto más cerca esté un resultado de una tabla de contingencia de la esquina superior izquierda, mejor será su predicción. Sin embargo, la distancia a la línea de predicción aleatoria, en cualquier dirección, es el mejor indicador del poder predictivo de un método. Si el resultado está por debajo de la línea (es decir, el método es peor que una predicción aleatoria), todas las predicciones del método deben invertirse para aprovechar su poder predictivo, logrando así que el resultado se sitúe por encima de la línea de predicción aleatoria.

Curvas en el espacio ROC

En la clasificación binaria, la predicción de clase para cada instancia a menudo se realiza en función de una variable aleatoria continua.incógnita{\displaystyle X}, que es una "puntuación" calculada para la instancia (por ejemplo, la probabilidad estimada en la regresión logística). Dado un parámetro umbralT{\displaystyle T}, la instancia se clasifica como "positiva" siincógnita>T{\displaystyle X>T}y "negativo" en caso contrario.incógnita{\displaystyle X}sigue una densidad de probabilidadF1(incógnita){\displaystyle f_{1}(x)}si la instancia realmente pertenece a la clase "positiva", yF0(incógnita){\displaystyle f_{0}(x)}en caso contrario. Por lo tanto, la tasa de verdaderos positivos viene dada porTPR(T)=∫T∞F1(incógnita)dincógnita{\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}y la tasa de falsos positivos viene dada porFPR(T)=∫T∞F0(incógnita)dincógnita{\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}La curva ROC se grafica paramétricamenteTPR(T){\displaystyle {\mbox{TPR}}(T)}versusFPR(T){\displaystyle {\mbox{FPR}}(T)}conT{\displaystyle T}como parámetro variable.

Por ejemplo, imaginemos que los niveles de proteínas en sangre de personas enfermas y sanas siguen una distribución normal con medias de 2 g / dL y 1 g/dL, respectivamente. Una prueba médica podría medir el nivel de una proteína específica en una muestra de sangre y clasificar cualquier valor superior a un umbral determinado como indicativo de enfermedad. El investigador puede ajustar dicho umbral (línea vertical verde en la figura), lo que a su vez modificará la tasa de falsos positivos. Un aumento del umbral resultaría en menos falsos positivos (y más falsos negativos), lo que corresponde a un desplazamiento hacia la izquierda en la curva. La forma real de la curva viene determinada por el grado de solapamiento entre ambas distribuciones.

Críticas

Ejemplo de curva de características operativas del receptor (ROC) que resalta el área bajo la curva (AUC) subárea con baja sensibilidad y baja especificidad en rojo y el área subárea con alta o suficiente sensibilidad y especificidad en verde [ 18 ].

Varios estudios critican ciertas aplicaciones de la curva ROC y su área bajo la curva como medidas para evaluar clasificaciones binarias cuando no capturan la información relevante para la aplicación. [ 19 ] [ 18 ] [ 20 ] [ 21 ] [ 22 ]

La principal crítica a la curva ROC descrita en estos estudios se refiere a la incorporación de áreas con baja sensibilidad y baja especificidad (ambas inferiores a 0,5) para el cálculo del área total bajo la curva (AUC)., [ 20 ] como se describe en el gráfico de la derecha.

Según los autores de estos estudios, esa porción del área bajo la curva (con baja sensibilidad y baja especificidad) corresponde a matrices de confusión donde las predicciones binarias obtienen malos resultados y, por lo tanto, no debería incluirse en la evaluación del rendimiento general. Además, esa porción del AUC indica un espacio con un umbral de matriz de confusión alto o bajo, lo cual rara vez interesa a los científicos que realizan una clasificación binaria en cualquier campo. [ 20 ]

Otra crítica a la curva ROC y su área bajo la curva es que no dicen nada sobre la precisión y el valor predictivo negativo. [ 18 ]

Un valor alto del área bajo la curva ROC (AUC), como 0,9, por ejemplo, podría corresponder a valores bajos de precisión y valor predictivo negativo, como 0,2 y 0,1 en el intervalo [0, 1]. Si se realizara una clasificación binaria, se obtuviera un AUC de 0,9 y se decidiera centrarse únicamente en esta métrica, se podría creer erróneamente que la prueba binaria fue excelente. Sin embargo, si esta persona analizara los valores de precisión y valor predictivo negativo, podría descubrir que son bajos.

El área bajo la curva ROC resume la sensibilidad y la especificidad, pero no proporciona información sobre la precisión ni el valor predictivo negativo. [ 18 ]

Otras interpretaciones

En ocasiones, la curva ROC se utiliza para generar una estadística descriptiva. Las versiones más comunes son:

  • La intersección de la curva ROC con la línea a 45 grados ortogonal a la línea de no discriminación: el punto de equilibrio donde Sensibilidad = Especificidad.
  • La intersección de la curva ROC con la tangente a 45 grados paralela a la línea de no discriminación que está más cerca del punto libre de errores (0,1) – también llamado estadístico J de Youden y generalizado como Informedness
  • El área entre la curva ROC y la línea de no discriminación multiplicada por dos se llama coeficiente de Gini , especialmente en el contexto de la calificación crediticia . [ 23 ] No debe confundirse con la medida de dispersión estadística también llamada coeficiente de Gini .
  • el área entre la curva ROC completa y la curva ROC triangular que incluye solo (0,0), (1,1) y un punto de operación seleccionado(tpagr,Fpagr){\displaystyle (tpr,fpr)}– Consistencia [ 24 ]
  • el área bajo la curva ROC, o "AUC" ("área bajo la curva"), o A' (pronunciado "a-prima"), [ 25 ] o "estadístico c" ("estadístico de concordancia"). [ 26 ]
  • El índice de sensibilidad d′ (pronunciado "d-prima"), la distancia entre la media de la distribución de la actividad en el sistema en condiciones de ruido únicamente y su distribución en condiciones de señal únicamente, dividida por su desviación estándar , bajo el supuesto de que ambas distribuciones son normales con la misma desviación estándar. Bajo estos supuestos, la forma de la ROC está completamente determinada por d′ .

Sin embargo, cualquier intento de resumir la curva ROC en un solo número conlleva la pérdida de información sobre el patrón de compensaciones del algoritmo discriminador en particular.

Interpretación probabilística

El área bajo la curva (a menudo denominada simplemente AUC) es igual a la probabilidad de que un clasificador clasifique una instancia positiva elegida al azar por encima de una negativa elegida al azar (suponiendo que "positivo" se clasifica por encima de "negativo"). [ 27 ] En otras palabras, cuando se le da una instancia positiva seleccionada al azar y una instancia negativa seleccionada al azar, el AUC es la probabilidad de que el clasificador pueda distinguir cuál es cuál.

Esto se puede ver de la siguiente manera: el área bajo la curva viene dada por (los límites de la integral se invierten como un umbral grande)T{\displaystyle T}tiene un valor menor en el eje x )

TPR⁡(T):T→y(incógnita){\displaystyle \operatorname {TPR} (T):T\to y(x)}
FPR⁡(T):T→incógnita{\displaystyle \operatorname {FPR} (T):T\to x}
A=∫incógnita=01TPR(FPR−1(incógnita))dincógnita=∫∞−∞TPR(T)FPR′(T)dT=∫−∞∞∫−∞∞I(T′≥T)F1(T′)F0(T)dT′dT=PAG(incógnita1≥incógnita0){\displaystyle {\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}}

dóndeincógnita1{\displaystyle X_{1}}es la puntuación para una instancia positiva yincógnita0{\displaystyle X_{0}}es la puntuación para una instancia negativa, yF0{\displaystyle f_{0}}yF1{\displaystyle f_{1}}son densidades de probabilidad tal como se definen en la sección anterior.

Siincógnita0{\displaystyle X_{0}}yincógnita1{\displaystyle X_{1}}sigue dos distribuciones gaussianas, luegoA=Φ((μ1−μ0)/σ12+σ02){\displaystyle A=\Phi \left((\mu _{1}-\mu _{0})/{\sqrt {\sigma _{1}^{2}+\sigma _{0}^{2}}}\right)}.

Área bajo la curva

Se puede demostrar que el AUC está estrechamente relacionado con la U de Mann-Whitney , [ 28 ] [ 29 ] que evalúa si los positivos se clasifican por encima de los negativos. Para un predictorF{\textstyle f}, un estimador insesgado de su AUC puede expresarse mediante la siguiente estadística de Wilcoxon-Mann-Whitney : [ 30 ]

AUC(F)=∑t0∈D0∑t1∈D11[F(t0)<F(t1)]|D0|⋅|D1|,{\displaystyle {\text{AUC}}(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},}

dónde1[F(t0)<F(t1)]{\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}denota una función indicadora que devuelve 1 siF(t0)<F(t1){\displaystyle f(t_{0})<f(t_{1})}de lo contrario, devuelve 0;D0{\displaystyle {\mathcal {D}}^{0}}es el conjunto de ejemplos negativos, yD1{\displaystyle {\mathcal {D}}^{1}}es el conjunto de ejemplos positivos.

En el contexto de la calificación crediticia , a menudo se utiliza una versión reescalada del AUC:

GRAMO1=2AUC−1{\displaystyle G_{1}=2\operatorname {AUC} -1}.

GRAMO1{\displaystyle G_{1}}se le conoce como índice de Gini o coeficiente de Gini, [ 31 ] pero no debe confundirse con la medida de dispersión estadística que también se llama coeficiente de Gini .GRAMO1{\displaystyle G_{1}}es un caso especial de la D de Somers .

También es común calcular el Área Bajo la Envolvente Convexa ROC (AUC ROC = AUC ROC), ya que cualquier punto en el segmento de línea entre dos resultados de predicción puede obtenerse utilizando aleatoriamente uno u otro sistema con probabilidades proporcionales a la longitud relativa del componente opuesto del segmento. [ 32 ] También es posible invertir las concavidades; al igual que en la figura, la peor solución puede reflejarse para convertirse en una mejor solución; las concavidades pueden reflejarse en cualquier segmento de línea, pero esta forma más extrema de fusión es mucho más propensa a sobreajustar los datos. [ 33 ]

La comunidad de aprendizaje automático suele utilizar la estadística ROC AUC para la comparación de modelos. [ 34 ] Esta práctica ha sido cuestionada porque las estimaciones de AUC son bastante ruidosas y presentan otros problemas. [ 35 ] [ 36 ] [ 37 ] No obstante, la coherencia de AUC como medida del rendimiento de clasificación agregado ha sido justificada, en términos de una distribución de tasa uniforme, [ 38 ] y AUC se ha vinculado a varias otras métricas de rendimiento, como la puntuación de Brier . [ 39 ]

Otro problema con ROC AUC es que reducir la curva ROC a un solo número ignora el hecho de que se trata de las compensaciones entre los diferentes sistemas o puntos de rendimiento graficados y no el rendimiento de un sistema individual, así como también ignora la posibilidad de reparación de concavidad, por lo que se recomiendan medidas alternativas relacionadas como Informedness o DeltaP. [ 24 ] [ 40 ] Estas medidas son esencialmente equivalentes al Gini para un solo punto de predicción con DeltaP' = Informedness = 2AUC-1, mientras que DeltaP = Markedness representa el dual (es decir, predecir la predicción de la clase real) y su media geométrica es el coeficiente de correlación de Matthews .

Mientras que el AUC ROC varía entre 0 y 1 —con un clasificador no informativo que produce 0,5— las medidas alternativas conocidas como Informedness , Certainty [ 24 ] y Gini Coefficient (en el caso de una sola parametrización o un solo sistema) tienen la ventaja de que 0 representa un rendimiento aleatorio, mientras que 1 representa un rendimiento perfecto, y -1 representa el caso "perverso" de que la información completa siempre dé la respuesta incorrecta. [ 41 ] Al reducir el rendimiento aleatorio a 0, estas escalas alternativas pueden interpretarse como estadísticas Kappa. Se ha demostrado que Informedness tiene características deseables para el aprendizaje automático en comparación con otras definiciones comunes de Kappa, como Cohen Kappa y Fleiss Kappa . [ 42 ]

A veces puede ser más útil observar una región específica de la curva ROC en lugar de la curva completa. Es posible calcular el AUC parcial . [ 43 ] Por ejemplo, se podría enfocar en la región de la curva con una baja tasa de falsos positivos, que suele ser de gran interés para las pruebas de cribado poblacional. [ 44 ] Otro enfoque común para problemas de clasificación en los que P ≪ N (común en aplicaciones bioinformáticas) es utilizar una escala logarítmica para el eje x . [ 45 ]

El área bajo la curva ROC también se denomina estadístico c o estadístico c . [ 46 ]

Otras medidas

Curva TOC

La curva característica operativa total (TOC) también caracteriza la capacidad de diagnóstico al tiempo que revela más información que la curva ROC. Para cada umbral, la curva ROC revela dos razones, TP/(TP + FN) y FP/(FP + TN). En otras palabras, la curva ROC revelagolpesgolpes+falla{\displaystyle {\frac {\text{aciertos}}{{\text{aciertos}}+{\text{fallos}}}}}yfalsas alarmasfalsas alarmas+rechazos correctos{\displaystyle {\frac {\text{falsas alarmas}}{{\text{falsas alarmas}}+{\text{rechazos correctos}}}}}Por otro lado, TOC muestra la información total en la tabla de contingencia para cada umbral. [ 47 ] El método TOC revela toda la información que proporciona el método ROC, además de información importante adicional que ROC no revela, es decir, el tamaño de cada entrada en la tabla de contingencia para cada umbral. TOC también proporciona el popular AUC de ROC. [ 48 ]

Curva ROC

Estas figuras son las curvas TOC y ROC utilizando los mismos datos y umbrales. Consideremos el punto que corresponde a un umbral de 74. La curva TOC muestra el número de aciertos, que es 3, y por lo tanto el número de fallos, que es 7. Además, la curva TOC muestra que el número de falsas alarmas es 4 y el número de rechazos correctos es 16. En cualquier punto dado de la curva ROC, es posible obtener valores para las razones defalsas alarmasfalsas alarmas+rechazos correctos{\displaystyle {\frac {\text{falsas alarmas}}{{\text{falsas alarmas}}+{\text{rechazos correctos}}}}}ygolpesgolpes+falla{\displaystyle {\frac {\text{aciertos}}{{\text{aciertos}}+{\text{fallos}}}}}Por ejemplo, en el umbral 74, es evidente que la coordenada x es 0,2 y la coordenada y es 0,3. Sin embargo, estos dos valores son insuficientes para construir todas las entradas de la tabla de contingencia subyacente de dos por dos.

Gráfico de compensación del error de detección

Ejemplo de gráfico DET

Una alternativa a la curva ROC es el gráfico de compensación de errores de detección (DET), que representa la tasa de falsos negativos (detecciones omitidas) frente a la tasa de falsos positivos (falsas alarmas) en ejes x e y transformados de forma no lineal. La función de transformación es la función cuantil de la distribución normal, es decir, la inversa de la distribución normal acumulativa. De hecho, es la misma transformación que zROC, más abajo, excepto que se utiliza el complemento de la tasa de aciertos, la tasa de omisión o tasa de falsos negativos. Esta alternativa dedica más área del gráfico a la región de interés. La mayor parte del área ROC es de poco interés; lo que importa principalmente es la región cercana al eje y y la esquina superior izquierda, que, debido a que se utiliza la tasa de omisión en lugar de su complemento, la tasa de aciertos, es la esquina inferior izquierda en un gráfico DET. Además, los gráficos DET tienen la útil propiedad de linealidad y un comportamiento de umbral lineal para distribuciones normales. [ 49 ] El gráfico DET se utiliza ampliamente en la comunidad de reconocimiento automático de locutores , donde se utilizó por primera vez el nombre DET. El análisis del rendimiento de la curva ROC en gráficos con esta distorsión de los ejes fue utilizado por psicólogos en estudios de percepción a mediados del siglo XX, donde se le denominó "papel de doble probabilidad". [ 50 ]

Puntuación Z

Si se aplica una puntuación estándar a la curva ROC, esta se transformará en una línea recta. [ 51 ] Esta puntuación z se basa en una distribución normal con una media de cero y una desviación estándar de uno. En la teoría de la fuerza de la memoria , se debe asumir que la zROC no solo es lineal, sino que tiene una pendiente de 1,0. La distribución normal de los objetivos (objetos estudiados que los sujetos deben recordar) y los distractores (objetos no estudiados que los sujetos intentan recordar) es el factor que hace que la zROC sea lineal.

La linealidad de la curva zROC depende de las desviaciones estándar de las distribuciones de fuerza del objetivo y del señuelo. Si las desviaciones estándar son iguales, la pendiente será 1,0. Si la desviación estándar de la distribución de fuerza del objetivo es mayor que la desviación estándar de la distribución de fuerza del señuelo, entonces la pendiente será menor que 1,0. En la mayoría de los estudios, se ha encontrado que las pendientes de la curva zROC caen constantemente por debajo de 1, generalmente entre 0,5 y 0,9. [ 52 ] Muchos experimentos arrojaron una pendiente zROC de 0,8. Una pendiente de 0,8 implica que la variabilidad de la distribución de fuerza del objetivo es un 25 % mayor que la variabilidad de la distribución de fuerza del señuelo. [ 53 ]

Otra variable utilizada es d ' (d prima) (discutida anteriormente en "Otras medidas"), que puede expresarse fácilmente en términos de valores z. Si bien d ' es un parámetro de uso común, cabe destacar que solo es relevante cuando se siguen estrictamente los supuestos rigurosos de la teoría de la resistencia mencionados anteriormente. [ 54 ]  

La puntuación z de una curva ROC siempre es lineal, como se supone, excepto en situaciones especiales. El modelo de familiaridad-recuerdo de Yonelinas es una descripción bidimensional de la memoria de reconocimiento. En lugar de que el sujeto simplemente responda sí o no a una entrada específica, el sujeto le da a la entrada una sensación de familiaridad, que funciona como la curva ROC original. Sin embargo, lo que cambia es un parámetro para el Recuerdo (R). Se supone que el Recuerdo es todo o nada, y prevalece sobre la familiaridad. Si no hubiera un componente de recuerdo, zROC tendría una pendiente prevista de 1. Sin embargo, al agregar el componente de recuerdo, la curva zROC será cóncava hacia arriba, con una pendiente reducida. Esta diferencia en la forma y la pendiente resulta de un elemento adicional de variabilidad debido a que algunos elementos se recuerdan. Los pacientes con amnesia anterógrada no pueden recordar, por lo que su curva zROC de Yonelinas tendría una pendiente cercana a 1,0. [ 55 ]

Historia

La curva ROC se utilizó por primera vez durante la Segunda Guerra Mundial para el análisis de señales de radar antes de emplearse en la teoría de detección de señales . [ 56 ] Tras el ataque a Pearl Harbor en 1941, el ejército de Estados Unidos inició nuevas investigaciones para aumentar la predicción de la detección correcta de aeronaves japonesas a partir de sus señales de radar. Para ello, midieron la capacidad del operador de un receptor de radar para realizar estas distinciones importantes, lo que se denominó curva ROC (Característica Operativa del Receptor). [ 57 ]

En la década de 1950, las curvas ROC se emplearon en psicofísica para evaluar la detección humana (y ocasionalmente animal no humano) de señales débiles. [ 56 ] En medicina , el análisis ROC se ha utilizado ampliamente en la evaluación de pruebas diagnósticas . [ 58 ] [ 59 ] Las curvas ROC también se utilizan ampliamente en epidemiología e investigación médica y se mencionan frecuentemente junto con la medicina basada en la evidencia . En radiología , el análisis ROC es una técnica común para evaluar nuevas técnicas radiológicas. [ 60 ] En las ciencias sociales, el análisis ROC a menudo se denomina índice de precisión ROC, una técnica común para juzgar la precisión de los modelos de probabilidad predeterminados. Las curvas ROC se utilizan ampliamente en medicina de laboratorio para evaluar la precisión diagnóstica de una prueba, para elegir el punto de corte óptimo de una prueba y para comparar la precisión diagnóstica de varias pruebas.

Las curvas ROC también demostraron ser útiles para la evaluación de técnicas de aprendizaje automático . La primera aplicación de las curvas ROC en el aprendizaje automático fue realizada por Spackman, quien demostró su valor para comparar y evaluar diferentes algoritmos de clasificación . [ 61 ]

Las curvas ROC también se utilizan en la verificación de pronósticos en meteorología. [ 62 ]

Radar en detalle

Como se mencionó, las curvas ROC son fundamentales para el funcionamiento y la teoría del radar . Las señales recibidas en una estación receptora, reflejadas por un objetivo, suelen tener una energía muy baja en comparación con el nivel de ruido . La relación señal/ruido es una métrica importante para determinar si se detectará un objetivo. Esta relación señal/ruido está directamente correlacionada con las características operativas del receptor de todo el sistema de radar, lo que permite cuantificar su capacidad.

Consideremos el desarrollo de un sistema de radar. Se puede proporcionar una especificación para las capacidades del sistema en términos de probabilidad de detección,PAGD{\displaystyle P_{D}}, con cierta tolerancia a las falsas alarmas,PAGFA{\displaystyle P_{FA}}. Una aproximación simplificada de la relación señal/ruido requerida en la estación receptora se puede calcular resolviendo [ 63 ].

PAGD=12erfc⁡(erfc−1⁡(2PAGFA)−incógnita/2){\displaystyle P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X/2}}}\right)}

para la relación señal/ruidoincógnita{\displaystyle {\mathcal {X}}}. Aquí,incógnita{\displaystyle {\mathcal {X}}}no está en decibelios , como es común en muchas aplicaciones de radar. La conversión a decibelios se realiza medianteincógnitadB=10registro10⁡incógnita{\displaystyle {\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}}. A partir de esta figura, se pueden resolver las entradas comunes en la ecuación de alcance del radar (con factores de ruido) para estimar la potencia radiada efectiva requerida .

Curvas ROC más allá de la clasificación binaria

La extensión de las curvas ROC para problemas de clasificación con más de dos clases es engorrosa. Dos enfoques comunes para cuando hay múltiples clases son (1) promediar sobre todos los valores AUC de pares [ 64 ] y (2) calcular el volumen bajo superficie (VUS). [ 65 ] [ 66 ] Para promediar sobre todas las clases de pares, se calcula el AUC para cada par de clases, utilizando solo los ejemplos de esas dos clases como si no hubiera otras clases, y luego se promedian estos valores AUC sobre todos los pares posibles. Cuando hay c clases habrá c ( c − 1) / 2 pares de clases posibles.

El enfoque de volumen bajo la superficie consiste en trazar una hipersuperficie en lugar de una curva y luego medir el hipervolumen bajo esa hipersuperficie. Cada regla de decisión posible que se podría usar para un clasificador para c clases se puede describir en términos de sus tasas de verdaderos positivos (TPR 1 ,  .  .  .  ,  TPR c ) . Es este conjunto de tasas el que define un punto, y el conjunto de todas las reglas de decisión posibles produce una nube de puntos que definen la hipersuperficie. Con esta definición, el VUS es la probabilidad de que el clasificador pueda etiquetar correctamente todos los c ejemplos cuando se le da un conjunto que tiene un ejemplo seleccionado aleatoriamente de cada clase. La implementación de un clasificador que sabe que su conjunto de entrada consta de un ejemplo de cada clase podría primero calcular una puntuación de bondad de ajuste para cada uno de los c 2 posibles emparejamientos de un ejemplo a una clase, y luego emplear el algoritmo húngaro para maximizar la suma de las c puntuaciones seleccionadas sobre todas las c ! formas posibles de asignar exactamente un ejemplo a cada clase.

Dado el éxito de las curvas ROC en la evaluación de modelos de clasificación, también se ha investigado su extensión a otras tareas supervisadas. Entre las propuestas más destacadas para problemas de regresión se encuentran las denominadas curvas de característica de error de regresión (REC) [ 67 ] y las curvas ROC de regresión (RROC) [ 68 ] . En estas últimas, las curvas RROC se asemejan enormemente a las curvas ROC para clasificación, con las nociones de asimetría, dominancia y envolvente convexa. Además, el área bajo las curvas RROC es proporcional a la varianza del error del modelo de regresión.

Véase también

Referencias

  1. ↑ Junge, Mark RJ; Dettori, Joseph R. (junio de 2018). "ROC Solid: las curvas de características operativas del receptor (ROC) como base para mejores pruebas diagnósticas" . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . ISSN 2192-5682 . PMC 6022965. PMID 29977728 .   
  2. 1 2 "Análisis del rendimiento de detectores mediante curvas ROC: ejemplo en MATLAB y Simulink" . www.mathworks.com . Archivado del original el 14 de junio de 2020. Consultado el 11 de agosto de 2016 .
  3. ↑ Swets, John A.; Teoría de detección de señales y análisis ROC en psicología y diagnóstico  : recopilación de artículos. Archivado el 5 de enero de 2005 en Wayback Machine , Lawrence Erlbaum Associates, Mahwah, NJ, 1996.
  4. ↑ Junge, MR; Dettori, JR (3 de mayo de 2024). "ROC Solid: Las curvas de características operativas del receptor (ROC) como base para mejores pruebas diagnósticas" . Global Spine Journal . 8 (4): 424– 429. doi : 10.1177/2192568218778294 . PMC 6022965. PMID 29977728 .  
  5. ↑ Peres, DJ; Cancelliere, A. (2014-12-08). "Derivación y evaluación de umbrales de activación de deslizamientos de tierra mediante un enfoque de Monte Carlo" . Hydrol. Earth Syst. Sci . 18 (12): 4913– 4931. Bibcode : 2014HESS...18.4913P . doi : 10.5194/hess-18-4913-2014 . ISSN 1607-7938 . 
  6. ↑ Murphy, Allan H. (1996-03-01). "El caso Finley: un acontecimiento clave en la historia de la verificación de pronósticos" . Weather and Forecasting . 11 (1): 3– 20. Bibcode : 1996WtFor..11....3M . doi : 10.1175/1520-0434(1996)011 < 0003:tfaase > 2.0.co ; 2. ISSN 0882-8156 . 
  7. ↑ Peres, DJ; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (2015-10-01). "Extensión significativa del registro de altura de olas mediante redes neuronales y datos de viento de reanálisis". Ocean Modelling . 94 : 128–140 . Bibcode : 2015OcMod..94..128P . doi : 10.1016/j.ocemod.2015.08.002 .
  8. ↑ Sushkova, Olga; Morozov, Alexei; Gabova, Alexandra; Karabanov, Alexei; Illarioshkin, Sergey (2021). "Un método estadístico para el análisis exploratorio de datos basado en diagramas de área bajo la curva 2D y 3D: investigación de la enfermedad de Parkinson" . Sensors . 21 (14): 4700. Bibcode : 2021Senso..21.4700S . doi : 10.3390/s21144700 . PMC 8309570. PMID 34300440 .  
  9. ↑ Fawcett, Tom (2006). "Una introducción al análisis ROC" (PDF) . Pattern Recognition Letters . 27 (8): 861– 874. doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 . 
  10. ↑ Provost, Foster; Tom Fawcett (1 de agosto de 2013). "Ciencia de datos para los negocios: lo que necesita saber sobre minería de datos y pensamiento analítico de datos" . O'Reilly Media, Inc.
  11. ↑ Powers, David MW (2011). "Evaluación: De la precisión, la exhaustividad y la medida F a la curva ROC, la información, la marcación y la correlación" . Journal of Machine Learning Technologies . 2 (1): 37– 63.
  12. ↑ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Enciclopedia del aprendizaje automático . Springer. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8.
  13. ↑ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (26 de enero de 2015). "Grupo de trabajo conjunto WWRP/WGNE sobre investigación de verificación de pronósticos" . Colaboración para la investigación meteorológica y climática australiana . Organización Meteorológica Mundial . Consultado el 17 de julio de 2019 .
  14. ↑ Chicco D, Jurman G (enero de 2020). "Las ventajas del coeficiente de correlación de Matthews (MCC) sobre la puntuación F1 y la precisión en la evaluación de la clasificación binaria" . BMC Genomics . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312. PMID 31898477 .  
  15. ↑ Chicco D, Toetsch N, Jurman G (febrero de 2021). "El coeficiente de correlación de Matthews (MCC) es más fiable que la precisión equilibrada, la información del corredor de apuestas y la marcación en la evaluación de matrices de confusión de dos clases" . BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449. PMID 33541410 .  
  16. ↑ Tharwat A. (agosto de 2018). "Métodos de evaluación de clasificación" . Applied Computing and Informatics . 17 : 168–192 . doi : 10.1016/j.aci.2018.08.003 .
  17. ↑ "Clasificación - AUC-ROC de un clasificador aleatorio" . Data Science Stack Exchange . Consultado el 30 de noviembre de 2020 .
  18. 1 2 3 4 Chicco, Davide; Jurman, Giuseppe (2023-02-17). "El coeficiente de correlación de Matthews (MCC) debería reemplazar al ROC AUC como la métrica estándar para evaluar la clasificación binaria" . BioData Mining . 16 (1). Springer Science and Business Media LLC: 4. doi : 10.1186/ s13040-023-00322-4 . hdl : 10281/430042 . ISSN 1756-0381 . PMC 9938573. PMID 36800973 .   
  19. ↑ Muschelli, John (23 de diciembre de 2019). "ROC y AUC con un predictor binario: una métrica potencialmente engañosa" . Journal of Classification . 37 (3). Springer Science and Business Media LLC: 696–708 . doi : 10.1007/s00357-019-09345-1 . ISSN 0176-4268 . PMC 7695228. PMID 33250548 .   
  20. 1 2 3 Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: una medida engañosa del rendimiento de los modelos de distribución predictiva". Ecología y Biogeografía Global . 17 (2). Wiley: 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . ISSN 1466-822X . 
  21. ↑ Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015-01-20). "Desventajas del uso del área bajo la curva ROC para evaluar pruebas de imagen: una discusión y propuesta de un enfoque alternativo" . European Radiology . 25 ( 4 ). Springer Science and Business Media LLC: 932– 939. doi : 10.1007/s00330-014-3487-0 . ISSN 0938-7994 . PMC 4356897. PMID 25599932 .   
  22. ↑ Berrar, D.; Flach, P. (21 de marzo de 2011). "Advertencias y escollos del análisis ROC en la investigación clínica con microarrays (y cómo evitarlos)" . Briefings in Bioinformatics . 13 (1). Oxford University Press (OUP): 83–97 . doi : 10.1093/bib/bbr008 . ISSN 1467-5463 . PMID 21422066 .  
  23. ↑ Řezáč, M., Řezáč, F. (2011). "Cómo medir la calidad de los modelos de calificación crediticia". Revista Checa de Economía y Finanzas (Finance a úvěr) . 61 (5). Universidad Carolina de Praga, Facultad de Ciencias Sociales: 486– 507.
  24. 1 2 3 Powers, David MW (2012). "ROC-ConCert: Medición de consistencia y certeza basada en ROC" (PDF) . Congreso de Primavera sobre Ingeniería y Tecnología (SCET) . Vol. 2. IEEE. págs. 238–241 .  
  25. ↑ Fogarty, James; Baker, Ryan S.; Hudson, Scott E. (2005). "Estudios de caso sobre el uso del análisis de curvas ROC para estimaciones basadas en sensores en la interacción persona-computadora" . ACM International Conference Proceeding Series, Proceedings of Graphics Interface 2005. Waterloo, ON: Canadian Human-Computer Communications Society.
  26. ↑ Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2009). Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción (2.ª ed.). 
  27. ↑ Fawcett, Tom (2006); Una introducción al análisis ROC , Pattern Recognition Letters, 27, 861–874.
  28. ↑ Hanley, James A.; McNeil, Barbara J. (1982). "El significado y uso del área bajo una curva ROC (característica operativa del receptor)". Radiology . 143 (1): 29– 36. doi : 10.1148/radiology.143.1.7063747 . PMID 7063747 . S2CID 10511727 .  
  29. ↑ Mason, Simon J.; Graham, Nicholas E. (2002). "Áreas bajo las curvas de características operativas relativas (ROC) y niveles operativos relativos (ROL): significancia estadística e interpretación" (PDF) . Quarterly Journal of the Royal Meteorological Society . 128 (584): 2145– 2166. Bibcode : 2002QJRMS.128.2145M . CiteSeerX 10.1.1.458.8392 . doi : 10.1256/003590002320603584 . S2CID 121841664. Archivado del original (PDF) el 20 de noviembre de 2008.  
  30. ^ Calders, dibujo animado; Jaroszewicz, Szymon (2007). "Optimización eficiente de AUC para la clasificación". En Kok, Joost N.; Koronacki, Jacek; López de Mantarás, Ramón; Matwin, Stan; Mladenič, Dunja; Skowron, Andrzej (eds.). Descubrimiento de conocimientos en bases de datos: PKDD 2007 . Apuntes de conferencias sobre informática. vol. 4702. Berlín, Heidelberg: Springer. págs. 42– 53. doi : 10.1007/978-3-540-74976-9_8 . ISBN   978-3-540-74976-9.
  31. ↑ Hand, David J.; y Till, Robert J. (2001); Una generalización simple del área bajo la curva ROC para problemas de clasificación de clases múltiples , Machine Learning, 45, 171–186.
  32. ↑ Provost, F.; Fawcett, T. (2001). "Clasificación robusta para entornos imprecisos". Machine Learning . 42 (3): 203– 231. arXiv : cs/0009007 . Bibcode : 2001MLear..42..203P . doi : 10.1023/a:1007601015854 . S2CID 5415722 . 
  33. ↑ Flach, PA; Wu, S. (2005). "Reparación de concavidades en curvas ROC." (PDF) . 19.ª Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI'05) . págs. 702–707 . 
  34. ↑ Hanley, James A.; McNeil, Barbara J. (1983-09-01). "Un método para comparar las áreas bajo las curvas de características operativas del receptor derivadas de los mismos casos" . Radiology . 148 (3): 839– 843. doi : 10.1148/radiology.148.3.6878708 . PMID 6878708 . 
  35. ↑ Hanczar, Blaise; Hua, Jianping; Sima, Chao; Weinstein, John; Bittner, Michael; Dougherty, Edward R (2010). "Precisión de muestras pequeñas de estimaciones relacionadas con ROC" . Bioinformatics . 26 (6): 822– 830. doi : 10.1093/bioinformatics/btq037 . PMID 20130029 . 
  36. ↑ Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: una medida engañosa del rendimiento de los modelos de distribución predictiva". Ecología y Biogeografía Global . 17 (2): 145– 151. Bibcode : 2008GloEB..17..145L . doi : 10.1111/j.1466-8238.2007.00358.x . S2CID 15206363 . 
  37. ↑ Hand, David J (2009). "Medición del rendimiento del clasificador: una alternativa coherente al área bajo la curva ROC" . Machine Learning . 77 : 103–123 . doi : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .
  38. ↑ Flach, PA; Hernandez-Orallo, J.; Ferri, C. (2011). "Una interpretación coherente del AUC como medida del rendimiento de clasificación agregada." (PDF) . Actas de la 28.ª Conferencia Internacional sobre Aprendizaje Automático (ICML-11) . págs. 657–664 . 
  39. ↑ Hernandez-Orallo, J.; Flach, PA; Ferri, C. (2012). "Una visión unificada de las métricas de rendimiento: traducción de la elección del umbral en pérdida de clasificación esperada" (PDF) . Journal of Machine Learning Research . 13 : 2813–2869 .
  40. ↑ Powers, David MW (2012). "El problema del área bajo la curva". Conferencia internacional sobre ciencia y tecnología de la información .
  41. ↑ Powers, David MW (2003). "Recall and Precision versus the Bookmaker" (PDF) . Actas de la Conferencia Internacional sobre Ciencias Cognitivas (ICSC-2003), Sídney, Australia, 2003, pp. 529–534 . 
  42. ↑ Powers, David MW (2012). "El problema con Kappa" (PDF) . Conferencia del Capítulo Europeo de la Asociación de Lingüística Computacional (EACL2012) Taller conjunto ROBUS-UNSUP . Archivado del original (PDF) el 18 de mayo de 2016. Recuperado el 20 de julio de 2012 .
  43. ↑ McClish, Donna Katzman (1989-08-01). "Análisis de una parte de la curva ROC". Medical Decision Making . 9 (3): 190– 195. doi : 10.1177/0272989X8900900307 . PMID 2668680. S2CID 24442201 .  
  44. ↑ Dodd, Lori E.; Pepe, Margaret S. (2003). "Estimación y regresión parcial del AUC" . Biometrics . 59 ( 3): 614– 623. doi : 10.1111/1541-0420.00071 . PMID 14601762. S2CID 23054670 .  
  45. ↑ Karplus, Kevin (2011); Mejor que el azar: la importancia de los modelos nulos , Universidad de California, Santa Cruz, en Actas del Primer Taller Internacional sobre Reconocimiento de Patrones en Proteómica, Biología Estructural y Bioinformática (PR PS BB 2011)
  46. ↑ "Estadístico C: Definición, ejemplos, ponderación y significancia" . Statistics How To . 28 de agosto de 2016.
  47. ↑ Pontius, Robert Gilmore; Parmentier, Benoit (2014). "Recomendaciones para el uso de la curva ROC (Relative Operating Characteristic)". Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 . 
  48. ↑ Pontius, Robert Gilmore; Si, Kangping (2014). "La característica operativa total para medir la capacidad de diagnóstico para múltiples umbrales". International Journal of Geographical Information Science . 28 (3): 570– 583. Bibcode : 2014IJGIS..28..570P . doi : 10.1080/13658816.2013.862623 . S2CID 29204880 . 
  49. ↑ Navratil, J.; Klusacek, D. (1 de abril de 2007). "Sobre DET lineales". Conferencia Internacional IEEE de Acústica, Habla y Procesamiento de Señales de 2007 - ICASSP '07 . Vol. 4. págs. IV–229–IV–232. doi : 10.1109/ICASSP.2007.367205 . ISBN   978-1-4244-0727-9. S2CID 18173315 . 
  50. ↑ Dev P. Chakraborty (14 de diciembre de 2017). "double+probability+paper"&pg=PT214 Métodos de rendimiento del observador para imágenes diagnósticas: fundamentos, modelado y aplicaciones con ejemplos basados ​​en R. CRC Press. pág. 214. ISBN  9781351230711. Consultado el 11 de julio de 2019 .
  51. ↑ MacMillan, Neil A.; Creelman, C. Douglas (2005). Teoría de la detección: Guía del usuario (2.ª ed.). Mahwah, NJ: Lawrence Erlbaum Associates. ISBN  978-1-4106-1114-7.
  52. ↑ Glanzer, Murray; Kisok, Kim; Hilford, Andy; Adams, John K. (1999). "Pendiente de la curva ROC en la memoria de reconocimiento". Journal of Experimental Psychology: Learning, Memory, and Cognition . 25 (2): 500– 513. doi : 10.1037/0278-7393.25.2.500 .
  53. ↑ Ratcliff, Roger; McCoon, Gail; Tindall, Michael (1994). "Generalidad empírica de los datos de las funciones ROC de la memoria de reconocimiento e implicaciones para los GMM". Journal of Experimental Psychology: Learning, Memory, and Cognition . 20 (4): 763– 785. CiteSeerX 10.1.1.410.2114 . doi : 10.1037/0278-7393.20.4.763 . PMID 8064246 .  
  54. ↑ Zhang, Jun; Mueller, Shane T. (2005). "Una nota sobre el análisis ROC y la estimación no paramétrica de la sensibilidad". Psychometrika . 70 : 203–212 . CiteSeerX 10.1.1.162.1515 . doi : 10.1007/s11336-003-1119-8 . S2CID 122355230 .  
  55. ↑ Yonelinas, Andrew P.; Kroll, Neal EA; Dobbins, Ian G.; Lazzara, Michele; Knight, Robert T. (1998). "Déficits de recuerdo y familiaridad en la amnesia: convergencia de datos de recordar-saber, disociación de procesos y características operativas del receptor". Neuropsicología . 12 (3): 323– 339. doi : 10.1037/0894-4105.12.3.323 . PMID 9673991 . 
  56. 1 2 Green, David M.; Swets, John A. (1966). Teoría de la detección de señales y psicofísica . Nueva York, NY: John Wiley and Sons Inc. ISBN 978-0-471-32420-1.
  57. ↑ "Uso de la curva ROC (Receiver Operating Characteristic) para analizar un modelo de clasificación: una nota final de interés histórico" (PDF) . Departamento de Matemáticas, Universidad de Utah . Archivado (PDF) del original el 22 de agosto de 2020. Consultado el 25 de mayo de 2017 .
  58. ↑ Zweig, Mark H.; Campbell, Gregory (1993). "Gráficas de características operativas del receptor (ROC): una herramienta de evaluación fundamental en medicina clínica" (PDF) . Química Clínica . 39 (8): 561– 577. doi : 10.1093/clinchem/39.4.561 . PMID 8472349 . 
  59. ↑ Pepe, Margaret S. (2003). La evaluación estadística de pruebas médicas para clasificación y predicción . Nueva York, NY: Oxford. ISBN 978-0-19-856582-6.
  60. ↑ Obuchowski, Nancy A. (2003). "Curvas de características operativas del receptor y su uso en radiología". Radiology . 229 (1): 3– 8. doi : 10.1148/radiol.2291010898 . PMID 14519861 . 
  61. ↑ Spackman, Kent A. (1989). "Teoría de detección de señales: herramientas valiosas para evaluar el aprendizaje inductivo". Actas del Sexto Taller Internacional sobre Aprendizaje Automático . San Mateo, CA: Morgan Kaufmann . págs. 160–163 . 
  62. ↑ Kharin, Viatcheslav (2003). "Sobre la puntuación ROC de las predicciones de probabilidad" . Journal of Climate . 16 (24): 4145– 4150. Bibcode : 2003JCli...16.4145K . doi : 10.1175/1520-0442(2003)016 < 4145:OTRSOP > 2.0.CO ; 2 .
  63. ↑ "Mark A. Richard (2022). Fundamentos del procesamiento de señales de radar, 3.ª edición . McGraw Hill. ISBN 978-1-260-46871-7.
  64. ↑ Till, DJ; Hand, RJ (2001). "Una generalización simple del área bajo la curva ROC para problemas de clasificación de múltiples clases" . Machine Learning . 45 (2): 171– 186. doi : 10.1023/A:1010920819831 .
  65. ↑ Mossman, D. (1999). "Curvas ROC de tres vías". Toma de decisiones médicas . 19 (1): 78– 89. doi : 10.1177/0272989x9901900110 . PMID 9917023 . S2CID 24623127 .  
  66. ↑ Ferri, C.; Hernandez-Orallo, J.; Salido, MA (2003). "Volumen bajo la superficie ROC para problemas multiclase". Machine Learning: ECML 2003. pp. 108–120 . 
  67. ↑ Bi, J.; Bennett, KP (2003). "Curvas características de error de regresión" (PDF) . Vigésima Conferencia Internacional sobre Aprendizaje Automático (ICML-2003). Washington, DC .
  68. ↑ Hernandez-Orallo, J. (2013). "Curvas ROC para regresión". Pattern Recognition . 46 (12): 3395– 3411. arXiv : 1211.2359 . Bibcode : 2013PatRe..46.3395H . doi : 10.1016/j.patcog.2013.06.014 . hdl : 10251/40252 . S2CID 15651724 . 
  • Calculadora ROC sencilla
  • Demostración animada de ROC
  • Demostración de ROC
  • otra demostración de ROC
  • Explicación en vídeo de ROC
  • Introducción a la Característica Operativa Total: Utilidad en la Evaluación de Modelos de Cambio de Uso del Suelo
  • Cómo ejecutar el paquete TOC en R
  • Paquete TOC R en Github
  • Libro de Excel para generar curvas TOC

Lecturas adicionales

  • Balakrishnan, Narayanaswamy (1991); Manual de distribución logística , Marcel Dekker, Inc., ISBN 978-0-8247-8587-1
  • Brown, Christopher D.; Davis, Herbert T. (2006). "Curvas de características operativas del receptor y medidas de decisión relacionadas: un tutorial". Chemometrics and Intelligent Laboratory Systems . 80 : 24–38 . doi : 10.1016/j.chemolab.2005.05.004 .
  • Rotello, Caren M.; Heit, Evan; Dubé, Chad (2014). "Cuando más datos nos llevan por mal camino: las replicaciones con la medida dependiente incorrecta perpetúan conclusiones erróneas" ( PDF) . Psychonomic Bulletin & Review . 22 (4): 944– 954. doi : 10.3758/s13423-014-0759-2 . PMID 25384892. S2CID 6046065 .  
  • Fawcett, Tom (2004). "Gráficos ROC: Notas y consideraciones prácticas para investigadores" (PDF) . Pattern Recognition Letters . 27 (8): 882– 891. CiteSeerX 10.1.1.145.4649 . doi : 10.1016/j.patrec.2005.10.012 . 
  • Gonen, Mithat (2007); Análisis de curvas ROC (Receiver Operating Characteristic Curves) con SAS , SAS Press, ISBN 978-1-59994-298-8
  • Green, William H., (2003) Análisis econométrico , quinta edición, Prentice Hall , ISBN 0-13-066189-9
  • Heagerty, Patrick J.; Lumley, Thomas; Pepe, Margaret S. (2000). "Curvas ROC dependientes del tiempo para datos de supervivencia censurados y un marcador diagnóstico". Biometrics . 56 (2): 337– 344. Bibcode : 2000Biome..56..337H . doi : 10.1111/j.0006-341x.2000.00337.x . PMID 10877287 . S2CID 8822160 .  
  • Hosmer, David W.; y Lemeshow, Stanley (2000); Regresión logística aplicada , 2.ª ed., Nueva York, NY: Wiley , ISBN 0-471-35632-8
  • Lasko, Thomas A.; Bhagwat, Jui G.; Zou, Kelly H.; Ohno-Machado, Lucila (2005). "El uso de curvas de características operativas del receptor en bioinformática". Journal of Biomedical Informatics . 38 (5): 404– 415. CiteSeerX 10.1.1.97.9674 . doi : 10.1016/j.jbi.2005.02.008 . PMID 16198999 .  
  • Mas, Jean-François; Filho, Britaldo Soares; Poncio, Jr, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "Un conjunto de herramientas para el análisis ROC de modelos espaciales" . Revista internacional de información geográfica de ISPRS . 2 (3): 869– 887. Bibcode : 2013IJGI....2..869M . doi : 10.3390/ijgi2030869 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  • Pontius, Jr, Robert Gilmore; Parmentier, Benoit (2014). "Recomendaciones para el uso de la curva ROC (Relative Operating Characteristic)" . Landscape Ecology . 29 (3): 367– 382. Bibcode : 2014LaEco..29..367P . doi : 10.1007/s10980-013-9984-8 . S2CID 15924380 . {{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  • Pontius, Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibración y validación de un modelo de perturbación forestal en los Ghats occidentales, India 1920–1990" . GeoJournal . 61 (4): 325– 334. Bibcode : 2004GeoJo..61..325G . doi : 10.1007/s10708-004-5049-5 . S2CID 155073463 . {{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  • Pontius, Jr, Robert Gilmore; Batchu, Kiran (2003). "Uso de la curva ROC para cuantificar la certeza en la predicción de la ubicación del cambio de cobertura terrestre en la India". Transactions in GIS . 7 (4): 467– 484. Bibcode : 2003TrGIS...7..467P . doi : 10.1111/1467-9671.00159 . S2CID 14452746 . {{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  • Pontius, Jr, Robert Gilmore; Schneider, Laura (2001). "Validación de un modelo de cambio de uso de la tierra mediante un método ROC para la cuenca hidrográfica de Ipswich, Massachusetts, EE. UU . " . Agriculture, Ecosystems & Environment . 85 ( 1– 3): 239– 248. doi : 10.1016/S0167-8809(01)00187-6 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  • Stephan, Carsten; Wesseling, Sebastian; Schink, Tania; Jung, Klaus (2003). "Comparación de ocho programas informáticos para el análisis de la curva ROC" . Química Clínica . 49 (3): 433– 439. doi : 10.1373/49.3.433 . PMID 12600955 . 
  • Swets, John A.; Dawes, Robyn M.; y Monahan, John (2000); Mejores decisiones a través de la ciencia , Scientific American , octubre, págs.  82–87
  • Zou, Kelly H.; O'Malley, A. James; Mauri, Laura (2007). "Análisis de la curva ROC para evaluar pruebas diagnósticas y modelos predictivos" . Circulation . 115 (5): 654–7 . doi : 10.1161/circulationaha.105.594929 . PMID 17283280 . 
  • Zhou, Xiao-Hua; Obuchowski, Nancy A .; McClish, Donna K. (2002). Métodos estadísticos en medicina diagnóstica . Nueva York, NY: Wiley & Sons. ISBN 978-0-471-34772-9.

Lecturas relacionadas
6 articulos
ProteasomaProteasomaLos proteosomas son complejos proteicos que degradan las proteínas marcadas con ubiquitina mediante proteólisis , una reacción química que rompe lo...Gráfica de una funciónGráfica de una funciónEn matemáticas , la gráfica de una función es el conjunto de pares ordenados , donde En el caso común donde y son números reales , estos pares son ...Clasificación binariaClasificación binariaLa clasificación binaria es la tarea de clasificar los elementos de un conjunto en uno de dos grupos (cada uno llamado clase ). Los problemas típic...Sensibilidad y especificidadSensibilidad y especificidadEn medicina y estadística , la sensibilidad y la especificidad describen matemáticamente la precisión de una prueba que indica la presencia o ausen...Tasa de falsos positivosTasa de falsos positivosEn estadística , cuando se realizan comparaciones múltiples , una tasa de falsos positivos (también conocida como tasa de falsas alarmas o tasa de ...Estilo de visualización H_{0}Potencia (estadística)En las estadísticas frecuentistas , la potencia es una medida de la capacidad de un diseño experimental y una configuración de prueba de hipótesis ...