El kappa de Cohen

En la matriz de confusión tradicional de 2 × 2 empleada en el aprendizaje automático y la estadística para evaluar clasificaciones binarias , la fórmula Kappa de Cohen se puede escribir como: ^{[ 8 ]}

${\displaystyle \kappa ={\frac {2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}}}$

donde TP son los verdaderos positivos, FP son los falsos positivos, TN son los verdaderos negativos y FN son los falsos negativos. (En este caso, el coeficiente Kappa de Cohen es equivalente al índice de habilidad de Heidke conocido en meteorología ). ^{[ 9 ]} La medida fue introducida por primera vez por Myrick Haskell Doolittle en 1888. ^{[ 10 ]}

Supongamos que está analizando datos relacionados con un grupo de 50 personas que solicitan una subvención. Cada solicitud de subvención fue leída por dos evaluadores, quienes respondieron "Sí" o "No". Supongamos que los datos de conteo de desacuerdos son los siguientes, donde A y B son los evaluadores, los datos en la diagonal principal de la matriz (a y d) cuentan el número de acuerdos y los datos fuera de la diagonal (b y c) cuentan el número de desacuerdos:

p.ej

El acuerdo proporcional observado es:

${\displaystyle p_{o}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7}$

Para calcular p _e (la probabilidad de acuerdo aleatorio) observamos que:

• El lector A respondió "Sí" a 25 solicitantes y "No" a otros 25. Por lo tanto, el lector A respondió "Sí" el 50% de las veces.
• El lector B respondió "Sí" a 30 solicitantes y "No" a 20. Por lo tanto, el lector B respondió "Sí" el 60% de las veces.

Por lo tanto, la probabilidad esperada de que ambos digan que sí al azar es:

${\displaystyle p_{\text{Sí}}={\frac {a+b}{a+b+c+d}}\cdot {\frac {a+c}{a+b+c+d}}=0.5\times 0.6=0.3}$

Similarmente:

${\displaystyle p_{\text{No}}={\frac {c+d}{a+b+c+d}}\cdot {\frac {b+d}{a+b+c+d}}=0.5\times 0.4=0.2}$

La probabilidad de acuerdo aleatorio general es la probabilidad de que hayan coincidido en Sí o No, es decir:

${\displaystyle p_{e}=p_{\text{Sí}}+p_{\text{No}}=0.3+0.2=0.5}$

Ahora, aplicando nuestra fórmula para el coeficiente Kappa de Cohen, obtenemos:

${\displaystyle \kappa ={\frac {p_{o}-p_{e}}{1-p_{e}}}={\frac {0.7-0.5}{1-0.5}}=0.4}$

Un caso que a veces se considera un problema con el coeficiente Kappa de Cohen ocurre al comparar el Kappa calculado para dos pares de evaluadores con los dos evaluadores de cada par teniendo el mismo porcentaje de acuerdo, pero un par da un número similar de calificaciones en cada clase, mientras que el otro par da un número muy diferente de calificaciones en cada clase. ^{[ 11 ]} (En los casos siguientes, observe que B tiene 70 síes y 30 noes, en el primer caso, pero esos números están invertidos en el segundo). Por ejemplo, en los dos casos siguientes hay un acuerdo igual entre A y B (60 de 100 en ambos casos) en términos de acuerdo en cada clase, por lo que esperaríamos que los valores relativos del coeficiente Kappa de Cohen reflejaran esto. Sin embargo, al calcular el coeficiente Kappa de Cohen para cada uno:

${\displaystyle \kappa ={\frac {0,60-0,54}{1-0,54}}=0,1304}$

${\displaystyle \kappa ={\frac {0,60-0,46}{1-0,46}}=0,2593}$

Observamos que en el segundo caso se aprecia una mayor similitud entre A y B, en comparación con el primero. Esto se debe a que, si bien el porcentaje de coincidencia es el mismo, el porcentaje de coincidencia que se produciría "por casualidad" es significativamente mayor en el primer caso (0,54 frente a 0,46).

El valor p para kappa rara vez se informa, probablemente porque incluso valores relativamente bajos de kappa pueden ser significativamente diferentes de cero, pero no de magnitud suficiente para satisfacer a los investigadores. ^{[ 12 ] : 66} Sin embargo, su error estándar ha sido descrito ^{[ 13 ]} y es calculado por varios programas informáticos. ^{[ 14 ]}

Los intervalos de confianza para Kappa se pueden construir, para los valores esperados de Kappa si tuviéramos un número infinito de elementos verificados, utilizando la siguiente fórmula: ^{[ 1 ]}

${\displaystyle CI:\kappa \pm Z_{1-\alpha /2}SE_{\kappa }}$

Dónde${\displaystyle Z_{1-\alpha /2}=1.960}$es el percentil normal estándar cuando${\displaystyle \alpha =5\%}$, y${\displaystyle SE_{\kappa }}$se calcula mediante jackknife , bootstrap o la fórmula asintótica descrita por Fleiss y Cohen. ^{[ 13 ]}

Si la significación estadística no es una guía útil, ¿qué magnitud de kappa refleja una concordancia adecuada? Sería útil contar con directrices, pero otros factores además de la concordancia pueden influir en su magnitud, lo que dificulta la interpretación de un valor dado. Como señalaron Sim y Wright, dos factores importantes son la prevalencia (¿son los códigos equiprobables o varían sus probabilidades?) y el sesgo (¿son similares o diferentes las probabilidades marginales de los dos observadores?). En igualdad de condiciones, los valores de kappa son mayores cuando los códigos son equiprobables. Por otro lado, los valores de kappa son mayores cuando los códigos se distribuyen de forma asimétrica entre los dos observadores. A diferencia de las variaciones de probabilidad, el efecto del sesgo es mayor cuando kappa es pequeño que cuando es grande. ^{[ 15 ] : 261–262}

Otro factor es el número de códigos. A medida que aumenta el número de códigos, los valores de kappa aumentan. Basándose en un estudio de simulación, Bakeman y sus colegas concluyeron que, para observadores falibles, los valores de kappa eran menores cuando había menos códigos. Y, de acuerdo con la afirmación de Sim y Wright sobre la prevalencia, los valores de kappa eran mayores cuando los códigos eran aproximadamente equiprobables. Por lo tanto, Bakeman et al. concluyeron que "ningún valor de kappa puede considerarse universalmente aceptable". ^{[ 16 ] : 357} También proporcionan un programa informático que permite a los usuarios calcular los valores de kappa especificando el número de códigos, su probabilidad y la precisión del observador. Por ejemplo, dados códigos equiprobables y observadores con una precisión del 85%, los valores de kappa son 0,49, 0,60, 0,66 y 0,69 cuando el número de códigos es 2, 3, 5 y 10, respectivamente.

No obstante, han aparecido directrices de magnitud en la literatura. Quizás la primera fue Landis y Koch, ^{[ 17 ]} quienes caracterizaron los valores  <  0 como indicativos de ninguna concordancia y 0–0,20 como leve, 0,21–0,40 como aceptable, 0,41–0,60 como moderada, 0,61–0,80 como sustancial y 0,81–1 como concordancia casi perfecta. Sin embargo, este conjunto de directrices no es universalmente aceptado; Landis y Koch no aportaron ninguna evidencia que lo respaldara, sino que lo basaron en su opinión personal. Se ha señalado que estas directrices pueden ser más perjudiciales que útiles. ^{[ 18 ]} Las directrices igualmente arbitrarias de Fleiss ^{[ 19 ] : 218} caracterizan los kappas superiores a 0,75 como excelentes, de 0,40 a 0,75 como aceptables a buenos y por debajo de 0,40 como deficientes.

Kappa es un índice que considera la concordancia observada con respecto a una concordancia de referencia. Sin embargo, los investigadores deben considerar cuidadosamente si la concordancia de referencia de Kappa es relevante para la pregunta de investigación en particular. La concordancia de referencia de Kappa se describe frecuentemente como la concordancia debida al azar, lo cual es solo parcialmente correcto. La concordancia de referencia de Kappa es la concordancia que se esperaría debido a una asignación aleatoria, dadas las cantidades especificadas por los totales marginales de la tabla de contingencia cuadrada. Por lo tanto, κ = 0 cuando la asignación observada es aparentemente aleatoria, independientemente del desacuerdo de cantidad restringido por los totales marginales. Sin embargo, para muchas aplicaciones, los investigadores deberían estar más interesados ​​en el desacuerdo de cantidad en los totales marginales que en el desacuerdo de asignación descrito por la información adicional en la diagonal de la tabla de contingencia cuadrada. Por lo tanto, para muchas aplicaciones, la concordancia de referencia de Kappa es más una distracción que una fuente de información. Considere el siguiente ejemplo:

La proporción de desacuerdo es 14/16 o 0,875. El desacuerdo se debe a la cantidad porque la asignación es óptima. κ es 0,01.

La proporción de discrepancia es 2/16 o 0,125. La discrepancia se debe a la asignación, ya que las cantidades son idénticas. El coeficiente Kappa es -0,07.

En este caso, informar sobre la cantidad y la discrepancia en la asignación es informativo, mientras que Kappa oculta información. Además, Kappa presenta algunos desafíos en su cálculo e interpretación, ya que es una razón. Es posible que la razón de Kappa arroje un valor indefinido debido a que el denominador es cero. Asimismo, una razón no revela ni su numerador ni su denominador. Para los investigadores, es más informativo informar sobre la discrepancia en dos componentes: cantidad y asignación. Estos dos componentes describen la relación entre las categorías con mayor claridad que una sola estadística descriptiva. Cuando el objetivo es la precisión predictiva, los investigadores pueden comenzar a pensar más fácilmente en formas de mejorar una predicción utilizando dos componentes (cantidad y asignación) en lugar de una sola razón de Kappa. ^{[ 2 ]}

Algunos investigadores han expresado su preocupación por la tendencia de κ a tomar las frecuencias de las categorías observadas como dadas, lo que puede hacerla poco fiable para medir la concordancia en situaciones como el diagnóstico de enfermedades raras. En estas situaciones, κ tiende a subestimar la concordancia en la categoría rara. ^{[ 20 ]} Por esta razón, κ se considera una medida de concordancia demasiado conservadora. ^{[ 21 ]} Otros ^{[ 22 ]} cuestionan la afirmación de que kappa "toma en cuenta" la concordancia por azar. Para hacerlo de manera efectiva se requeriría un modelo explícito de cómo el azar afecta las decisiones de los evaluadores. El llamado ajuste por azar de las estadísticas kappa supone que, cuando no están completamente seguros, los evaluadores simplemente adivinan , un escenario muy poco realista. Además, algunos trabajos ^{[ 23 ]} han demostrado cómo las estadísticas kappa pueden llevar a una conclusión errónea para datos desequilibrados.

Scott (1955) propuso una estadística similar, llamada pi . El coeficiente kappa de Cohen y el pi de Scott difieren en la forma en que se calcula p _{e .}

Cabe señalar que el coeficiente kappa de Cohen mide la concordancia solo entre dos evaluadores. Para una medida de concordancia similar (el coeficiente kappa de Fleiss ), utilizada cuando hay más de dos evaluadores, véase Fleiss (1971). Sin embargo, el coeficiente kappa de Fleiss es una generalización para múltiples evaluadores del estadístico pi de Scott , no el coeficiente kappa de Cohen. El coeficiente kappa también se utiliza para comparar el rendimiento en el aprendizaje automático , pero se argumenta que la versión direccional conocida como Informedness o estadístico J de Youden es más apropiada para el aprendizaje supervisado. ^{[ 24 ]}

El coeficiente kappa ponderado permite ponderar los desacuerdos de manera diferente, según las categorías. ^{[ 25 ]} Es especialmente útil cuando las categorías están ordenadas, ya que los desacuerdos mayores pueden ponderarse más. ^{[ 12 ] : 66}

Recuerde que dos evaluadores califican${\displaystyle N}$sujetos en uno de${\displaystyle C}$categorías mutuamente excluyentes. Tres${\displaystyle C\times C}$En el cálculo intervienen matrices: la distribución observada${\displaystyle {\tilde {O}}}$la distribución esperada${\displaystyle {\tilde {E}}}$y pesos${\displaystyle W}$.

• En la matriz de distribución observada (también conocida como matriz de confusión ), cada celda${\displaystyle O_{i,j}}$cuenta los elementos que el primer evaluador colocó en el${\displaystyle i}$categoría y el segundo evaluador se ubicó en la${\displaystyle j}$categoría th. La matriz se normaliza luego por el número de elementos.${\textstyle N=\sum _{i=1}^{C}\sum _{j=1}^{C}O_{i,j}}$, donación${\textstyle {\tilde {O}}_{i,j}:={\frac {1}{N}}O_{i,j}}$
• En la matriz de distribución esperada , cada celda${\displaystyle {\tilde {E}}_{i,j}:={\widehat {p_{i,\cdot }}}\ {\widehat {p_{\cdot ,j}}}}$estima la probabilidad de que un nuevo elemento se clasifique como${\displaystyle i}$y${\displaystyle j}$por los respectivos evaluadores. Aquí, como antes,${\textstyle {\widehat {p_{i,\cdot }}}=\sum _{j=1}^{C}{\tilde {O}}_{i,j}}$es la probabilidad estimada de que un nuevo elemento se clasifique como${\displaystyle i}$por el primer evaluador;${\textstyle {\widehat {p_{\cdot ,j}}}=\sum _{i=1}^{C}{\tilde {O}}_{i,j}}$es lo mismo para el segundo evaluador; y se supone que los evaluadores son independientes. En otras palabras, la matriz${\displaystyle {\tilde {E}}}$es el producto exterior de vectores${\displaystyle ({\widehat {p_{i,\cdot }}})_{i=1\dots C}}$y${\displaystyle ({\widehat {p_{\cdot ,j}}})_{j=1\dots C}}$.
• En la matriz de pesos , cada celda${\displaystyle W_{i,j}}$se elige para indicar la gravedad de un desacuerdo donde un elemento se clasifica como${\displaystyle i}$y${\displaystyle j}$por los respectivos evaluadores. Celdas en la diagonal${\displaystyle W_{i,i}}$representan acuerdo y, por lo tanto, se establecen en cero. Lo más común es que las celdas fuera de la diagonal se ponderen linealmente como${\displaystyle W_{i,j}:=|ij|}$(es decir, las celdas a una casilla de la diagonal tienen un peso de 1, las que están a dos casillas de la diagonal tienen un peso de 2, etc.); o cuadráticamente como${\displaystyle W_{i,j}:=(ij)^{2}}$, lo que da como resultado el coeficiente Kappa ponderado cuadrático (QWK).

La ecuación para κ ponderado es:

${\displaystyle \kappa =1-{\frac {\sum _{i=1}^{C}\sum _{j=1}^{C}W_{i,j}{\tilde {O}}_{i,j}}{\sum _{i=1}^{C}\sum _{j=1}^{C}W_{i,j}{\tilde {E}}_{i,j}}}}$

Elegir pesos uniformes (1 en todas las celdas fuera de la diagonal, 0 en las celdas diagonales o${\displaystyle W_{i,j}:=[i\neq j]}$utilizando la notación de corchetes de Iverson ), esto produce el mismo valor que el cálculo kappa no ponderado dado anteriormente.