Hispanopedia Wiki
Articulo de referencia

Correlación intraclase

En estadística , la correlación intraclase , o coeficiente de correlación intraclase ( CCI ), [ 1 ] es una estadística descriptiva que se utiliza al realizar mediciones cuantita...

Hispanopedia WikiContenido en espanolLectura gratuita

En estadística , la correlación intraclase , o coeficiente de correlación intraclase ( CCI ), [ 1 ] es una estadística descriptiva que se utiliza al realizar mediciones cuantitativas en unidades organizadas en grupos. Describe el grado de similitud entre las unidades de un mismo grupo. Si bien se considera un tipo de correlación , a diferencia de la mayoría de las demás medidas de correlación, opera sobre datos estructurados en grupos, en lugar de datos estructurados como observaciones pareadas.

Un diagrama de puntos que muestra un conjunto de datos con alta correlación intraclase. Los valores del mismo grupo tienden a ser similares.
Un diagrama de puntos que muestra un conjunto de datos con baja correlación intraclase. Existe muy poca tendencia a que los valores del mismo grupo sean similares.

La correlación intraclase se utiliza comúnmente para cuantificar el grado de similitud entre individuos con un grado fijo de parentesco (por ejemplo, hermanos completos) en cuanto a un rasgo cuantitativo (véase heredabilidad ). Otra aplicación importante es la evaluación de la consistencia o reproducibilidad de mediciones cuantitativas realizadas por diferentes observadores que miden la misma magnitud.

Definición temprana de CCI: fórmula imparcial pero compleja

Los primeros trabajos sobre correlaciones intraclase se centraron en el caso de mediciones pareadas, y las primeras estadísticas de correlación intraclase (CCI) que se propusieron fueron modificaciones de la correlación interclase (correlación de Pearson).

Consideremos un conjunto de datos que consta de N pares de valores de datos ( x n ,1 , x n ,2 ), para n = 1, ..., N . La correlación intraclase r propuesta originalmente [ 2 ] por Ronald Fisher [ 3 ] es   

r=1nortes2∑norte=1norte(incógnitanorte,1−incógnita¯)(incógnitanorte,2−incógnita¯),{\displaystyle r={\frac {1}{Ns^{2}}}\sum _{n=1}^{N}(x_{n,1}-{\bar {x}})(x_{n,2}-{\bar {x}}),}

dónde

incógnita¯=12norte∑norte=1norte(incógnitanorte,1+incógnitanorte,2),{\displaystyle {\bar {x}}={\frac {1}{2N}}\sum _{n=1}^{N}(x_{n,1}+x_{n,2}),}
s2=12norte{∑norte=1norte(incógnitanorte,1−incógnita¯)2+∑norte=1norte(incógnitanorte,2−incógnita¯)2}.{\displaystyle s^{2}={\frac {1}{2N}}\left\{\sum _{n=1}^{N}(x_{n,1}-{\bar {x}})^{2}+\sum _{n=1}^{N}(x_{n,2}-{\bar {x}})^{2}\right\}.}

Las versiones posteriores de esta estadística [ 3 ] utilizaron los grados de libertad 2N − 1 en el denominador para calcular s2 y N − 1 en el denominador para calcular r , de modo que s2 se vuelve insesgado y r se vuelve insesgado si se conoce s .  

La principal diferencia entre este coeficiente de correlación intraclase (CCI) y la correlación interclase (de Pearson) radica en que los datos se agrupan para estimar la media y la varianza. Esto se debe a que, en el contexto donde se busca una correlación intraclase, los pares se consideran desordenados. Por ejemplo, si estudiamos la semejanza entre gemelos, generalmente no existe una forma significativa de ordenar los valores de los dos individuos dentro de un par. Al igual que la correlación interclase, la correlación intraclase para datos pareados se limita al intervalo  [−1,  +1].

La correlación intraclase también se define para conjuntos de datos con grupos que tienen más de 2 valores. Para grupos que constan de tres valores, se define como [ 3 ].

r=13nortes2∑norte=1norte{(incógnitanorte,1−incógnita¯)(incógnitanorte,2−incógnita¯)+(incógnitanorte,1−incógnita¯)(incógnitanorte,3−incógnita¯)+(incógnitanorte,2−incógnita¯)(incógnitanorte,3−incógnita¯)},{\displaystyle r={\frac {1}{3Ns^{2}}}\sum _{n=1}^{N}\left\{(x_{n,1}-{\bar {x}})(x_{n,2}-{\bar {x}})+(x_{n,1}-{\bar {x}})(x_{n,3}-{\bar {x}})+(x_{n,2}-{\bar {x}})(x_{n,3}-{\bar {x}})\right\},}

dónde

incógnita¯=13norte∑norte=1norte(incógnitanorte,1+incógnitanorte,2+incógnitanorte,3),{\displaystyle {\bar {x}}={\frac {1}{3N}}\sum _{n=1}^{N}(x_{n,1}+x_{n,2}+x_{n,3}),}
s2=13norte{∑norte=1norte(incógnitanorte,1−incógnita¯)2+∑norte=1norte(incógnitanorte,2−incógnita¯)2+∑norte=1norte(incógnitanorte,3−incógnita¯)2}.{\displaystyle s^{2}={\frac {1}{3N}}\left\{\sum _{n=1}^{N}(x_{n,1}-{\bar {x}})^{2}+\sum _{n=1}^{N}(x_{n,2}-{\bar {x}})^{2}+\sum _{n=1}^{N}(x_{n,3}-{\bar {x}})^{2}\right\}.}

A medida que aumenta el número de elementos por grupo, también aumenta el número de términos de producto cruzado en esta expresión. La siguiente forma equivalente es más sencilla de calcular:

r=KK−1⋅norte−1∑norte=1norte(incógnita¯norte−incógnita¯)2s2−1K−1,{\displaystyle r={\frac {K}{K-1}}\cdot {\frac {N^{-1}\sum _{n=1}^{N}({\bar {x}}_{n}-{\bar {x}})^{2}}{s^{2}}}-{\frac {1}{K-1}},}

donde K es el número de valores de datos por grupo, yincógnita¯norte{\displaystyle {\bar {x}}_{n}}es la media muestral del n- ésimo grupo. [ 3 ] Esta forma se atribuye generalmente a Harris . [ 4 ] El término izquierdo no es negativo; por consiguiente, la correlación intraclase debe satisfacer

r≥−1K−1.{\displaystyle r\geq {\frac {-1}{K-1}}.}

Para K grande , este ICC es casi igual a

norte−1∑norte=1norte(incógnita¯norte−incógnita¯)2s2,{\displaystyle {\frac {N^{-1}\sum _{n=1}^{N}({\bar {x}}_{n}-{\bar {x}})^{2}}{s^{2}}},}

que puede interpretarse como la fracción de la varianza total que se debe a la variación entre grupos. Ronald Fisher dedica un capítulo completo a la correlación intraclase en su libro clásico Métodos estadísticos para investigadores . [ 3 ]

Para datos de una población completamente ruidosa, la fórmula de Fisher produce valores de CCI que se distribuyen alrededor de 0, es decir, a veces son negativos. Esto se debe a que Fisher diseñó la fórmula para que fuera insesgada, por lo que sus estimaciones a veces sobreestiman y otras veces subestiman. Para valores subyacentes pequeños o iguales a cero en la población, el CCI calculado a partir de una muestra puede ser negativo.

Definiciones modernas de la CCI: fórmula más sencilla pero con sesgo positivo.

Desde Ronald Fisher, la correlación intraclase se ha considerado dentro del marco del análisis de varianza (ANOVA) y, más recientemente, en el marco de los modelos de efectos aleatorios . Se han propuesto varios estimadores de la CCI. La mayoría de los estimadores pueden definirse en términos del modelo de efectos aleatorios.

Yij=μ+αj+εij,{\displaystyle Y_{ij}=\mu +\alpha _{j}+\varepsilon _{ij},}

donde Y ij es la i -ésima observación en el j -ésimo grupo, μ es una media general no observada , α j es un efecto aleatorio no observado compartido por todos los valores en el grupo j , y ε ij es un término de ruido no observado. [ 5 ] Para que el modelo se identifique, se supone que α j y ε ij tienen un valor esperado cero y no están correlacionados entre sí. Además, se supone que α j tienen la misma distribución, y se supone que ε ij tienen la misma distribución. La varianza de α j se denota σ 2 α y la varianza de ε ij se denota σ 2 ε .

El ICC de población en este marco es [ 6 ]

σα2σα2+σε2.{\displaystyle {\frac {\sigma _{\alpha }^{2}}{\sigma _{\alpha }^{2}+\sigma _{\varepsilon }^{2}}}.}

En este marco, el CCI es la correlación de dos observaciones del mismo grupo.

[Prueba]

Para un modelo de efectos aleatorios unidireccional:

Yij=μ+αi+ϵij{\displaystyle Y_{ij}=\mu +\alpha _{i}+\epsilon _{ij}}

αi∼norte(0,σα2){\displaystyle \alpha _{i}\sim N(0,\sigma _{\alpha }^{2})},ϵij∼norte(0,σε2){\displaystyle \epsilon _{ij}\sim N(0,\sigma _{\varepsilon }^{2})},αi{\displaystyle \alpha _{i}}arenaϵij{\displaystyle \epsilon _ {ij}}s independiente yαi{\displaystyle \alpha _{i}}s son independientes deϵij{\displaystyle \epsilon _ {ij}}s.

La varianza de cualquier observación es:Var(Yij)=σε2+σα2{\displaystyle Var(Y_{ij})=\sigma _{\varepsilon }^{2}+\sigma _{\alpha }^{2}} La covarianza de dos observaciones del mismo grupoi{\displaystyle i}(paraj≠k{\displaystyle j\neq k}) es: [ 7 ]

Cov(Yij,Yik)=Cov(μ+αi+ϵij,μ+αi+ϵik)=Cov(αi+ϵij,αi+ϵik)=Cov(αi,αi)+2Cov(αi,ϵik)+Cov(ϵij,ϵik)=Cov(αi,αi)=Var(αi)=σα2.{\displaystyle {\begin{aligned}{\text{Cov}}(Y_{ij},Y_{ik})&={\text{Cov}}(\mu +\alpha _{i}+\epsilon _{ij},\mu +\alpha _{i}+\epsilon _{ik})\\&={\text{Cov}}(\alpha _{i}+\epsilon _{ij},\alpha _{i}+\epsilon _{ik})\\&={\text{Cov}}(\alpha _{i},\alpha _{i})+2{\text{Cov}}(\alpha _{i},\epsilon _{ik})+{\text{Cov}}(\epsilon _{ij},\epsilon _{ik})\\&={\text{Cov}}(\alpha _ {i}, \ alfa _{i})\\&={\text{Var}}(\alpha _{i})\\&=\sigma _{\alpha }^{2}.\\\end{aligned}}}

En esto, hemos utilizado propiedades de la covarianza .

Juntos obtenemos: Cor(Yij,Yik)=Cov(Yij,Yik)Var(Yij)Var(Yik)=σα2σε2+σα2{\displaystyle {\text{Cor}}(Y_{ij},Y_{ik})={\frac {{\text{Cov}}(Y_{ij},Y_{ik})}{\sqrt {Var(Y_{ij})Var(Y_{ik})}}}={\frac {\sigma _{\alpha }^{2}}{\sigma _{\varepsilon }^{2}+\sigma _{\alpha }^{2}}}}

Una ventaja de este marco ANOVA es que diferentes grupos pueden tener diferentes cantidades de valores de datos, lo cual es difícil de manejar utilizando las estadísticas ICC anteriores. Este ICC siempre es no negativo, lo que permite interpretarlo como la proporción de la varianza total que se encuentra "entre grupos". Este ICC puede generalizarse para permitir efectos de covariables, en cuyo caso el ICC se interpreta como la captura de la similitud dentro de la clase de los valores de datos ajustados por covariables. [ 8 ]

Esta expresión nunca puede ser negativa (a diferencia de la fórmula original de Fisher) y, por lo tanto, en muestras de una población que tiene un ICC de 0, los ICC en las muestras serán más altos que el ICC de la población.

Se han propuesto varias estadísticas de CCI diferentes, no todas las cuales estiman el mismo parámetro poblacional. Ha habido un debate considerable sobre qué estadísticas de CCI son apropiadas para un uso determinado, ya que pueden producir resultados marcadamente diferentes para los mismos datos. [ 9 ] [ 10 ]

Relación con el coeficiente de correlación de Pearson

En términos de su forma algebraica, el coeficiente de correlación intraclase (CCI) original de Fisher es el que más se asemeja al coeficiente de correlación de Pearson . Una diferencia clave entre ambas estadísticas es que, en el CCI, los datos se centran y escalan utilizando una media y una desviación estándar combinadas , mientras que en la correlación de Pearson, cada variable se centra y escala según su propia media y desviación estándar. Este escalado combinado para el CCI tiene sentido porque todas las mediciones son de la misma magnitud (aunque en unidades de diferentes grupos). Por ejemplo, en un conjunto de datos pareados donde cada "par" es una sola medición realizada para cada una de las dos unidades (por ejemplo, pesar a cada gemelo en un par de gemelos idénticos) en lugar de dos mediciones diferentes para una sola unidad (por ejemplo, medir la altura y el peso de cada individuo), el CCI es una medida de asociación más natural que la correlación de Pearson.

Una propiedad importante de la correlación de Pearson es que es invariante a la aplicación de transformaciones lineales independientes a las dos variables que se comparan. Así, si correlacionamos X e Y , por ejemplo, Y  =  2X + 1, la correlación de Pearson entre X e Y es 1 , lo que indica una correlación perfecta. Esta propiedad no tiene sentido para el coeficiente de correlación intraclase ( CCI), ya que no existe una base para decidir qué transformación se aplica a cada valor de un grupo. Sin embargo, si todos los datos de todos los grupos se someten a la misma transformación lineal, el CCI no cambia.  

Uso en la evaluación de la conformidad entre observadores

El CCI se utiliza para evaluar la consistencia, o conformidad, de las mediciones realizadas por múltiples observadores que miden la misma cantidad. [ 11 ] Por ejemplo, si se pide a varios médicos que califiquen los resultados de una tomografía computarizada (TC) para detectar signos de progresión del cáncer, podemos preguntarnos qué tan consistentes son las calificaciones entre sí. Si se conoce la verdad (por ejemplo, si las tomografías computarizadas se realizaron en pacientes que posteriormente se sometieron a cirugía exploratoria), entonces el enfoque generalmente estaría en qué tan bien coincidieron las calificaciones de los médicos con la verdad. Si no se conoce la verdad, solo podemos considerar la similitud entre las calificaciones. Un aspecto importante de este problema es que existe variabilidad tanto interobservador como intraobservador. La variabilidad interobservador se refiere a diferencias sistemáticas entre los observadores ; por ejemplo, un médico puede calificar sistemáticamente a los pacientes con un nivel de riesgo más alto que otros médicos. La variabilidad intraobservador se refiere a desviaciones de la calificación de un observador en particular en un paciente en particular que no forman parte de una diferencia sistemática.

El coeficiente de correlación intraclase (CCI) está diseñado para aplicarse a mediciones intercambiables , es decir, datos agrupados en los que no existe una forma significativa de ordenar las mediciones dentro de un grupo. Al evaluar la concordancia entre observadores, si los mismos observadores califican cada elemento estudiado, es probable que existan diferencias sistemáticas entre ellos, lo que contradice el concepto de intercambiabilidad. Si el CCI se utiliza en una situación donde existen diferencias sistemáticas, el resultado es una medida compuesta de la variabilidad intraobservador e interobservador. Una situación en la que se podría presumir razonablemente la intercambiabilidad sería cuando una muestra a evaluar, por ejemplo, una muestra de sangre, se divide en varias alícuotas y estas se miden por separado con el mismo instrumento. En este caso, la intercambiabilidad se mantendría siempre que no existiera ningún efecto debido al orden de análisis de las muestras.

Dado que el coeficiente de correlación intraclase proporciona una combinación de la variabilidad intraobservador e interobservador, sus resultados a veces se consideran difíciles de interpretar cuando los observadores no son intercambiables. Se han propuesto medidas alternativas como el estadístico kappa de Cohen , el kappa de Fleiss y el coeficiente de correlación de concordancia [ 12 ] como medidas más adecuadas de acuerdo entre observadores no intercambiables.

Cálculo en paquetes de software

Se aplicaron diferentes definiciones del coeficiente de correlación intraclase a tres escenarios de concordancia entre observadores.

El ICC es compatible con el paquete de software de código abierto R (mediante la función "icc" de los paquetes psy o irr , o a través de la función "ICC" del paquete psych ). El paquete rptR [ 13 ] proporciona métodos para la estimación del ICC y la repetibilidad para datos con distribución gaussiana, binomial y de Poisson en un marco de modelo mixto. Cabe destacar que el paquete permite la estimación del ICC ajustado (es decir, controlando otras variables) y calcula intervalos de confianza basados ​​en el bootstrapping paramétrico y significancia basada en la permutación de residuos. El software comercial también admite el ICC, por ejemplo Stata o SPSS [ 14 ].

Los tres modelos son:

  • Efectos aleatorios unidireccionales: cada sujeto es evaluado por un conjunto diferente de k evaluadores seleccionados aleatoriamente;
  • Aleatorio bidireccional: se seleccionan aleatoriamente k evaluadores y, a continuación, cada sujeto es evaluado por el mismo conjunto de k evaluadores;
  • Método mixto bidireccional: se definen k evaluadores fijos. Cada sujeto es evaluado por los k evaluadores.

Número de mediciones:

  • Medidas únicas: aunque en el experimento se tome más de una medida, la fiabilidad se aplica a un contexto en el que se realizará una única medida por un único evaluador;
  • Medidas promedio: la confiabilidad se aplica a un contexto donde las medidas de k evaluadores se promediarán para cada sujeto.

Coherencia o acuerdo absoluto:

  • Acuerdo absoluto: interesa el acuerdo entre dos evaluadores, incluidos los errores sistemáticos de ambos evaluadores y los errores residuales aleatorios;
  • Consistencia: en el contexto de mediciones repetidas por el mismo evaluador, los errores sistemáticos del evaluador se cancelan y solo se conserva el error residual aleatorio.

El coeficiente de correlación intraclase (CCI) de consistencia no se puede estimar en el modelo de efectos aleatorios unidireccional, ya que no hay forma de separar las varianzas entre evaluadores y las residuales.

Liljequist et al. (2019) también presentaron una descripción general y un nuevo análisis de los tres modelos para las medidas únicas del ICC, con una receta alternativa para su uso. [ 18 ]

Interpretación

Cicchetti (1994) [ 19 ] ofrece las siguientes pautas frecuentemente citadas para la interpretación de las medidas de acuerdo entre evaluadores kappa o ICC:

  • Menos de 0,40: malo.
  • Entre 0,40 y 0,59: aceptable.
  • Entre 0,60 y 0,74: bien.
  • Entre 0,75 y 1,00: excelente.

Koo y Li (2016) ofrecen una pauta diferente: [ 20 ]

  • Por debajo de 0,50: malo
  • Entre 0,50 y 0,75: moderado
  • Entre 0,75 y 0,90: bueno
  • superior a 0,90: excelente

Véase también

Referencias

  1. ↑ Koch GG (1982). "Coeficiente de correlación intraclase". En Samuel Kotz y Norman L. Johnson (eds.). Enciclopedia de Ciencias Estadísticas . Vol.  4. Nueva York: John Wiley & Sons . págs. 213–217 . 
  2. ↑ Bartko JJ (agosto de 1966). " El coeficiente de correlación intraclase como medida de fiabilidad". Psychological Reports . 19 (1): 3– 11. doi : 10.2466/pr0.1966.19.1.3 . PMID 5942109. S2CID 145480729 .  
  3. 1 2 3 4 5 Fisher RA (1954). Métodos estadísticos para investigadores (Duodécima ed.). Edimburgo : Oliver and Boyd . ISBN  978-0-05-002170-5.{{cite book}}: Incompatibilidad de ISBN/Fecha ( ayuda )
  4. ↑ Harris JA (octubre de 1913). "Sobre el cálculo de coeficientes de correlación intraclase e interclase a partir de momentos de clase cuando el número de combinaciones posibles es grande". Biometrika . 9 (3/4): 446–472 . doi : 10.1093/biomet/9.3-4.446 . JSTOR 2331901 . 
  5. ↑ Donner A, Koval JJ (marzo de 1980). " La estimación de la correlación intraclase en el análisis de datos familiares". Biometrics . 36 (1): 19– 25. doi : 10.2307/2530491 . JSTOR 2530491. PMID 7370372 .  
  6. ↑ Prueba de que el CCI en el modelo ANOVA es la correlación de dos elementos: ocramComprensión del coeficiente de correlación intraclase, URL (versión: 2012-12-05):
  7. ↑ dsaxton ( https://stats.stackexchange.com/users/78861/dsaxton ), Modelo de efectos aleatorios: ¿Las observaciones del mismo nivel tienen covarianza $\sigma^2$?, URL (versión: 2016-03-22) enlace
  8. ↑ Stanish W, Taylor N (1983). "Estimación del coeficiente de correlación intraclase para el modelo de análisis de covarianza". The American Statistician . 37 (3): 221– 224. doi : 10.2307/2683375 . JSTOR 2683375 . 
  9. ↑ Müller R, Büttner P (diciembre de 1994). "Una discusión crítica de los coeficientes de correlación intraclase". Statistics in Medicine . 13 ( 23–24 ): 2465–76 . doi : 10.1002/sim.4780132310 . PMID 7701147 . Ver también comentario:
    • Vargha P (1997). "Carta al editor". Statistics in Medicine . 16 (7): 821– 823. doi : 10.1002/(SICI)1097-0258(19970415)16:7 < 821::AID-SIM558 > 3.0.CO ; 2-B . PMID 9131768 . 
  10. ↑ McGraw KO, Wong SP (1996). "Formación de inferencias sobre algunos coeficientes de correlación intraclase". Métodos psicológicos . 1 : 30–46 . doi : 10.1037/1082-989X.1.1.30 .El artículo contiene varios errores:
    • McGraw KO, Wong SP (1996). "Corrección a McGraw y Wong (1996)". Métodos Psicológicos . 1 (4): 390. doi : 10.1037/1082-989x.1.4.390 .
  11. ↑ Shrout PE, Fleiss JL (marzo de 1979). "Correlaciones intraclase: usos en la evaluación de la fiabilidad del evaluador". Psychological Bulletin . 86 (2): 420–8 . doi : 10.1037/0033-2909.86.2.420 . PMID 18839484 . 
  12. ↑ Nickerson CA (diciembre de 1997). "Una nota sobre 'Un coeficiente de correlación de concordancia para evaluar la reproducibilidad'"". Biometrics . 53 (4): 1503– 1507. doi : 10.2307/2533516 . JSTOR 2533516 . 
  13. ↑ Stoffel MA, Nakagawa S, Schielzeth J (2017). "rptR: estimación de repetibilidad y descomposición de varianza mediante modelos lineales generalizados de efectos mixtos" . Methods in Ecology and Evolution . 8 (11): 1639– 1644. doi : 10.1111/2041-210x.12797 . ISSN 2041-210X . 
  14. ↑ MacLennan RN (noviembre de 1993). "Fiabilidad entre evaluadores con SPSS para Windows 5.0". The American Statistician . 47 (4): 292– 296. doi : 10.2307/2685289 . JSTOR 2685289 . 
  15. ↑ McGraw KO, Wong SP (1996). "Formación de inferencias sobre algunos coeficientes de correlación intraclase". Métodos psicológicos . 1 (1): 30– 40. doi : 10.1037/1082-989X.1.1.30 .
  16. ↑ Guía del usuario de Stata, versión 15 (PDF) . College Station, Texas: Stata Press. 2017. págs. 1101–1123 . ISBN  978-1-59718-249-2.
  17. ↑ Howell DC. "Coeficientes de correlación intraclase" (PDF) .
  18. ↑ Liljequist D, Elfving B, Skavberg Roaldsen K (2019). " Correlación intraclase: una discusión y demostración de características básicas" . PLOS ONE . 14 (7) e0219854. doi : 10.1371/journal.pone.0219854 . PMC 6645485. PMID 31329615 .  
  19. ↑ Cicchetti DV (1994). "Directrices, criterios y reglas prácticas para evaluar instrumentos de evaluación estandarizados y con normas en psicología". Evaluación psicológica . 6 (4): 284– 290. doi : 10.1037/1040-3590.6.4.284 .
  20. ↑ Koo TK, Li MY (junio de 2016). "Una guía para seleccionar e informar coeficientes de correlación intraclase para la investigación de confiabilidad" . Journal of Chiropractic Medicine . 15 (2): 155– 63. doi : 10.1016/j.jcm.2016.02.012 . PMC 4913118. PMID 27330520 .  

Otros

  • Comparación de dos índices para el coeficiente de correlación intraclase
  • AgreeStat 360: análisis de fiabilidad entre evaluadores basado en la nube, kappa de Cohen, AC1/AC2 de Gwet, alfa de Krippendorff, Brennan-Prediger, kappa generalizada de Fleiss, coeficientes de correlación intraclase.
  • Una útil herramienta en línea que permite calcular los diferentes tipos de CCI. Archivada el 29/07/2015 en la Wayback Machine.
  • Coeficiente de correlación intraclase: una guía práctica para la toma de decisiones basada en datos.