teoría de la generalizabilidad

La teoría de la generalizabilidad , o teoría G , es un marco estadístico para conceptualizar, investigar y diseñar observaciones fiables . Se utiliza para determinar la fiabilidad (es decir, la reproducibilidad ) de las mediciones en condiciones específicas. Resulta especialmente útil para evaluar la fiabilidad de las evaluaciones de desempeño. Fue introducida originalmente por Lee Cronbach , N. Rajaratnam y Goldine Gleser en 1963.

En la teoría G, las fuentes de variación se denominan facetas . Las facetas son similares a los "factores" utilizados en el análisis de varianza y pueden incluir personas, evaluadores, ítems/formularios, tiempo y contextos, entre otras posibilidades. Estas facetas son fuentes potenciales de error, y el objetivo de la teoría de la generalizabilidad es cuantificar la cantidad de error causada por cada faceta y su interacción. La utilidad de los datos obtenidos en un estudio G depende fundamentalmente del diseño del estudio. Por lo tanto, el investigador debe considerar cuidadosamente cómo espera generalizar los resultados específicos. ¿Es importante generalizar de un contexto a un mayor número de contextos? ¿De un evaluador a un mayor número de evaluadores? ¿De un conjunto de ítems a un conjunto más amplio? Las respuestas a estas preguntas variarán de un investigador a otro y determinarán el diseño del estudio G de diferentes maneras.

Además de decidir qué aspectos desea examinar el investigador, es necesario determinar cuál servirá como objeto de medición (por ejemplo, la fuente sistemática de varianza) para el análisis. Los demás aspectos de interés se consideran fuentes de error de medición. En la mayoría de los casos, el objeto de medición será la persona a la que se le asigna una puntuación. En otros casos, puede ser un grupo o participantes, como un equipo o un aula. Idealmente, casi toda la varianza medida se atribuirá al objeto de medición (por ejemplo, las diferencias individuales), y solo una cantidad insignificante se atribuirá a los demás aspectos (por ejemplo, el evaluador, el tiempo, el contexto).

Los resultados de un estudio G también pueden utilizarse para fundamentar un estudio de decisión (D). En un estudio D, podemos plantear la pregunta hipotética de "¿qué ocurriría si se modificaran diferentes aspectos de este estudio?". Por ejemplo, una empresa de refrescos podría estar interesada en evaluar la calidad de un nuevo producto mediante una escala de valoración del consumidor. Al emplear un estudio D, sería posible estimar cómo cambiaría la consistencia de las valoraciones de calidad si se hicieran 10 preguntas a los consumidores en lugar de 2, o si 1000 consumidores valoraran el refresco en lugar de 100. Por lo tanto, al emplear estudios D simulados, es posible examinar cómo cambiarían los coeficientes de generalizabilidad (similares a los coeficientes de fiabilidad en la teoría clásica de los tests ) en diferentes circunstancias y, en consecuencia, determinar las condiciones ideales en las que nuestras mediciones serían más fiables.

El objetivo de la teoría clásica de los tests (TCT) es determinar el error de la medición. Quizás el modelo más famoso de la TCT sea la ecuación${\displaystyle X=T+E}$donde X es la puntuación observada, T es la puntuación verdadera y e es el error de medición. Aunque e podría representar muchos tipos de error diferentes, como el error del evaluador o del instrumento, la TCT solo permite estimar un tipo de error a la vez. Esencialmente, incluye todas las fuentes de error en un solo término. Esto puede ser adecuado en el contexto de condiciones de laboratorio altamente controladas, pero la varianza es parte de la vida cotidiana. En la investigación de campo, por ejemplo, no es realista esperar que las condiciones de medición permanezcan constantes. La teoría de la generalizabilidad reconoce y permite la variabilidad en las condiciones de evaluación que pueden afectar las mediciones. La ventaja de la teoría G radica en que los investigadores pueden estimar qué proporción de la varianza total en los resultados se debe a los factores individuales que suelen variar en la evaluación, como el entorno, el tiempo, los ítems y los evaluadores.

Otra diferencia importante entre la Teoría Crítica de la Transición (TCT) y la Teoría de Generalizabilidad (TG) radica en que esta última considera cómo puede variar la consistencia de los resultados si una medida se utiliza para tomar decisiones absolutas o relativas. Un ejemplo de decisión absoluta, o referenciada a criterios, sería cuando la puntuación de una prueba individual se compara con una puntuación de corte para determinar la elegibilidad o el diagnóstico (por ejemplo, la puntuación de un niño en una prueba de rendimiento se utiliza para determinar su elegibilidad para un programa para superdotados). En cambio, un ejemplo de decisión relativa, o referenciada a normas, sería cuando la puntuación de una prueba individual se utiliza para (a) determinar su posición relativa en comparación con sus pares (es decir, la puntuación de un niño en una subprueba de lectura se utiliza para determinar en qué grupo de lectura se le asigna), o (b) realizar comparaciones intraindividuales (por ejemplo, comparar el rendimiento anterior con el actual en el mismo individuo). El tipo de decisión que interese al investigador determinará la fórmula que se debe utilizar para calcular el coeficiente de generalizabilidad (similar a un coeficiente de fiabilidad en la TCT).

• teoría de respuesta al ítem

• Brennan, RL (2001). Teoría de la generalizabilidad . Nueva York: Springer-Verlag. ISBN 978-0-387-95282-6.
• Chiu, CWC (2001). Calificación de evaluaciones de desempeño basadas en juicios: teoría de la generalizabilidad . Nueva York: Kluwer. ISBN 978-0-7923-7499-2.
• Crocker, L.; Algina, J. (1986). Introducción a la teoría clásica y moderna de los tests . Nueva York: Harcourt Brace. ISBN 978-0-495-39591-1.
• Cronbach, LJ; Gleser, GC; Nanda, H.; Rajaratnam, N. (1972). La fiabilidad de las mediciones conductuales: Teoría de la generalizabilidad para puntuaciones y perfiles (PDF) . Nueva York: John Wiley. ISBN 0-471-18850-6.
• Cronbach, LJ; Nageswari, R.; Gleser, GC (1963). "Teoría de la generalizabilidad: una liberalización de la teoría de la fiabilidad". The British Journal of Statistical Psychology . 16 : 137–163 . doi : 10.1111/j.2044-8317.1963.tb00206.x .
• Shrout, PE; Fleiss, JL (1979). "Correlaciones intraclase: Usos en la evaluación de la fiabilidad del evaluador" . Psychological Bulletin . 86 (2): 420– 428. doi : 10.1037/0033-2909.86.2.420 .
• Shavelson, RJ; Webb, NM (1991). Teoría de la generalizabilidad: una introducción . Thousand Oaks, CA: Sage. ISBN 978-0803937451.

• Georg E. Matt, Teoría de la generalizabilidad
• Teoría de generalizabilidad basada en Rasch
• Ralph Bloch, G_String Software