Generación automática de artículos

La generación automática de ítems ( GAI ), o generación automatizada de ítems , es un proceso que vincula la psicometría con la programación informática . Utiliza un algoritmo informático para crear automáticamente ítems de prueba que son los componentes básicos de una prueba psicológica . El método fue descrito por primera vez por John R. Bormuth ^{[ 1 ]} en la década de 1960, pero no se desarrolló hasta hace poco. La GAI utiliza un proceso de dos pasos: primero, un especialista en pruebas crea una plantilla llamada modelo de ítem; luego, se desarrolla un algoritmo informático para generar los ítems de prueba. ^{[ 2 ]} Así, en lugar de que un especialista en pruebas escriba cada ítem individualmente, los algoritmos informáticos generan familias de ítems a partir de un conjunto más pequeño de modelos de ítems padres. ^{[ 3 ] [ 4 ] [ 5 ]} Más recientemente, las redes neuronales , incluidos los modelos de lenguaje grandes , como la familia GPT , se han utilizado con éxito para generar ítems automáticamente. ^{[ 6 ] [ 7 ]}

En las pruebas psicológicas , las respuestas del examinado a los ítems de la prueba proporcionan datos de medición objetivos para una variedad de características humanas. ^{[ 8 ]} Algunas características medidas por las pruebas psicológicas y educativas incluyen habilidades académicas, rendimiento escolar, inteligencia , motivación , etc., y estas pruebas se utilizan con frecuencia para tomar decisiones que tienen consecuencias significativas en individuos o grupos de individuos. Lograr estándares de calidad de medición, como la validez de la prueba , es uno de los objetivos más importantes para psicólogos y educadores. ^{[ 9 ]} AIG es un enfoque para el desarrollo de pruebas que puede utilizarse para mantener y mejorar la calidad de las pruebas de manera económica en el entorno contemporáneo donde las pruebas computarizadas han aumentado la necesidad de un gran número de ítems de prueba. ^{[ 5 ]}

AIG reduce el costo de producir pruebas estandarizadas , ^{[ 10 ]} ya que los algoritmos pueden generar muchos más ítems en un tiempo determinado que un especialista humano en pruebas. Puede crear de forma rápida y sencilla formas de prueba paralelas, lo que permite que diferentes examinados estén expuestos a diferentes grupos de ítems de prueba con el mismo nivel de complejidad o dificultad, mejorando así la seguridad de la prueba. ^{[ 3 ]} Cuando se combina con pruebas adaptativas computarizadas , AIG puede generar nuevos ítems o seleccionar qué ítems ya generados deben administrarse a continuación según la capacidad del examinado durante la administración de la prueba. También se espera que AIG produzca ítems con un amplio rango de dificultad, menos errores en la construcción y permita una mayor comparabilidad de los ítems debido a una definición más sistemática del modelo de ítem prototípico. ^{[ 3 ] [ 11 ] [ 12 ]}

El desarrollo de pruebas (incluidas las AIG) puede enriquecerse si se basa en alguna teoría cognitiva. Los procesos cognitivos derivados de una teoría determinada suelen relacionarse con las características de los ítems durante su construcción. El objetivo es predeterminar un parámetro psicométrico específico, como la dificultad del ítem (en adelante: β ). Consideremos radicales ^{[ 11 ]} aquellos elementos estructurales que afectan significativamente los parámetros del ítem y le confieren ciertos requisitos cognitivos. Uno o más radicales del modelo del ítem pueden manipularse para generar modelos de ítems padres con diferentes niveles de parámetros (p. ej., β ). Cada padre puede entonces crear su propia familia manipulando otros elementos que Irvine ^{[ 11 ]} denominó incidentales . Los incidentales son características superficiales que sufren variaciones aleatorias entre ítems dentro de la misma familia. Los ítems que tienen la misma estructura de radicales y solo difieren en los incidentales suelen denominarse isomorfos ^{[ 13 ]} o clones . ^{[ 14 ] [ 15 ]}

There can be two kinds of item cloning: On the one hand, the item model may consist of an item with one or more open places, and cloning is done by filling each place with an element selected from a list of possibilities. On the other hand, the item model could be an intact item which is cloned by introducing transformations, for example changing the angle of an object of spatial ability tests.^[16] The variation of these items' surface characteristics should not significantly influence the testee's responses. This is the reason why it is believed that incidentals produce only slight differences among the item parameters of the isomorphs.^[3]

A number of item generators have been subjected to objective validation testing.

MathGen is a program that generates items to test mathematical achievement. In a 2018 article for the Journal of Educational Measurement, authors Embretson and Kingston conducted an extensive qualitative review and empirical try-outs to evaluate the qualitative and psychometric properties of generated items, concluding that the items were successful and that items generated from the same item structure had predictable psychometric properties.^[17][18]

A test of melodic discrimination developed with the aid of the computational model Rachman-Jun 2015^[19] was administered to participants in a 2017 trial. According to the data collected by P.M. Harrison et al., results demonstrate strong validity and reliability.^[20]

Ferreyra and Backhoff-Escudero^[21] generated two parallel versions of the Basic Competences Exam (Excoba), a general test of educational skills, using a program they developed called GenerEx. They then studied the internal structure as well as the psychometric equivalence of the created tests. Empirical results of psychometric quality are favorable overall, and the tests and items are consistent as measured by multiple psychometric indices.

Gierl and his colleagues^{[22][23][24][25]} used an AIG program called the Item Generator (IGOR^[26]) to create multiple-choice items that test medical knowledge. IGOR-generated items, even when compared to manually-designed items, showed good psychometric properties.

Arendasy, Sommer y Mayr ^{[ 27 ]} utilizaron AIG para crear ítems verbales que evaluaran la fluidez verbal en alemán e inglés, administrándolos a participantes germanohablantes e angloparlantes, respectivamente. Los ítems generados por computadora mostraron propiedades psicométricas aceptables. Los conjuntos de ítems administrados a estos dos grupos se basaron en un conjunto común de ítems de referencia interlingüísticos, lo que facilitó las comparaciones translingüísticas del desempeño.

Holling, Bertling y Zeuch ^{[ 28 ]} utilizaron la teoría de la probabilidad para generar automáticamente problemas matemáticos verbales con dificultades esperadas. Lograron un ajuste del modelo Rasch ^{[ 29 ]} y las dificultades de los ítems pudieron explicarse mediante el modelo de prueba logística lineal (LLTM ^{[ 30 ]} ), así como mediante el LLTM de efectos aleatorios. Holling, Blank, Kuchenbäcker y Kuhn ^{[ 31 ]} realizaron un estudio similar con problemas verbales estadísticos pero sin utilizar AIG. Arendasy y sus colegas ^{[ 32 ] [ 33 ]} presentaron estudios sobre problemas verbales de álgebra generados automáticamente y examinaron cómo un marco de control de calidad de AIG puede afectar la calidad de medición de los ítems.

Generación automática de elementos figurativos

El Item Maker (IMak) es un programa escrito en el lenguaje de programación R para la representación gráfica de ítems de analogía figurativa. Se encontró que las propiedades psicométricas de 23 ítems generados por IMak eran satisfactorias, y la dificultad de los ítems basada en la generación de reglas pudo predecirse mediante el modelo de prueba logística lineal (LLTM). ^{[ 3 ] [ 34 ]} Investigaciones posteriores confirmaron la alta consistencia interna de los ítems generados. ^{[ 35 ] [ 36 ] [ 37 ]}

MazeGen es otro programa codificado en R que genera laberintos automáticamente. Se encontró que las propiedades psicométricas de 18 de estos laberintos eran óptimas, incluyendo el ajuste del modelo Rasch y la predicción de la dificultad del laberinto mediante LLTM. ^{[ 38 ]}

GeomGen es un programa que genera matrices figurativas. ^{[ 39 ]} Un estudio que identificó fuentes de sesgo de medición relacionadas con estrategias de eliminación de respuestas para ítems de matriz figurativa concluyó que la prominencia del distractor favorece la búsqueda de estrategias de eliminación de respuestas y que este conocimiento podría incorporarse a AIG para mejorar la validez de constructo de dichos ítems. ^{[ 40 ]} El mismo grupo utilizó AIG para estudiar el funcionamiento diferencial de los ítems (DIF) y las diferencias de género asociadas con la rotación mental . Manipularon características de diseño de ítems que han exhibido DIF de género en estudios previos, y mostraron que las estimaciones del tamaño del efecto de las diferencias de género se vieron comprometidas por la presencia de diferentes tipos de DIF de género que podrían estar relacionados con características específicas de diseño de ítems. ^{[ 41 ] [ 42 ]}

Arendasy también estudió posibles violaciones de la calidad psicométrica identificadas mediante la teoría de respuesta al ítem (TRI) de ítems de razonamiento visuoespacial generados automáticamente. Para ello, presentó dos programas: GeomGen ^{[ 39 ]} y Endless Loop Generator (EsGen), ya mencionados. Concluyó que GeomGen era más adecuado para AIG porque los principios de la TRI se pueden incorporar durante la generación de ítems ^{[ 43 ]} . En un proyecto de investigación paralelo que utilizó GeomGen, Arendasy y Sommer ^{[ 44 ]} encontraron que la variación de la organización perceptiva de los ítems podía influir en el rendimiento de los encuestados según sus niveles de habilidad y que tenía un efecto en varios índices de calidad psicométrica. Con estos resultados, cuestionaron el supuesto de unidimensionalidad de los ítems de matriz figurativa en general.

MatrixDeveloper ^{[ 45 ]} se utilizó para generar automáticamente veinticinco ítems de matriz cuadrada de 4x4 . Estos ítems se administraron a 169 individuos. Según los resultados de la investigación, los ítems muestran un buen ajuste al modelo de Rasch , y la generación basada en reglas puede explicar la dificultad de los ítems. ^{[ 46 ]}

El primer generador de matrices de ítems conocido fue diseñado por Embretson, ^{[ 47 ] [ 14 ]} y sus ítems generados automáticamente demostraron buenas propiedades psicométricas, como lo muestran Embretson y Reise. ^{[ 48 ]} También propuso un modelo para la generación adecuada de ítems en línea.