evaluación de escritura

Los conceptos de validez y fiabilidad se han propuesto como una especie de heurística para comprender los cambios de prioridades en la evaluación de la escritura ^{[ 11 ]} así como para interpretar lo que se entiende como mejores prácticas en la evaluación de la escritura. ^{[ 12 ]}

En la primera oleada de evaluación de la escritura, el énfasis está en la fiabilidad : ^{[ 13 ]} la fiabilidad plantea interrogantes sobre la consistencia de una prueba. En esta oleada, la principal preocupación era evaluar la escritura con la mayor predictibilidad posible con el menor coste y esfuerzo. Algunos académicos, como David Slomp, expresaron su preocupación por la definición de fiabilidad y cómo la fiabilidad entre evaluadores podría afectar a la forma en que se evaluaba la escritura. Argumentó que, a menudo, no había suficiente contexto basado en el alumno para juzgar adecuadamente su escritura. ^{[ 6 ]}

Luego se produjo un cambio hacia la segunda ola, que marcó un giro hacia la consideración de los principios de validez . La validez aborda cuestiones sobre la idoneidad y la eficacia de una prueba para el propósito dado. Los métodos de esta ola se centraron más en la validez de constructo de la prueba : si el material solicitado en la prueba es una medida apropiada de lo que la prueba pretende medir. Los docentes comenzaron a ver una incongruencia entre el material solicitado para medir la escritura y el material que los docentes pedían a los estudiantes que escribieran. La calificación holística , defendida por el estudioso de la escritura Edward M. White , surgió en esta ola. Es un método de evaluación en el que se solicita la escritura de los estudiantes para medir su habilidad de escritura. ^{[ 14 ]}

La tercera ola de evaluación de la escritura surge con un interés continuo en la validez de los métodos de evaluación. Esta ola comenzó a considerar una definición ampliada de validez que incluye cómo la evaluación de portafolios contribuye al aprendizaje y la enseñanza. En esta ola, la evaluación de portafolios enfatiza las teorías y prácticas de Composición y Estudios de Escritura, tales como la revisión , la redacción y el proceso .

Las evaluaciones indirectas de escritura suelen consistir en pruebas de opción múltiple sobre gramática, uso y vocabulario. ^{[ 5 ]} Algunos ejemplos son las pruebas estandarizadas de alto impacto como el ACT , el SAT y el GRE , que suelen ser utilizadas por las universidades para la admisión . Otras evaluaciones indirectas, como Compass, se utilizan para ubicar a los estudiantes en cursos de escritura correctivos o regulares. Las evaluaciones directas de escritura, como Writeplacer ESL (parte de Accuplacer) o una prueba de ensayo cronometrada, requieren al menos una muestra de escritura del estudiante y muchos expertos en evaluación de la escritura las consideran más válidas que las pruebas indirectas porque evalúan muestras reales de escritura. ^{[ 5 ]} La evaluación de portafolio, que generalmente consiste en varias piezas de escritura del estudiante escritas a lo largo de un semestre, comenzó a reemplazar los ensayos cronometrados a finales de la década de 1980 y principios de la de 1990. La evaluación de portafolio se considera incluso más válida que las pruebas de ensayo cronometradas porque se centra en múltiples muestras de escritura del estudiante que se han compuesto en el contexto auténtico del aula. Los portafolios permiten a los evaluadores examinar múltiples muestras de escritura de los estudiantes y múltiples borradores de un mismo ensayo. ^{[ 5 ]}

La evaluación de portafolios se utiliza normalmente para evaluar lo que los estudiantes han aprendido al final de un curso o durante un período de varios años. Los portafolios de cursos constan de múltiples muestras de escritura del estudiante y una carta o ensayo reflexivo en el que los estudiantes describen su escritura y trabajo para el curso. ^{[ 5 ] [ 15 ] [ 16 ] [ 17 ]} Los "portafolios de muestra" contienen borradores finales de la escritura del estudiante, y los "portafolios de proceso" contienen múltiples borradores de cada texto. ^{[ 18 ]} Tanto los portafolios impresos como los electrónicos pueden ser portafolios de muestra o de proceso, aunque los portafolios electrónicos normalmente contienen hipervínculos desde el ensayo o carta reflexiva a muestras del trabajo del estudiante y, a veces, a fuentes externas. ^{[ 16 ] [ 18 ]}

Las pruebas de redacción con límite de tiempo se desarrollaron como una alternativa a las evaluaciones de escritura indirecta de opción múltiple. Estas pruebas se utilizan a menudo para ubicar a los estudiantes en cursos de escritura adecuados a su nivel de habilidad. Generalmente, estas pruebas se realizan bajo supervisión , lo que significa que tienen lugar en un sitio específico donde se les da a los estudiantes una consigna para responder dentro de un límite de tiempo establecido. Tanto el SAT como el GRE incluyen secciones de redacción con límite de tiempo.

Una rúbrica es una herramienta utilizada en la evaluación de la escritura que puede emplearse en diversos contextos. Consiste en un conjunto de criterios o descripciones que guían al evaluador para calificar o puntuar a un autor. Los orígenes de las rúbricas se remontan a los primeros intentos en educación por estandarizar y evaluar la escritura a principios del siglo XX. En noviembre de 1912, Ernest C. Noyes abogó por un cambio hacia prácticas de evaluación más basadas en la ciencia. Una de las escalas originales utilizadas en educación fue desarrollada por Milo B. Hillegas en su obra " A Scale for the Measurement of Quality in English Composition by Young People" (Una escala para la medición de la calidad en la composición en inglés por jóvenes) . Esta escala se conoce comúnmente como la Escala de Hillegas. La Escala de Hillegas y otras escalas utilizadas en educación fueron empleadas por los administradores para comparar el progreso de las escuelas. ^{[ 19 ]}

En 1961, Diederich, French y Carlton del Educational Testing Service (ETS) publicaron Factors in Judgments for Writing Ability, una rúbrica compilada a partir de una serie de evaluadores cuyos comentarios fueron categorizados y condensados ​​en una rúbrica de cinco factores: ^{[ 20 ]}

• Ideas : relevancia, claridad, cantidad, desarrollo, capacidad de persuasión
• Formato : Organización y análisis
• Sabor : estilo, interés, sinceridad
• Mecánica : errores específicos de puntuación , gramática , etc.
• Redacción : elección y disposición de las palabras

A medida que las rúbricas comenzaron a utilizarse en el aula, los docentes empezaron a abogar por que los criterios se negociaran con los estudiantes para que estos pudieran participar en la forma en que serían evaluados. Académicos como Chris Gallagher y Eric Turley, ^{[ 21 ]} Bob Broad, ^{[ 22 ]} y Asao Inoue ^{[ 23 ]} (entre muchos otros) han defendido que el uso eficaz de las rúbricas proviene de criterios locales, contextuales y negociados.

Críticas:

La introducción de la rúbrica ha generado debate entre los académicos. Algunos educadores han argumentado que las rúbricas se basan en falsas afirmaciones objetivas y, por lo tanto, en la subjetividad. ^{[ 24 ]} Eric Turley y Chris Gallagher argumentaron que las rúbricas impuestas por el Estado son una herramienta para la rendición de cuentas, no para la mejora. Muchas veces, las rúbricas se originan fuera del aula, por autores sin relación con los propios estudiantes, y luego son interpretadas y adaptadas por otros educadores. ^{[ 25 ]} Turley y Gallagher señalan que "la ley de disminución distal establece que cualquier herramienta educativa se vuelve menos útil para la instrucción —y más potencialmente perjudicial para la integridad educativa— cuanto más lejos del aula se origina o llega". ^{[ 25 ]} Continúan diciendo que debe interpretarse como una herramienta para que los escritores midan un conjunto de valores consensuados, no como un sustituto de una respuesta comprometida.

Un estudio de Stellmack et al. evaluó la percepción y la aplicación de rúbricas con criterios acordados. Los resultados mostraron que, cuando diferentes evaluadores calificaban el mismo borrador, el evaluador que ya había dado retroalimentación previamente era más propenso a notar mejoras. Los investigadores concluyeron que una rúbrica con mayor confiabilidad daría mejores resultados en su procedimiento de revisión, corrección y reenvío. ^{[ 26 ]}

Antirúbrica : Las rúbricas miden la calidad de la escritura y reflejan las creencias individuales sobre los valores retóricos de un departamento o institución. Sin embargo, carecen de detalles sobre cómo un instructor puede apartarse de estos valores. Bob Broad señala que un ejemplo de propuesta alternativa a la rúbrica es el ^{[ 27 ]} “mapeo dinámico de criterios”.

El único criterio de evaluación plantea más interrogantes, ya que Elbow aborda la construcción social del valor en sí misma. Propone un proceso comunitario, desprovisto del requisito de acuerdo, que permitiría a la clase «ver posibles acuerdos —acuerdos no forzados en su pensamiento— al tiempo que les ayuda a articular sus desacuerdos». ^{[ 28 ]} Sugiere que la calificación podría adoptar una perspectiva multidimensional donde se abre el potencial para la «buena escritura». Señala que, al hacerlo, una rúbrica dimensional única intenta evaluar un desempeño multidimensional. ^{[ 28 ]}

La calificación por contrato es un método de evaluación en el que un contrato laboral acordado entre el estudiante y el profesor determina las calificaciones de los estudiantes en función de la cantidad de tareas completadas, no de la calidad percibida de su trabajo. Algunos estudios han respaldado que la calificación por contrato basada en el trabajo puede aumentar la autonomía del estudiante y reducir significativamente la ansiedad al desvincular la calificación de la percepción del profesor y proporcionar a los estudiantes expectativas claras sobre cómo alcanzar la calificación deseada. ^{[ 29 ] [ 30 ]} Otros investigadores han sugerido que un sistema de calificación por contrato basado en el trabajo puede no ser tan neutral. Afirman que los estudiantes neurodivergentes pueden tener experiencias diferentes que no se tienen en cuenta y que siguen viéndose perjudicados por un sistema que no las considera. ^{[ 31 ]}

En la década de 2010 y principios de la de 2020, la calificación por contrato se ha promovido como una forma alternativa de evaluación de la escritura que puede reducir la inequidad racial por parte de académicos como Asao B. Inoue . ^{[ 32 ]}

Las pruebas de opción múltiple contienen preguntas sobre uso del lenguaje , gramática y vocabulario . Arthur Applebee añade que las pruebas de opción múltiple son una forma válida y fiable de evaluar aspectos específicos de la escritura, como el vocabulario mencionado anteriormente. Este tipo de pruebas deben utilizarse junto con otras evaluaciones escritas, en lugar de hacerlo de forma independiente. ^{[ 33 ]} Las pruebas estandarizadas como el SAT, el ACT y el GRE se utilizan normalmente para la admisión a la universidad o a programas de posgrado. Otras pruebas, como Compass y Accuplacer, se utilizan normalmente para ubicar a los estudiantes en cursos de escritura de nivelación o regulares.

La calificación automatizada de ensayos (CAE) consiste en el uso de prácticas de evaluación asistidas por computadora, no humanas, para calificar tareas de escritura. Inicialmente, se utilizaba la sintaxis como método para que las computadoras evaluaran la escritura. ^{[ 34 ]} Demostró ser una forma sencilla para que las computadoras evaluaran ensayos. La calificación automatizada de ensayos mediante computadoras hizo que la evaluación y calificación de ensayos fuera eficiente en términos de tiempo y dinero. ^{[ 33 ] [ 34 ]}

Algunos programas informáticos utilizan ensayos previamente enviados con la misma consigna como control para comparar los nuevos ensayos. Otros programas, como el Evaluador Inteligente de Ensayos, juzgan la veracidad y exactitud de la información contenida en los ensayos. El objetivo era calificar y evaluar el conocimiento, en lugar de otras complejidades de la escritura, como la sintaxis y el tono. ^{[ 34 ]}