Programa para la Evaluación Internacional de Estudiantes

Los datos de las evaluaciones estandarizadas internacionales pueden ser útiles en la investigación de factores causales dentro o entre sistemas educativos. ^{[ 4 ]} Mons señala que las bases de datos generadas por evaluaciones internacionales a gran escala han permitido realizar inventarios y comparaciones de sistemas educativos a una escala sin precedentes ^{[ nota 1 ]} sobre temas que van desde las condiciones para el aprendizaje de las matemáticas y la lectura, hasta la autonomía institucional y las políticas de admisión. ^{[ 9 ]} Permiten desarrollar tipologías que pueden utilizarse para análisis estadísticos comparativos de indicadores de rendimiento educativo, identificando así las consecuencias de diferentes opciones políticas. Han generado nuevos conocimientos sobre educación: los resultados de PISA han cuestionado prácticas educativas profundamente arraigadas, como la derivación temprana de estudiantes a itinerarios vocacionales o académicos. ^{[ 10 ]}

Barroso y de Carvalho encuentran que PISA proporciona una referencia común que conecta la investigación académica en educación con el ámbito político de las políticas públicas, funcionando como mediador entre diferentes corrientes de conocimiento de ambos campos. ^{[ 11 ]} Sin embargo, aunque los hallazgos clave de las evaluaciones comparativas son ampliamente compartidos en la comunidad investigadora ^{[ 4 ]} el conocimiento que generan no necesariamente se ajusta a las agendas de reforma gubernamental; esto lleva a algunos usos inapropiados de los datos de evaluación.

Investigaciones recientes sugieren que las evaluaciones estandarizadas internacionales están teniendo un impacto en las políticas y prácticas de evaluación nacionales. PISA se está integrando en las políticas y prácticas nacionales de evaluación, estándares curriculares y objetivos de desempeño; sus marcos e instrumentos de evaluación se utilizan como modelos de buenas prácticas para mejorar las evaluaciones nacionales; muchos países han incorporado y enfatizado explícitamente competencias similares a las de PISA en estándares y currículos nacionales revisados; otros utilizan datos de PISA para complementar los datos nacionales y validar los resultados nacionales con respecto a un referente internacional. ^{[ 10 ]}

PISA puede influir en las decisiones de política educativa nacional de diversas maneras. La participación en evaluaciones internacionales como PISA se ha relacionado con cambios y resultados significativos en las políticas educativas, como un mayor número de estudiantes matriculados y reformas educativas. ^{[ 6 ]} Sin embargo, algunos críticos han argumentado que la participación podría generar resultados indeseables, como mayores tasas de repetición y una reducción de los planes de estudio. ^{[ 7 ]} El impacto de PISA también puede variar según el contexto específico de cada país. ^{[ 12 ]}

Los responsables políticos de la mayoría de los países participantes consideran PISA un indicador importante del desempeño del sistema; los informes PISA pueden definir problemas políticos y establecer la agenda para el debate político nacional; los responsables políticos parecen aceptar PISA como un instrumento válido y fiable para la evaluación comparativa internacional del desempeño del sistema y sus cambios a lo largo del tiempo; la mayoría de los países, independientemente de si obtuvieron una puntuación superior, igual o inferior a la media de PISA, han comenzado a implementar reformas políticas en respuesta a los informes PISA. ^{[ 10 ]}

Frente a esto, el impacto en los sistemas educativos nacionales varía notablemente. Por ejemplo, en Alemania, los resultados de la primera evaluación PISA provocaron el llamado «shock PISA»: un cuestionamiento de las políticas educativas previamente aceptadas; en un estado caracterizado por diferencias políticas regionales celosamente defendidas, esto condujo finalmente a un acuerdo entre todos los Länder para introducir estándares nacionales comunes e incluso una estructura institucionalizada para asegurar su cumplimiento. ^{[ 13 ]} En Hungría, en cambio, que compartía condiciones similares a las de Alemania, los resultados de PISA no han dado lugar a cambios significativos en la política educativa. ^{[ 14 ]}

Debido a que muchos países han establecido objetivos de desempeño nacional basados ​​en su clasificación relativa o puntuación absoluta en PISA, las evaluaciones PISA han aumentado la influencia de su organismo comisionado (no electo), la OCDE, como supervisor internacional de la educación y actor político, lo que implica un grado importante de "transferencia de políticas" del nivel internacional al nacional; PISA en particular está teniendo "un efecto normativo influyente en la dirección de las políticas educativas nacionales". ^{[ 10 ]} Por lo tanto, se argumenta que el uso de evaluaciones estandarizadas internacionales ha llevado a un cambio hacia la rendición de cuentas internacional y externa del desempeño del sistema nacional; Rey sostiene que las encuestas PISA, presentadas como diagnósticos objetivos e independientes de los sistemas educativos, en realidad sirven para promover orientaciones específicas sobre cuestiones educativas. ^{[ 4 ]}

Los actores políticos nacionales se refieren a los países con alto rendimiento en PISA para "ayudar a legitimar y justificar su agenda de reformas prevista dentro de los controvertidos debates sobre políticas nacionales". ^{[ 15 ]} Los datos de PISA pueden "utilizarse para alimentar debates de larga data en torno a conflictos o rivalidades preexistentes entre diferentes opciones políticas, como en la Comunidad Francesa de Bélgica". ^{[ 16 ]} En tales casos, los datos de evaluación de PISA se utilizan de forma selectiva: en el discurso público, los gobiernos a menudo solo utilizan aspectos superficiales de las encuestas PISA, como las clasificaciones de países, y no los análisis más detallados. Rey (2010:145, citando a Greger, 2008) señala que a menudo se ignoran los resultados reales de las evaluaciones de PISA, ya que los responsables políticos se refieren selectivamente a los datos para legitimar políticas introducidas por otras razones. ^{[ 17 ]}

Además, las comparaciones internacionales de PISA pueden usarse para justificar reformas con las que los datos en sí no tienen conexión; en Portugal, por ejemplo, los datos de PISA se usaron para justificar nuevos arreglos para la evaluación de los maestros (basados ​​en inferencias que no estaban justificadas por las evaluaciones y los datos en sí); también alimentaron el discurso del gobierno sobre el tema de los alumnos que repiten un año, (lo que, según la investigación, no mejora los resultados de los estudiantes). ^{[ 18 ]} En Finlandia, los resultados de PISA del país (que en otros países se consideran excelentes) fueron usados ​​por los ministros para promover nuevas políticas para estudiantes "superdotados". ^{[ 19 ]} Tales usos e interpretaciones a menudo asumen relaciones causales que no pueden basarse legítimamente en los datos de PISA, que normalmente requerirían una investigación más completa a través de estudios cualitativos en profundidad y encuestas longitudinales basadas en métodos mixtos cuantitativos y cualitativos, ^{[ 20 ]} que los políticos a menudo se muestran reacios a financiar.

Recent decades have witnessed an expansion in the uses of PISA and similar assessments, from assessing students' learning, to connecting "the educational realm (their traditional remit) with the political realm".^[21] This raises the question of whether PISA data are sufficiently robust to bear the weight of the major policy decisions that are being based upon them, for, according to Breakspear, PISA data have "come to increasingly shape, define and evaluate the key goals of the national / federal education system".^[10] This implies that those who set the PISA tests – e.g. in choosing the content to be assessed and not assessed – are in a position of considerable power to set the terms of the education debate, and to orient educational reform in many countries around the globe.^[10]

Los alumnos evaluados por PISA tienen entre 15 años y 3 meses y 16 años y 2 meses al inicio del periodo de evaluación. No se tiene en cuenta el curso escolar en el que se encuentran. Solo se evalúa a los alumnos escolarizados, no a los que reciben educación en casa. Sin embargo, en PISA 2006, varios países también utilizaron una muestra de alumnos por curso. Esto permitió estudiar la interacción entre la edad y el curso escolar.

Para cumplir con los requisitos de la OCDE, cada país debe seleccionar una muestra de al menos 5000 estudiantes. En países pequeños como Islandia y Luxemburgo , donde hay menos de 5000 estudiantes por año, se analiza a toda una cohorte de edad. Algunos países utilizaron muestras mucho mayores de las requeridas para permitir comparaciones entre regiones.

Cada estudiante realiza una prueba informatizada de dos horas. Una parte de la prueba es de opción múltiple y la otra requiere respuestas más extensas. Hay seis horas y media de material de evaluación, pero no se evalúa a todos los estudiantes en todas las partes. Tras la prueba cognitiva, los estudiantes participantes dedican casi una hora más a responder un cuestionario sobre sus antecedentes, incluyendo hábitos de aprendizaje, motivación y familia. Los directores de los centros educativos completan un cuestionario que describe la demografía escolar, la financiación, etc. En 2012, por primera vez en la historia de las pruebas y evaluaciones a gran escala, se ofreció a los participantes un nuevo tipo de problema: problemas interactivos (complejos) que requerían la exploración de un novedoso dispositivo virtual. ^{[ 24 ] [ 25 ]}

En algunos países, PISA comenzó a experimentar con pruebas adaptativas por ordenador .

Los países pueden combinar PISA con pruebas nacionales complementarias.

Alemania lleva a cabo este proceso de forma muy exhaustiva: al día siguiente de la prueba internacional, los alumnos realizan una prueba nacional denominada PISA-E (E = Ergänzung = complemento). Los ítems de la prueba PISA-E se asemejan más a los de TIMSS que a los de PISA. Si bien solo unos 5000 alumnos alemanes participan en la prueba internacional y la nacional, otros 45 000 realizan únicamente la prueba nacional. Esta amplia muestra es necesaria para permitir un análisis por estados federados. Tras un desacuerdo sobre la interpretación de los resultados de 2006, la OCDE advirtió a Alemania que podría retirar el derecho a utilizar la denominación "PISA" para las pruebas nacionales. ^{[ 26 ]}

Desde sus inicios, PISA se diseñó teniendo en cuenta un método específico de análisis de datos. Dado que los estudiantes trabajan con diferentes cuadernillos de prueba, las puntuaciones brutas deben "escalarse" para permitir comparaciones significativas. Por lo tanto, las puntuaciones se escalan de manera que el promedio de la OCDE en cada dominio (matemáticas, lectura y ciencias) sea 500 y la desviación estándar sea 100. ^{[ 27 ]} Esto solo se aplica al ciclo inicial de PISA, cuando se introdujo la escala por primera vez; sin embargo, los ciclos posteriores se vinculan con los anteriores mediante métodos de vinculación de escalas de la Teoría de Respuesta al Ítem (TRI). ^{[ 28 ]}

Esta generación de estimaciones de competencia se realiza utilizando una extensión de regresión latente del modelo de Rasch , un modelo de la teoría de respuesta al ítem (TRI), también conocido como modelo de condicionamiento o modelo poblacional. Las estimaciones de competencia se proporcionan en forma de los llamados valores plausibles, que permiten estimaciones insesgadas de las diferencias entre grupos. La regresión latente, junto con el uso de una distribución de probabilidad previa gaussiana de las competencias de los estudiantes permite estimar las distribuciones de competencia de los grupos de estudiantes participantes. ^{[ 29 ]} Los procedimientos de escalamiento y condicionamiento se describen en términos casi idénticos en los Informes Técnicos de PISA 2000, 2003, 2006. NAEP y TIMSS utilizan métodos de escalamiento similares.

Los resultados de PISA 2022 se presentaron el 5 de diciembre de 2023, e incluyeron datos de alrededor de 700.000 estudiantes participantes en 81 países y economías, con Singapur como el país con mejor desempeño en todas las categorías. ^{[ 30 ]}

Tanto el Líbano como las provincias/municipios chinos de Pekín , Shanghái , Jiangsu y Zhejiang participaron en esta edición, pero sus resultados no se publicaron ya que no pudieron recopilar datos completos debido a las restricciones por la COVID-19. ^{[ 31 ]}

Debido a la invasión rusa a gran escala de Ucrania , solo se recopilaron datos de 18 de las 27 regiones ucranianas, por lo que los resultados no son representativos de las siguientes regiones: Óblast de Dnipropetrovsk , Óblast de Donetsk , Óblast de Járkov , Óblast de Lugansk , Óblast de Zaporiyia , Óblast de Jersón , Óblast de Mykolaiv , la República Autónoma de Crimea y la ciudad de Sebastopol . ^{[ 32 ]}

La participación de China en la prueba de 2012 se limitó a Shanghái , Hong Kong y Macao como entidades separadas. En 2012, Shanghái participó por segunda vez, volviendo a encabezar las clasificaciones en las tres materias, además de mejorar las puntuaciones en las materias en comparación con las pruebas de 2009. La puntuación de Shanghái de 613 en matemáticas fue 113 puntos por encima de la puntuación promedio, lo que sitúa el rendimiento de los alumnos de Shanghái unos 3 años escolares por delante de los alumnos de países promedio. Los expertos en educación debatieron hasta qué punto este resultado reflejaba la calidad del sistema educativo general en China , señalando que Shanghái tiene mayor riqueza y profesores mejor pagados que el resto de China. ^{[ 43 ]} Hong Kong quedó en segundo lugar en lectura y ciencias y tercero en matemáticas.

Andreas Schleicher , jefe de división y coordinador de PISA, afirmó que las pruebas PISA administradas en la China rural han producido algunos resultados cercanos al promedio de la OCDE. Citando una investigación de la OCDE aún no publicada, dijo: «De hecho, hemos realizado PISA en 12 provincias de China. Incluso en algunas de las zonas más pobres se obtiene un rendimiento cercano al promedio de la OCDE». ^{[ 44 ]} Schleicher cree que China también ha ampliado el acceso a la escuela y se ha alejado del aprendizaje memorístico, ^{[ 45 ]} obteniendo buenos resultados tanto en evaluaciones basadas en la memorización como en evaluaciones más amplias. ^{[ 44 ]}

En 2018, las provincias chinas que participaron fueron Pekín , Shanghái , Jiangsu y Zhejiang . En 2015, las provincias participantes fueron Jiangsu, Guangdong , Pekín y Shanghái. ^{[ 46 ]} La cohorte de Pekín-Shanghái-Jiangsu-Guangdong de 2015 obtuvo una mediana de 518 en ciencias en 2015, mientras que la cohorte de Shanghái de 2012 obtuvo una mediana de 580.

Los críticos de PISA argumentan que en Shanghái y otras ciudades chinas, la mayoría de los hijos de trabajadores migrantes solo pueden asistir a escuelas de la ciudad hasta el noveno grado y deben regresar a los pueblos de origen de sus padres para cursar la secundaria debido a las restricciones del hukou , lo que distorsiona la composición del alumnado de secundaria de la ciudad a favor de las familias locales más adineradas. Un gráfico de población de Shanghái reproducido en The New York Times muestra una fuerte caída en el número de jóvenes de 15 años que residen allí. ^{[ 47 ]} Según Schleicher, el 27% de los jóvenes de 15 años de Shanghái están excluidos de su sistema escolar (y, por lo tanto, de las pruebas). Como resultado, el porcentaje de jóvenes de 15 años de Shanghái evaluados por PISA fue del 73%, inferior al 89% evaluado en Estados Unidos. ^{[ 48 ]} Tras las pruebas de 2015, la OCDE publicó estudios exhaustivos sobre los sistemas educativos de algunos países seleccionados, entre ellos China. ^{[ 49 ]}

En 2014, Liz Truss , entonces Subsecretaria de Estado Parlamentaria Británica en el Departamento de Educación , dirigió una visita de investigación a escuelas y centros de formación docente en Shanghái. ^{[ 50 ]} Gran Bretaña aumentó los intercambios con profesores y escuelas chinas para averiguar cómo mejorar la calidad. En 2014, 60 profesores de Shanghái fueron invitados al Reino Unido para ayudar a compartir sus métodos de enseñanza, apoyar a los alumnos con dificultades y ayudar a capacitar a otros profesores. ^{[ 51 ]} En 2016, Gran Bretaña invitó a 120 profesores chinos, con la intención de adoptar estilos de enseñanza chinos en 8000 escuelas subvencionadas. ^{[ 52 ]} Para 2019, aproximadamente 5000 de las 16 000 escuelas primarias de Gran Bretaña habían adoptado los métodos de enseñanza de Shanghái. ^{[ 53 ]} El rendimiento de las escuelas británicas en PISA mejoró después de adoptar los estilos de enseñanza de China. ^{[ 54 ] [ 55 ]}

Finlandia, que obtuvo varios de los primeros puestos en las primeras pruebas, descendió en las tres materias en 2012, pero siguió siendo el país con mejor desempeño general en Europa, logrando su mejor resultado en ciencias con 545 puntos (5.º) y el peor en matemáticas con 519 (12.º), donde fue superada por otros cuatro países europeos. El descenso en matemáticas fue de 25 puntos desde 2003, la última vez que las matemáticas fueron el foco de las pruebas. Por primera vez, las chicas finlandesas superaron por poco a los chicos en matemáticas. También fue la primera vez que los alumnos de las escuelas de habla finlandesa no obtuvieron mejores resultados que los alumnos de las escuelas de habla sueca . La exministra de Educación y Ciencia, Krista Kiuru, expresó su preocupación por el descenso general, así como por el hecho de que el número de alumnos con bajo rendimiento había aumentado del 7 % al 12 %. ^{[ 56 ]}

India participó en la ronda de pruebas de 2009, pero se retiró de las pruebas PISA de 2012, y el gobierno indio atribuyó su decisión a la injusticia de las pruebas PISA para los estudiantes indios. ^{[ 57 ]} India había ocupado el puesto 72 de 73 países evaluados en 2009. ^{[ 58 ]} El Indian Express informó: "El ministerio (de educación) ha concluido que hubo una desconexión sociocultural entre las preguntas y los estudiantes indios. El ministerio escribirá a la OCDE y hará hincapié en la necesidad de tener en cuenta el "entorno sociocultural" de la India. La participación de la India en el próximo ciclo PISA dependerá de esto". ^{[ 59 ]} El Indian Express también señaló que "Considerando que más de 70 naciones participan en PISA, no está claro si se hará una excepción para la India".

India no participó en las rondas PISA de 2012, 2015 y 2018. ^{[ 60 ]}

Un comité de Kendriya Vidyalaya Sangathan (KVS), así como un grupo de secretarios de educación constituido por el Primer Ministro de la India, Narendra Modi, recomendaron que la India participara en PISA. En consecuencia, en febrero de 2017, el Ministerio de Desarrollo de Recursos Humanos, dirigido por Prakash Javadekar, decidió poner fin al boicot y participar en PISA a partir de 2020. Para abordar la desconexión sociocultural entre las preguntas de la prueba y los estudiantes, se informó que la OCDE actualizaría algunas preguntas. Por ejemplo, la palabra "aguacate" en una pregunta podría reemplazarse por una fruta india más popular, como el mango. ^{[ 61 ]}

India no participó en las rondas PISA de 2022 citando la interrupción causada por la pandemia de COVID-19 . ^{[ 62 ]}

En 2015, la OCDE determinó que los resultados de Malasia no habían alcanzado la tasa de respuesta máxima. ^{[ 63 ]} El político de la oposición Ong Kian Ming afirmó que el Ministerio de Educación intentó sobremuestrear a estudiantes de alto rendimiento en escuelas ricas. ^{[ 64 ] [ 65 ]}

El resultado de Suecia descendió en las tres materias en la prueba de 2012, lo que supuso la continuación de una tendencia observada entre 2006 y 2009. La caída más pronunciada se registró en matemáticas, con un descenso de la puntuación de 509 en 2003 a 478 en 2012. La puntuación en lectura también descendió de 516 en 2000 a 483 en 2012. El país obtuvo resultados por debajo de la media de la OCDE en las tres materias. ^{[ 66 ]} El líder de la oposición, el socialdemócrata Stefan Löfven , describió la situación como una crisis nacional. ^{[ 67 ]} Junto con el portavoz del partido en materia de educación, Ibrahim Baylan , señaló la tendencia descendente en lectura como la más grave. ^{[ 67 ]}

En 2020, el periódico sueco Expressen reveló que Suecia había inflado su puntuación en PISA 2018 al no ajustarse a los estándares de la OCDE. Según el profesor Magnus Henrekson, un gran número de estudiantes nacidos en el extranjero no habían sido evaluados. ^{[ 68 ]}

En la prueba de 2012, al igual que en 2009, el resultado fue ligeramente superior al promedio para el Reino Unido, con la clasificación en ciencias en el puesto más alto (20). ^{[ 69 ]} Inglaterra , Gales , Escocia e Irlanda del Norte también participaron como entidades separadas, mostrando el peor resultado para Gales, que en matemáticas ocupó el puesto 43 de los 65 países y economías. El Ministro de Educación de Gales, Huw Lewis, expresó su decepción por los resultados, dijo que no había "soluciones rápidas", pero esperaba que varias reformas educativas que se han implementado en los últimos años dieran mejores resultados en la próxima ronda de pruebas. ^{[ 70 ]} El Reino Unido tuvo una brecha mayor entre los estudiantes con puntuaciones altas y bajas que el promedio. Hubo poca diferencia entre las escuelas públicas y privadas cuando se ajustó por el origen socioeconómico de los estudiantes. La diferencia de género a favor de las niñas fue menor que en la mayoría de los demás países, al igual que la diferencia entre nativos e inmigrantes. ^{[ 69 ]}

En un artículo publicado en el Daily Telegraph , Ambrose Evans-Pritchard advirtió sobre el peligro de dar demasiada importancia a la clasificación internacional del Reino Unido, argumentando que un enfoque excesivo en los resultados académicos en Asia Oriental podría haber contribuido a la baja tasa de natalidad de la región , lo que, según él, podría perjudicar el desempeño económico en el futuro más de lo que lo compensaría una buena puntuación en PISA. ^{[ 71 ]}

En 2013, el Times Educational Supplement (TES) publicó un artículo titulado "¿Tiene PISA fallos fundamentales?", de William Stewart, que detallaba serias críticas a los fundamentos conceptuales y los métodos de PISA propuestos por estadísticos de importantes universidades. ^{[ 72 ]}

En el artículo, el profesor Harvey Goldstein, de la Universidad de Bristol, afirmó que cuando la OCDE intenta descartar cuestiones sospechosas de sesgo, puede tener el efecto de "suavizar" las diferencias clave entre países. "Eso implica dejar de lado muchos aspectos importantes", advirtió. "Simplemente no se comentan. Lo que se analiza es algo que resulta ser común. Pero, ¿merece la pena analizarlo? Los resultados de PISA se aceptan sin cuestionarlos, como si proporcionaran una especie de estándar común entre países. Pero en cuanto se empieza a desmenuzar, creo que todo se desmorona".

El Dr. Hugh Morrison, matemático de la Universidad Queen's de Belfast, afirmó que el modelo estadístico subyacente a PISA contenía un error matemático fundamental e irresoluble que hacía que las clasificaciones de PISA carecieran de valor. ^{[ 73 ]} Goldstein comentó que la objeción del Dr. Morrison ponía de relieve "un importante problema técnico", si no un "profundo error conceptual". Sin embargo, Goldstein advirtió que PISA se había "utilizado de forma inapropiada", argumentando que parte de la culpa recaía en el propio programa. "Creo que tiende a decir demasiado de lo que puede hacer y tiende a no divulgar los aspectos negativos o más débiles". Los profesores Morrison y Goldstein expresaron su consternación por la respuesta de la OCDE a las críticas. Morrison dijo que cuando publicó por primera vez sus críticas a PISA en 2004 y también consultó personalmente a varios "altos cargos" de la OCDE al respecto, sus argumentos fueron recibidos con "un silencio absoluto" y aún no se han abordado. "Me asombró su falta de disposición", declaró a TES. "Eso me genera sospechas." "Pisa ignoró sistemáticamente muchos de estos problemas", afirma. "Sigo preocupado." ^{[ 72 ]}

El profesor Svend Kreiner, de la Universidad de Copenhague , coincidió: «Uno de los problemas que todos tienen con PISA es que no quieren hablar con quienes critican o cuestionan los resultados. No quisieron hablar conmigo en absoluto. Estoy seguro de que es porque no pueden defenderse. ^{[ 72 ]}

Desde 2012, algunos estados han participado en las pruebas PISA como entidades independientes. Solo los resultados de 2012 y 2015 están disponibles a nivel estatal. Puerto Rico también participó en 2015 como entidad independiente de Estados Unidos.

Resultados del programa PISA para Estados Unidos por raza y etnia.