Seguimiento (proyecto)

Follow Through fue el proyecto experimental más grande y costoso en educación financiado por el gobierno federal de los Estados Unidos que se haya realizado. La evaluación más extensa de los datos de Follow Through abarca los años 1968-1977; sin embargo, el programa continuó recibiendo financiación del gobierno hasta 1995. ^{[ 1 ] : 7} Follow Through fue concebido originalmente como una extensión del programa federal Head Start , que brindaba servicios educativos, de salud y sociales a niños preescolares generalmente desfavorecidosy sus familias. Por lo tanto, la función de Follow Through era proporcionar una continuación de estos servicios a los estudiantes en sus primeros años de primaria.

En su discurso sobre el estado de la Unión de 1967 , el presidente Lyndon B. Johnson propuso 120 millones de dólares para el programa, destinado a atender a aproximadamente 200 000 niños de entornos desfavorecidos. Sin embargo, cuando el Congreso de los Estados Unidos aprobó la financiación del proyecto , solo se autorizó una fracción de esa cantidad: apenas 15 millones de dólares. Esto obligó a la Oficina de Oportunidades Económicas (OEO), la agencia gubernamental encargada de la supervisión del programa, a cambiar su estrategia ^{[ 1 ] : 3–4 [ 2 ] : 2 [ 3 ] : 4} En cambio, los administradores del programa tomaron la «brillante decisión... (de) convertir Follow Through de un programa de servicios a un programa de investigación y desarrollo». ^{[ 4 ] : 5}

Los planificadores de Follow Through consideraron que estaban respondiendo a un desafío importante en la educación de estudiantes desfavorecidos. Se hipotetizaba generalmente que la mera provisión de apoyos específicos en forma de programas compensatorios federales —como Head Start y el Título I de la Ley de Educación Primaria y Secundaria— resultaría en un mayor rendimiento académico para los niños desfavorecidos, si docentes comprometidos los implementaban fielmente. Sin embargo, los estudios habían demostrado que, a pesar de sus éxitos, en general, cualquier avance que los niños lograran con Head Start (en medidas de rendimiento académico) se "desvanecía" durante los primeros años de la escuela primaria . ^{[ 5 ] : 4 [ 2 ] : 1} No estaba claro para los responsables políticos y otros si la experiencia de la escuela primaria en sí misma causaba este fenómeno, o si el problema radicaba en enfoques específicos de instrucción dentro de las escuelas. Follow Through pretendía resolver el problema identificando qué enfoques curriculares y de instrucción para toda la escuela funcionaban y cuáles no. Posteriormente, el gobierno debía promulgar modelos efectivos como ejemplos de métodos innovadores y probados para elevar el rendimiento académico de los estudiantes históricamente desfavorecidos.

Concebido e implementado en medio de la campaña de la Guerra contra la Pobreza del presidente Johnson en la década de 1960, Follow Through "surgió de un plan más amplio que intentaba establecer las causas y soluciones de la pobreza en la sociedad estadounidense de forma sistémica". ^{[ 4 ] : 2} Además de la histórica Ley de Educación Primaria y Secundaria de 1965 , otras iniciativas incluyeron políticas económicas diseñadas para mantener altos niveles de empleo y capacitación laboral subsidiada por el gobierno federal, dirigida específicamente a personas de entornos desfavorecidos. Estos programas se implementaron en medio de la turbulenta era de las décadas de 1960 y 1970; marcada por las luchas y la eventual incorporación al derecho al voto de varios grupos anteriormente excluidos, "incluidos afroamericanos , feministas , hispanos , nativos americanos y padres de niños discapacitados ". ^{[ 6 ] : 293 [ 7 ] : 26}

En los experimentos científicos típicos, los grupos de tratamiento y control se seleccionan mediante asignación aleatoria. Dado que Follow Through fue un experimento diseñado para evaluar la eficacia de varias intervenciones en distritos locales, los distritos eligieron las intervenciones que querían implementar en sus escuelas. Este método de selección de la intervención deseada entre varias candidatas se denomina variación planificada. Una publicación se refiere a ella como "innovación aleatoria". ^{[ 6 ] : 292} Se consideró que la variación planificada era ventajosa sobre la asignación aleatoria porque otorgaba a las comunidades locales (por ejemplo, miembros de la comunidad, padres, administradores y maestros) un elemento de control local sobre la implementación de su programa. ^{[ 8 ] : 187, 190 [ 9 ]} De hecho, Hill creía que programas como Follow Through "pueden ser... fuentes permanentes de presión de defensa en nombre de los objetivos y beneficiarios de los programas federales". ^{[ 10 ] : 7}

Follow Through , al igual que Head Start , tenía un alcance enorme y fue diseñado para remediar el hecho de que "los niños pobres tienden a tener un bajo rendimiento escolar". ^{[ 2 ] : xxxiii} A pesar del recorte de fondos, atendió a un número considerable de estudiantes. En su apogeo, el programa llegó a abarcar 20 intervenciones patrocinadas diferentes y aproximadamente 352 000 niños de Follow Through y de comparación en 178 proyectos en todo el país. ^{[ 1 ] : 7 [ 2 ] : xix, 19}

Además de identificar las prácticas de instrucción más efectivas y difundirlas a las escuelas y distritos, también se esperaba que Follow Through ayudara a reducir la cantidad de programas de intervención federales potencialmente conflictivos en las escuelas, que algunos consideraban contraproducentes y costosos. ^{[ 10 ] : 12, 20} Además, si se pudieran identificar modelos que fueran efectivos con niños necesitados, estas intervenciones también podrían implementarse en las aulas de educación regular. ^{[ 10 ] : 20}

Debido a que Follow Through surgió por acción ejecutiva y no legislativa, el control general del programa recaía en la Oficina de Oportunidades Económicas (OEO) de Johnson, que lideró la política de Johnson contra la pobreza. Un componente principal de esta política era la participación comunitaria. El Programa de Acción Comunitaria (CAP) se encargaba de cumplir esta función mediante el establecimiento de agencias y programas locales que llevaban a cabo diversas iniciativas patrocinadas por el gobierno federal para poblaciones desfavorecidas. Sin embargo, el CAP (y, en cierta medida, la OEO) cayó en descrédito entre los legisladores y otros, porque "resultó en la movilización política de los pobres y el debilitamiento de las agencias gubernamentales locales ". ^{[ 3 ] : 4–5} Follow Through estaba concebido como una extensión del programa de acción comunitaria Head Start . Dado que Head Start gozaba de popularidad política, un programa asociado con Head Start devolvería a la OEO "el favor del Congreso". ^{[ 3 ] : 5} Aunque Follow Through , al igual que Head Start , se concibió inicialmente como un programa de acción social, la decisión de transformar Follow Through de un programa de acción social a un experimento social no se modificó en consecuencia en la legislación del Congreso. ^{[ 4 ] : 4–5}

El personal de Head Start siguió involucrado en el diseño e implementación de Follow Through , aunque parecía que trabajaban de forma independiente del grupo de planificación de la OEO, que consideraba Follow Through una investigación empírica. ^{[ 1 ] : 8} Gran parte de lo ocurrido durante la etapa de planificación —que Egbert describe como «un momento de prisa y confusión»— fue un intento de satisfacer a los grupos de interés de ambas perspectivas. ^{[ 1 ] : 9}

Debido en gran medida al contexto sociocultural en el que nació Follow Through , los planificadores estructuraron deliberadamente el programa para minimizar la participación de funcionarios federales en el esfuerzo de implementación. ^{[ 3 ] : 16 [ 8 ] : 191} Cuanto más se pudiera percibir Follow Through como un esfuerzo controlado localmente, mejor. La OEO esperaba "idealmente" que Follow Through pudiera satisfacer tanto los propósitos empíricos como los de acción social. ^{[ 1 ] : 4 [ 10 ] : 8, 10}

Parece dudoso que cualquier forma de experimento pueda servir de manera realista y fiel a ambos objetivos. Según Hill, los verdaderos evaluadores de programas deberían ser «técnicos en lugar de políticos o programáticos, y sus actitudes escépticas e imparciales». ^{[ 10 ] : 8–9} El grupo de planificación de la OEO quería una verdadera investigación empírica que determinara los modelos más eficaces. Por el contrario, el personal de CAP y Head Start que asesoraba a los planificadores de Follow Through lo consideraba un programa social. Por lo tanto, «ninguno de los grupos constituyentes quedó completamente satisfecho con esta solución». ^{[ 1 ] : 4–5}

Además de que los planificadores de Follow Through tenían puntos de vista contradictorios sobre el verdadero propósito del programa, la selección de patrocinadores fue igualmente imprecisa. Los patrocinadores de Follow Through eran una mezcla ecléctica de individuos o grupos que realizaban investigaciones sobre métodos de instrucción. Algunos provenían de universidades, incluidas facultades de educación . Otros participaban en proyectos de investigación privados o financiados con subvenciones. ^{[ 3 ] : 16} El método de selección no estaba claro. Según Watkins, "aparentemente se extendieron invitaciones a cualquier grupo que realizara investigaciones sobre métodos de instrucción". ^{[ 3 ] : 16}

Algunos patrocinadores tenían intervenciones bastante desarrolladas basadas en teorías de la instrucción. Otros simplemente tenían ideas sobre lo que podría constituir intervenciones efectivas. Los patrocinadores también diferían ampliamente en los resultados que esperaban como resultado de sus programas. Algunos patrocinadores tenían objetivos muy específicos que creían que conducirían a resultados muy específicos, como mejores habilidades de alfabetización en medidas de rendimiento lector. Otros tenían objetivos más generales, como mayor autoestima o mayor participación de los padres en la escolarización. La mayoría de los programas estaban en una etapa muy temprana de desarrollo y no habían sido probados extensamente (ni siquiera moderadamente) en el campo o en fase piloto. Algunos programas eran tan ambiguos que Elmore escribió que "la mayoría de los desarrolladores de programas simplemente no tenían claro cómo se verían sus programas en una forma completamente operativa". ^{[ 8 ] : 199} Muchos patrocinadores no pudieron explicar con precisión qué aspectos de sus modelos conducirían a los objetivos de resultados declarados del modelo.

A pesar de las ambigüedades presentes en muchos de los modelos (y las sutiles diferencias entre algunos de ellos), la literatura sobre el método Follow Through clasificó los modelos según el grado de estructura que ofrecían y el énfasis que ponían en el aprendizaje.

El grado de estructura (por ejemplo, bajo, medio o alto) que ofrece un modelo en particular se evidencia en la rigurosidad con la que se instruyó a los docentes para que se adhirieran a procedimientos específicos, que incluyen: la organización del aula y la impartición de la enseñanza, el grado de interacción entre adultos y niños, el nivel de participación de los padres, etc. A continuación, se presentan breves ejemplos de dos modelos que representan los extremos del espectro.

Modelo de Instrucción Directa . Desarrollado por Siegfried Engelmann y Wesley Becker de la Universidad de Oregón , la instrucción directa está guionizada y especifica con precisión lo que dice el profesor y cuáles deben ser las respuestas de los alumnos. Además, los diseñadores del programa secuenciaron cuidadosamente la instrucción para que los alumnos no avancen a habilidades de orden superior a menos que hayan dominado las habilidades básicas prerrequisito. Existe un alto grado de interacción entre profesores y alumnos, de modo que el profesor puede recibir retroalimentación continua sobre el desempeño de los alumnos y ajustar la instrucción en consecuencia. El programa distingue específicamente entre el comportamiento de atención y el de distracción: la instrucción está organizada de manera que los alumnos estén plenamente involucrados en el aprendizaje (mediante comprobaciones frecuentes de comprensión y elogios por parte del profesor) la mayor parte del tiempo. Según los patrocinadores del programa, todo lo que se presume que los alumnos han aprendido debe ser enseñado primero por el profesor. ^{[ 5 ] : 8}

Modelo de Bank Street . El modelo de Bank Street fue desarrollado por Elizabeth Gilkerson y Herbert Zimiles del Bank Street College of Education en Nueva York. En este modelo, los propios estudiantes dirigen su aprendizaje: seleccionan las tareas en las que desean participar, solos o con sus compañeros. El profesor organiza el aula de manera que, según los promotores, se creen las condiciones para un aprendizaje exitoso: se ponen a disposición de los niños diversos objetos y medios con los que interactuar, y el profesor actúa como facilitador, guiando a los estudiantes a través de las actividades. Según los promotores del programa, los estudiantes utilizan el conocimiento previo para construir nuevo conocimiento. Según los promotores, en un entorno seguro y estable, el aprendizaje es un proceso que ocurre de forma natural. ^{[ 5 ] : 10–11}

En su evaluación de los aspectos operativos de Follow Through , Elmore expresó su preocupación de que las sutiles diferencias entre los modelos en términos de estructura dificultaran las comparaciones y el análisis final entre ellos. ^{[ 8 ]} Las descripciones de las intervenciones provenían de los propios patrocinadores. No había otra fuente confiable de la que los administradores del programa pudieran obtener información al respecto. Si hubieran podido ver ejemplos de los diferentes modelos en implementación, podrían haber formulado preguntas aclaratorias para distinguirlos mejor, lo cual podría haber sido importante para fines de evaluación.

Los modelos de programas también se clasificaron según el énfasis que ponen en el aprendizaje, de acuerdo con tres orientaciones educativas: habilidades básicas, habilidades cognitivas conceptuales y comportamiento afectivo/cognitivo (véase también el Apéndice A).

• Modelos de habilidades básicas: se ocupan principalmente de la enseñanza de habilidades básicas (por ejemplo, las "habilidades elementales de vocabulario, cálculo aritmético, ortografía y lenguaje" ^{[ 2 ] : xxiii}
• Modelos de habilidades cognitivas conceptuales: enfatizan las llamadas " habilidades de pensamiento de orden superior " y las habilidades de resolución de problemas ^{[ 2 ] : xxiii}
• Modelos de habilidades afectivas/cognitivas: Centrados en el afecto de los estudiantes (es decir, la autoestima), bajo la premisa de que los sentimientos de valía personal positiva conducen al éxito en las habilidades cognitivas ^{[ 2 ] : xxiv}

A pesar de las diferencias, hubo puntos de acuerdo entre todos los patrocinadores. Los patrocinadores coincidieron en que sus intervenciones debían ser apropiadas para el desarrollo, es decir, los modelos deben tener en cuenta en qué etapa del desarrollo de los estudiantes se encuentran como aprendices. Segundo, todos coincidieron en que la enseñanza y el aprendizaje deben responder a las necesidades de los estudiantes individuales. Tercero, coincidieron en que todos los estudiantes, incluso aquellos de los entornos más desfavorecidos, pueden aprender al nivel de sus compañeros más afortunados. Cuarto, se debe enfatizar el uso de procedimientos de gestión del aula que creen un entorno de aprendizaje apropiado. Quinto, la escuela debe ser un lugar donde los estudiantes experimenten tanto una alta autoestima como el éxito académico. Irónicamente, el último punto de acuerdo, en lo que respecta a Maccoby y Zellner, fue que todas las intervenciones deben tener objetivos muy claros sobre el contenido y las habilidades que los estudiantes deben conocer y ser capaces de hacer. ^{[ 5 ] : 23–25} Este último detalle es digno de mención por dos razones. Primero, los objetivos de resultados del programa que proporcionaron los patrocinadores parecían relativamente amplios. Por ejemplo, los patrocinadores del Modelo de Educación Temprana de Tucson explican que "hay relativamente menos énfasis en qué elementos se enseñan y en la transmisión de contenido específico, y más énfasis en 'aprender a aprender'". ^{[ 5 ] : 15–16} De igual modo, los maestros del Currículo Cognitivo diseñan sus propios enfoques de instrucción (incluida la especificación de objetivos de aprendizaje), con la ayuda de patrocinadores y otros miembros del personal. ^{[ 5 ] : 20–21} Si bien los objetivos de resultados podrían describirse comúnmente como altos niveles de rendimiento académico o dominio de habilidades de pensamiento básicas y de orden superior, la forma exacta en que los estudiantes demuestran estas habilidades no está presente en la literatura de Follow Through . Durante las reuniones de patrocinadores, hubo varias discusiones acaloradas entre algunos patrocinadores sobre el grado de especificidad con el que deberían vincular facetas de sus modelos con los resultados o comportamientos de los estudiantes. ^{[ 3 ] : 17} Los administradores de Follow Through no pudieron investigar los modelos más a fondo debido al tiempo limitado; de hecho, solo ocho meses separaron la selección del enfoque del modelo patrocinado y el inicio del experimento. Debido a que el Congreso ya había reducido el presupuesto del programa, existía una preocupación legítima entre los planificadores de que un retraso en la implementación podría ser desastroso para el programa. ^{[ 8 ] : 174} Otra realidad era, sencillamente, la falta de intervenciones alternativas. Dado que nunca antes se había realizado un experimento de tal magnitud en educación, la Oficina de Educación no contaba con un arsenal de intervenciones para probar. ^{[ 8 ] : 186}

La selección de los sitios de implementación de Follow Through se llevó a cabo en conjunto con la selección de modelos. Con la asistencia de varias agencias educativas estatales y federales, se invitó a 100 comunidades a postularse al programa, según los criterios establecidos por la OEO. Según Egbert, 90 distritos presentaron su solicitud, de los cuales 30 fueron seleccionados para participar en Follow Through . ^{[ 1 ] : 9} Sin embargo, debido a la presión de políticos influyentes, posteriormente se agregaron sitios adicionales. No es casualidad que la inclusión de varios distritos adicionales parezca haber sido un intento de complacer a varias figuras políticas locales al incluir a sus comunidades en el programa. ^{[ 1 ] : 9}

Si bien Elmore lamenta que los sitios podrían haberse seleccionado con mayor rigor científico (por ejemplo, mediante muestreo aleatorio estratificado), esto fue imposible, al menos por dos razones. Primero, los administradores de Follow Through tenían la obligación de seleccionar un número mínimo de sitios con programas Head Start , ya que el propósito aparente de Follow Through era complementar Head Start . Segundo, además de las presiones políticas, las comunidades debían estar dispuestas a participar en el proceso (aparentemente) para preservar la fidelidad de las implementaciones. En este punto, Elmore tiende a estar de acuerdo. ^{[ 8 ] : 215}

Debido a la variedad de modelos, se seleccionó una amplia gama de instrumentos y métodos analíticos para medir los resultados previstos de habilidades básicas, comportamiento afectivo y comportamiento cognitivo. Adams y Engelmann escribieron: "Si bien los críticos se han quejado de la selección de pruebas y generalmente han sugerido más pruebas, el esfuerzo de evaluación en este estudio fue mucho más allá de cualquier otro estudio educativo realizado antes o después". ^{[ 11 ] : 71} En total, se seleccionaron 14 instrumentos y se administraron en varios momentos a lo largo de la participación de un estudiante en Follow Through . Tres grupos de estudiantes, conocidos como Cohortes (es decir, Cohortes I, II y III) fueron seguidos longitudinalmente desde el momento en que ingresaron a Follow Through (por ejemplo, Jardín de Infancia o Grado 1) hasta que salieron del programa (Grado 3). Si bien los autores del informe de Follow Through calificaron los instrumentos como de alta fiabilidad, algunos patrocinadores cuestionaron la validez de los instrumentos para medir las diversas orientaciones de los modelos. ^{[ 2 ]} Otros críticos, como House et al. en un análisis financiado por la Fundación Ford y ampliamente difundido, también criticaron los instrumentos. ^{[ 12 ] [ 13 ]} Sin embargo, los evaluadores creyeron que la batería de instrumentos representaba el "mejor compromiso" dada la gama de modelos. ^{[ 2 ] : 35, 43} A pesar del número relativamente grande de estudiantes que participaron en Follow Through , los evaluadores impusieron restricciones rigurosas a la muestra que realmente estaba en el análisis estadístico. El grupo de comparación —estudiantes de la comunidad identificados como no participantes en Follow Through— no estuvo sujeto exactamente a las mismas restricciones que el grupo de control, siempre que entraran y salieran de la escuela en los mismos distritos y al mismo tiempo que los estudiantes de Follow Through .

Debido a la cantidad de sitios de intervención y la variedad de instrumentos, el análisis fue complejo y extenso. Según Watkins, hubo más de 2000 comparaciones solo entre los grupos Follow Through y no Follow Through . ^{[ 3 ] : 32} En 1968, el Instituto de Investigación de Stanford (SRI) obtuvo el contrato para la evaluación de Follow Through . Sin embargo, debido a una variedad de factores —incluida, quizás, la subestimación por parte del SRI de la complejidad que implicaba un análisis tan exhaustivo— Abt Associates, Inc. heredó posteriormente las funciones de evaluación en el verano de 1972. El resumen de los resultados, titulado Educación como experimentación: un modelo de variación planificada, se publicó en 1977. ^{[ 2 ]}

El objetivo empírico de la evaluación Follow Through fue determinar qué modelos eran efectivos para mejorar el rendimiento estudiantil en los tres dominios, evidenciado por efectos positivos utilizando los instrumentos seleccionados. Dentro de cada modelo, los evaluadores compararon el desempeño en los diversos instrumentos entre los grupos Follow Through (FT) y no Follow Through (NFT) en cada sitio. Dentro de cada grupo, los evaluadores promediaron las puntuaciones de los estudiantes en cada medida (o variable de resultado) para obtener una puntuación de "grupo". Así, las puntuaciones de los estudiantes FT se compararon con las puntuaciones de los estudiantes NFT. Los evaluadores emplearon una técnica de ajuste estadístico importante —y posteriormente controvertida— para "mejorar la integridad de los resultados". Debido a que existían diferencias entre los grupos de tratamiento y comparación (por ejemplo, la puntuación promedio en una medida de resultado para un grupo NFT podría haber sido mayor que la puntuación promedio correspondiente para un grupo FT), los evaluadores emplearon un método estadístico conocido como análisis de covarianza (ANCOVA) para ajustar estas y otras diferencias. La diferencia entre los estudiantes FT y NFT se utilizó luego para medir los efectos de un modelo determinado. ^{[ 3 ] : 32–33} A los sitios donde los modelos cumplieron el criterio de "eficacia educativa" se les asignó un valor de 1; a los efectos negativos se les asignó -1; y a los efectos nulos —"insignificantes desde el punto de vista educativo, estadístico o ambos"— se les asignó un cero. ^{[ 14 ] : 176} Según Elmore, los resultados ajustados mediante la técnica ANCOVA deben interpretarse con cautela por dos razones. ^{[ 8 ] : 329–330} Primero, ANCOVA "no sustituye la asignación aleatoria, pero se ha convertido en una técnica convencionalmente aceptada para manejar las diferencias iniciales de los grupos en datos cuasiexperimentales". ^{[ 8 ] : 329} Segundo, cuanto mayores sean las diferencias iniciales entre los grupos de tratamiento y control, más débil será la fuerza de los resultados. ^{[ 8 ] : 329}

Los resultados de Follow Through no mostraron cómo se podrían mejorar los modelos que mostraron pocos o ningún efecto. Sin embargo, sí mostraron qué modelos —como sugirieron las condiciones menos que ideales del experimento— tenían algunos indicios de éxito. De estos modelos, el método de Instrucción Directa de Siegfried Engelmann demostró las mayores ganancias en el estudio comparativo. La crítica más notable de Follow Through (descrita en detalle más adelante) cuestiona el hecho de que los modelos que mostraron efectos positivos fueran en gran medida modelos de habilidades básicas. Abt Associates identificó cinco hallazgos principales relacionados con la cuestión de la efectividad diferencial de los modelos; los principales hallazgos empíricos del experimento se informaron de la siguiente manera: ^{[ 2 ] : xxiv–xxviii}

• "La efectividad de cada modelo Follow Through varió sustancialmente de un grupo de sitios a otro" ^{[ 2 ] : xxiv}
• "Los modelos que enfatizan las habilidades básicas tienen más éxito que otros modelos a la hora de ayudar a los niños a adquirir estas habilidades" (p. xxv).
• "Cuando los modelos han puesto su énfasis principal en otros aspectos que no son las habilidades básicas, los niños a los que atendieron han tendido a obtener puntuaciones más bajas en las pruebas de estas habilidades de las que habrían obtenido sin Follow Through " (p. xxvi).
• "Ningún tipo de modelo tuvo un éxito notablemente mayor que los demás a la hora de aumentar las puntuaciones en habilidades cognitivas conceptuales" (p. xxvi).
• "Los modelos que enfatizan las habilidades básicas produjeron mejores resultados en las pruebas de autoconcepto que otros modelos" (p. xxvi).
• En la medida en que los niños del programa Follow Through han "alcanzado" a sus compañeros en habilidades aritméticas, han tendido a hacerlo durante los dos primeros años de su participación en el programa" (p. xxvii).
• " Follow Through ha sido relativamente eficaz con los niños más desfavorecidos a los que ha atendido" (p. xxviii)

Un análisis independiente examinó el impacto del método de Instrucción Directa de Siegfried Engelmann en los estudiantes a lo largo de varias décadas. ^{[ 15 ]} Este análisis sugirió un beneficio a largo plazo. ^{[ 15 ]}

Wisler et al. , en su revisión de la experiencia Follow Through , escribieron que era probable que ningún otro dato educativo se hubiera examinado más extensamente, excepto la Encuesta de Igualdad de Oportunidades Educativas. ^{[ 14 ] : 177} Al menos tres reevaluaciones importantes de los datos de Follow Through existen en la literatura: House, et al. (1978); ^{[ 12 ]} Bereiter y Kurland (1981); ^{[ 16 ]} y Kennedy (1981). ^{[ 17 ]} Todas confirman en gran medida el análisis estadístico original realizado por Abt Associates. En general, el consenso entre la mayoría de los investigadores es que los modelos estructurados tendían a funcionar mejor que los no estructurados, ^{[ 4 ] : 13–14} y que los modelos de Instrucción Directa y Análisis del Comportamiento funcionaron mejor en los instrumentos empleados que los otros modelos. ^{[ 6 ] : 302 [ 14 ] : 180 [ 11 ] : 72} ) La mayoría de las críticas al experimento Follow Through se han centrado en los problemas operativos y de diseño que lo aquejaron. ^{[ 8 ]} En particular, estas críticas señalan que hubo más variación dentro de un modelo específico que entre modelos. Este problema se ha atribuido en gran medida a la dificultad de medir la efectividad de una implementación particular; las medidas utilizadas fueron en gran parte cualitativas y anecdóticas. ^{[ 2 ]} En algunos casos, se incluyeron en el análisis sitios que habían dejado de implementar modelos específicos, o los patrocinadores del modelo tenían serias reservas sobre la forma en que se implementaron modelos específicos. ^{[ 18 ] [ 11 ] : 71}

La crítica más contundente fue la del reanálisis de House et al. (1978). El artículo, junto con varias refutaciones del equipo de evaluación original y otros investigadores, fue publicado por la Harvard Educational Review en 1978. Los autores se mostraron sumamente insatisfechos con la afirmación de los evaluadores de que los modelos de habilidades básicas superaban a los demás. Los autores abordan la crítica partiendo de la premisa de que las habilidades básicas son precisamente eso: básicas. Implican que las habilidades básicas solo se enseñan mediante métodos memorísticos, una connotación claramente negativa (p.  137).

Respecto al hallazgo de que "los modelos que enfatizan las habilidades básicas produjeron mejores resultados en las pruebas de autoconcepto que otros modelos" ^{[ 2 ] : xxvi,} los autores cuestionan la eficacia de las medidas de autoestima, lo que implica, entre otras cosas, que los estudiantes jóvenes no pueden tener una comprensión concreta del autoconcepto (pp.  138-139). Si bien el artículo pretendía revisar el diseño operativo de la evaluación Follow Through , en cambio parece (1) refutar el hallazgo de que los modelos cognitivo-conceptuales y afectivo-cognitivos fueron en gran medida fracasos, y (2) condenar unilateralmente los modelos que enfatizan las habilidades básicas. La implicación es que el objetivo de la educación no debería ser aumentar el rendimiento estudiantil únicamente en habilidades básicas, y que Follow Through se habría empleado mejor para descubrir cómo se podrían hacer exitosas las medidas de las tres orientaciones. En la crítica no se menciona que, para los alumnos de tercer grado, solo el modelo de Instrucción Directa demostró efectos positivos en los tres dominios, y que uno de los dos modelos restantes (Análisis del Comportamiento; el otro era el modelo de Educación para Padres) que tuvo efectos positivos en al menos dos dominios también se autodenominó un "modelo de habilidades básicas". ^{[ 11 ] : 72}

En 1972, la OE creó el Joint Dissemination Review Panel (JDRP) y la National Diffusion Network (NDN) para difundir información sobre modelos efectivos a escuelas y distritos de todo el país. ^{[ 3 ] : 47 [ 6 ] : 307} El JDRP revisó los programas para determinar su efectividad según una combinación de criterios empíricos y holísticos. La NDN fue responsable de difundir los resultados con base en las recomendaciones del JDRP. Watkins (1997) critica los criterios de difusión por dos razones. Primero, las organizaciones identificaron programas para su difusión que no habían formado parte del experimento Follow Through y para los cuales no había validación empírica. Segundo, el JDRP y la NDN respaldaron programas que mostraron mejoras en áreas "como el autoconcepto, la actitud y la salud mental o física (de los estudiantes) ... (o) si tiene un impacto positivo en personas distintas a los estudiantes, por ejemplo, si resulta en una mejor conducta de instrucción de los maestros" (p.  47), pero no aumentaron el rendimiento académico de los estudiantes. Así, se recomendó la adopción por parte de escuelas y distritos de programas "que no habían logrado demostrar una mejora en el rendimiento académico en la evaluación Follow Through ". Watkins cita al excomisionado de Educación, Ernest Boyer , quien escribió con consternación que "dado que solo uno de los patrocinadores (Instrucción Directa) produjo resultados positivos de manera más consistente que cualquiera de los demás, sería inapropiado e irresponsable difundir información sobre todos los modelos". ^{[ 3 ] : 48}

Por supuesto, lo ideal habría sido contar con el tipo de conclusiones asociadas a los experimentos de laboratorio al realizar experimentos sociales en comunidades y escuelas. Andy B. Anderson (1975) escribió que "la idea de un experimento controlado se ha reconocido desde hace mucho tiempo como un objetivo que vale la pena perseguir en las ciencias sociales y del comportamiento por la misma razón obvia que hizo de este modo de investigación la estrategia de investigación predominante de las ciencias naturales y físicas: el experimento controlado permite la evaluación más inequívoca de la influencia de una variable sobre otra variable". ^{[ 19 ] : 13} Particularmente cuando la experimentación se utiliza como herramienta para informar decisiones políticas (por ejemplo, al recomendar la eficacia de algunos enfoques de instrucción con estudiantes desfavorecidos sobre otras intervenciones menos efectivas), el diseño debe ser del grado más alto de rigor posible. Por diversas razones, Follow Through no tuvo las características clásicas de un verdadero experimento.

Falta de selección sistemática de intervenciones y falta de especificidad de los efectos del tratamiento . Debido a una variedad de circunstancias detalladas anteriormente, los programas Follow Through no se desarrollaron ni seleccionaron sistemáticamente según ningún tipo de criterio uniforme. ^{[ 4 ] : 6, 15} Con más tiempo, los patrocinadores podrían haber podido identificar mejor los tipos de efectos del tratamiento que un observador podría esperar que ocurrieran en condiciones controladas. Más importante aún, también se podría haber exigido a los patrocinadores del programa que mostraran aquellas facetas específicas de sus intervenciones (por ejemplo, técnicas pedagógicas particulares) que producirían los efectos previstos. A pesar de estas deficiencias, los patrocinadores acordaron someterse a los mismos instrumentos de evaluación. Desafortunadamente, los instrumentos arrojan poca luz sobre qué aspectos de los programas ineficaces los hicieron tan ineficaces. Lo contrario también es cierto. Dado que los programas estructurados tendían a mostrar mejores efectos que los no estructurados, parecería lógico que se hubieran realizado esfuerzos para identificar características comunes entre los programas estructurados eficaces. Estas características compartidas podrían haber servido de base para el desarrollo de programas eficaces adicionales o para mejorar los enfoques ineficaces. A partir de 1982, se redujo la financiación de los programas considerados exitosos en Follow Through , quizás bajo la premisa de que sería mejor destinar los fondos a ayudar a los programas fallidos. ^{[ 3 ]} En última instancia, se recomendó la difusión de programas con menor validación empírica junto con los modelos exitosos.

Falta de asignación aleatoria . La asignación aleatoria de sujetos a grupos de tratamiento y control es el método ideal para atribuir el cambio en una muestra a una intervención y no a algún otro efecto (incluidas las capacidades preexistentes de los estudiantes, maestros o sistemas escolares). ^{[ 4 ] : 15} Sin embargo, por diversas razones prácticas, este procedimiento no se realizó en Follow Through . ^{[ 2 ] : 11} En cambio, los sitios se seleccionaron "oportunistamente", ^{[ 3 ] : 19} en función de su disposición a participar en la evaluación y de sus circunstancias únicas de necesidad. Como señalan Stebbins et al. , los grupos de tratamiento a menudo eran los niños más necesitados. Seleccionar aleatoriamente a algunos de los niños más desfavorecidos (muchos de los cuales participaron en Head Start antes de Follow Through ) fuera de la evaluación ciertamente habría sido percibido negativamente por los miembros de la comunidad. ^{[ 2 ] : 61} Stebbins et al. señalan que hubo "variaciones considerables en el rango de niños atendidos"; Sin embargo, a pesar de la presencia de "muchos de los problemas inherentes a la investigación social de campo... las evaluaciones de estas variaciones planificadas nos brindan la oportunidad de examinar las estrategias educativas en condiciones de la vida real, en contraposición a las condiciones de laboratorio artificiales y estrictamente controladas". ^{[ 2 ] : 12–13}

Estrechez de instrumentos . Adams y Engelmann señalan que muchos críticos han sugerido que se deberían haber utilizado más instrumentos en la evaluación Follow Through . ^{[ 11 ] : 71} Egbert coincide con Adams y Engelmann en que los esfuerzos de recopilación de datos fueron extensos. ^{[ 1 ] : 7} A pesar del acuerdo entre los patrocinadores del modelo sobre un conjunto uniforme de instrumentos para evaluar la efectividad de sus modelos, los patrocinadores del modelo creían que sus programas lograron ganancias en indicadores de desempeño más intrínsecos y menos medibles, como una mayor autoestima o una mayor participación de los padres. En la medida en que estos resultados deseados ocurrieron y beneficiaron la vida de los estudiantes de maneras que podrían nunca ser medibles a través de medios cuantitativos, esos aspectos de muchos modelos fueron exitosos. Tanto House et al. La crítica ^{[ 12 ]} y otros (citados en Wisler ^{[ 14 ]} ) expresan preocupaciones sobre la insuficiencia de los instrumentos utilizados para medir la autoestima, la evaluación Follow Through (es decir, la Escala de Responsabilidad de Logros Intelectuales (IARS) y el Inventario de Autoestima de Coopersmith). Pero era mejor, según muchos investigadores, medir los resultados de forma imperfecta que no medirlos en absoluto. ^{[ 14 ] : 173} Por lo tanto, si bien las medidas "perfectas" de los resultados deseados podrían no existir nunca, no se debe dejar que lo perfecto sea enemigo de lo bueno; en otras palabras, se podría cuestionar la eficacia de realizar cualquier experimento basándose en que existe algún sesgo o imperfección.

¿Era Follow Through un programa social o científico? Tras un período inicial, nuevas regulaciones estipularon que el 80 por ciento de los fondos de Follow Through se destinaría a la prestación de servicios, mientras que el 20 por ciento se utilizaría para la producción de conocimiento. ^{[ 20 ] : 1 [ 21 ]} Las propias regulaciones sugieren que Follow Through era principalmente "un programa educativo financiado por el gobierno federal que contenía un componente de investigación incorporado". ^{[ 20 ] : 1–2} Existe un conflicto inevitable cuando se intenta operacionalizar un programa federal en educación que posee objetivos tanto de prestación de servicios como de investigación y desarrollo. ^{[ 1 ] : 8–9} Rivlin et al. señalan que "la complejidad bizantina del proceso de formulación de políticas públicas hace que la realización de experimentos sociales sea extremadamente difícil". ^{[ 9 ] : 24} Dada la reducción de fondos, la decisión de emprender un esfuerzo para evaluar la efectividad de varias intervenciones en un experimento empírico parece apropiada y directa. Sin embargo, si el cambio no se refleja en la legislación del Congreso o no se comunica claramente a nivel local, inevitablemente surgen problemas de implementación y conflictos con valores profundamente arraigados. ^{[ 9 ] : 24–25 [ 3 ] : 13–15} Hay mucha evidencia que indica confusión sobre la intención de la evaluación Follow Through a nivel administrativo. ^{[ 5 ] : 4 [ 1 ] : 4–5 [ 8 ] : 182, 255 [ 4 ] : 5–6 [ 22 ] : 14–15}

Cuestiones de control local. Se pensó que el aspecto de variación planificada de Follow Through era beneficioso —quizás superior— a otras formas de experimentación (por ejemplo, selección de sitios basada en asignación aleatoria) porque daría a las comunidades y escuelas locales un elemento de propiedad integral para la implementación exitosa de los modelos. ^{[ 3 ] : 16 [ 8 ] : 190–191} A pesar del diseño de variación planificada, las comunidades locales en muchos sitios fueron, no obstante, profundamente críticas con el programa. En cierto modo, las críticas a Follow Through habían precedido directamente a Head Start. Aparentemente, el propósito y los objetivos del servicio social del programa Head Start eran más claros que los de la evaluación de Follow Through . Sin embargo, los líderes comunitarios habían sentido que Head Start no daba suficiente responsabilidad en la toma de decisiones a los padres y miembros de la comunidad. ^{[ 1 ] : 1–3} Los intereses locales querían tomar decisiones curriculares, incluido el cambio de facetas de algunos modelos de programa ^{[ 3 ] : 25} Evans advirtió que "las comunidades y los contextos educativos varían", lo que puede tener un efecto directo en la implementación de un modelo. ^{[ 4 ] : 16} Sin embargo, más problemáticas son las afirmaciones de Elmore ^{[ 8 ] : 381} y Hill ^{[ 10 ] : 16} de que los modelos Follow Through interferían con los métodos y prácticas de enseñanza locales. Como escribe Elmore, "para Follow Through , el problema era cómo implementar variaciones del programa en un sistema donde la mayoría de las decisiones cotidianas sobre el contenido del programa se toman a nivel de la escuela o del aula". ^{[ 8 ] : 381} Rhine et al. sugieren que es difícil lograr que los maestros modifiquen su comportamiento. ^{[ 6 ] : 62} Y si se logra el objetivo de cambiar el comportamiento, los maestros sienten poca apropiación del modelo, una inversión decididamente dudosa. Lo que inevitablemente parece suceder es que los maestros rechazan los programas por completo, mientras que otros "se rinden al programa". ^{[ 6 ] : 62}

La "dicotomía hecho-valor" . Ernest R. House , coautor de la crítica de 1978 a la evaluación Follow Through , escribió un artículo sobre lo que él llama la " dicotomía hecho-valor " en la experimentación social y la investigación educativa: "la creencia de que los hechos se refieren a una cosa y los valores se refieren a algo totalmente diferente". ^{[ 23 ] : 312–313} House dilucida los escritos de Donald Campbell, un investigador en el campo de la evaluación. ^{[ 24 ] [ 25 ]} House señaló que, según Campbell, los hechos no pueden existir fuera del marco de los valores de uno porque, inevitablemente, una investigación que descubre un hecho determinado es consistente con los valores internos del investigador o contrario a ellos. Lo que resulta es una elección difícil: el investigador debe rechazar el hecho o modificar su valor para acomodarlo. Campbell también creía, según House, que los valores —a diferencia de los hechos— podían elegirse racionalmente. House coincide en parte con la afirmación de Campbell, pero se distancia de él al creer que los hechos y los valores no pueden existir de forma aislada; más bien, se «mezclan en las conclusiones de los estudios de evaluación y, de hecho, se mezclan a lo largo de los estudios de evaluación». ^{[ 23 ] : 313} House sugiere que el lector conciba los hechos y los valores como existentes en un continuo que va desde «hechos puros hasta valores puros». En consecuencia, rara vez las «afirmaciones de hechos» o las «afirmaciones de valores» se sitúan completamente en un extremo u otro del espectro. House proporciona ejemplos: «Los diamantes son más duros que el acero» podría situarse a la izquierda del espectro, mientras que «El Cabernet es mejor que el Chardonnay» se sitúa a la derecha. ^{[ 23 ] : 313} En conclusión, House propone un método de investigación empírica completamente nuevo llamado «evaluación democrática deliberativa». En ella, los evaluadores llegan a "afirmaciones imparciales" mediante la "inclusión de todas las perspectivas, valores e intereses relevantes de las partes interesadas en el estudio; un diálogo extenso entre el evaluador y las partes interesadas... y una deliberación extensa para llegar a conclusiones válidas en el estudio". ^{[ 23 ] : 314} House critica el uso de métodos completamente racionales cuando se aplican a las evaluaciones; de hecho, recomienda cierto grado de subjetividad, porque evaluaciones como Follow Through no pueden existir fuera de valores profundamente arraigados. ^{[ 22 ] : 10, 20}

Hill escribe: «Rara vez hay alguien a nivel local cuyo compromiso con una innovación curricular, un proceso de planificación o un esquema de gestión financiera impuestos externamente surja espontáneamente de valores personales profundamente arraigados». ^{[ 10 ] : 12} House argumenta que toda toma de decisiones que se deriva de las evaluaciones en educación es el resultado de un compromiso. Watkins argumenta que Follow Through resultó en un choque de valores basado en diferentes creencias sobre cómo aprenden los niños, lo que puede reducirse a teorías de «crecimiento natural» o «despliegue» versus ^{[ 3 ] : 60} teorías de «cambio de comportamiento». ^{[ 3 ] : 60} Watkins afirma que la mayoría de los expertos en educación hoy en día no juzgan los programas por su eficacia relativa con diferentes poblaciones estudiantiles, sino más bien por su «congruencia con las filosofías de educación predominantes». ^{[ 3 ] : 61}