Evaluación del programa

La evaluación de programas es un método sistemático para recopilar, analizar y utilizar información para responder preguntas sobre proyectos, políticas y programas , ^{[ 1 ]} particularmente sobre su efectividad (si hacen lo que se supone que deben hacer) y eficiencia (si tienen una buena relación calidad-precio).

En los sectores público , privado y voluntario , las partes interesadas pueden estar obligadas a evaluar —por ley o estatuto— o desean saber si los programas que financian, implementan, aprueban, reciben o rechazan están produciendo el efecto prometido. En cierta medida, la evaluación de programas se enmarca dentro del análisis tradicional de costo-beneficio , que busca un retorno justo sobre la inversión de recursos económicos y de otro tipo; sin embargo, los resultados sociales pueden ser más complejos de evaluar que los resultados de mercado, y se requiere un conjunto de habilidades diferente. Entre las consideraciones se incluyen el costo del programa por participante, el impacto del programa , cómo podría mejorarse, si existen mejores alternativas, si hay consecuencias imprevistas y si los objetivos del programa son apropiados y útiles. ^{[ 2 ]} Los evaluadores ayudan a responder estas preguntas. La mejor práctica es que la evaluación sea un proyecto conjunto entre evaluadores y partes interesadas. ^{[ 3 ]}

A los evaluadores de programas se les aplica una amplia gama de títulos diferentes, a veces de forma un tanto arbitraria, pero existen algunos usos establecidos: quienes utilizan regularmente habilidades y técnicas de evaluación de programas en su trabajo se conocen como analistas de programas ; quienes desempeñan funciones que combinan tareas de asistente administrativo o secretario con la evaluación de programas se conocen como asistentes de programas, auxiliares de programas (Reino Unido), especialistas de apoyo a programas o asociados de programas; quienes desempeñan funciones adicionales de gestión de proyectos de menor nivel se conocen como coordinadores de programas.

El proceso de evaluación se considera un fenómeno relativamente reciente. Sin embargo, se ha documentado que la evaluación social planificada data del año 2200 a. C. ^{[ 4 ]} La evaluación cobró especial relevancia en Estados Unidos en la década de 1960, durante el período de los programas sociales de la Gran Sociedad asociados a las administraciones de Kennedy y Johnson . ^{[ 5 ] [ 6 ]}

Las evaluaciones de programas pueden incluir métodos de investigación social tanto cuantitativos como cualitativos . Quienes realizan evaluaciones de programas provienen de diversas disciplinas, como sociología , psicología , economía , trabajo social , así como de subcampos de la ciencia política como políticas públicas y administración pública, que han estudiado una metodología similar conocida como análisis de políticas . Algunas universidades también ofrecen programas de formación específicos, especialmente a nivel de posgrado en evaluación de programas, para aquellos que estudiaron una carrera de pregrado con deficiencias en habilidades de evaluación de programas. ^{[ 7 ]}

La evaluación de un programa puede realizarse en varias etapas a lo largo de su vida útil. Cada una de estas etapas plantea diferentes preguntas que el evaluador debe responder, y, por consiguiente, se requieren diferentes enfoques de evaluación. Rossi, Lipsey y Freeman (2004) sugieren los siguientes tipos de evaluación, que pueden ser apropiados en estas diferentes etapas:

• Evaluación de la necesidad del programa
• Evaluación del diseño del programa y de la lógica/teoría
• Evaluación de cómo se está implementando el programa (es decir, ¿se está implementando según lo previsto? ¿Los procesos del programa maximizan los resultados posibles?)
• Evaluación del resultado o impacto del programa (es decir, lo que realmente ha logrado).
• Evaluación del costo y la eficiencia del programa

Una evaluación de necesidades examina la población a la que se dirige el programa para determinar si la necesidad, tal como se conceptualiza en el programa, existe realmente en dicha población; si constituye un problema; y, de ser así, cuál es la mejor manera de abordarlo. Esto incluye identificar y diagnosticar el problema real que el programa intenta resolver, quiénes o qué se ven afectados por él, su alcance y sus efectos cuantificables. Por ejemplo, en un programa de vivienda destinado a mitigar la falta de vivienda, un evaluador podría querer averiguar cuántas personas sin hogar hay en una zona geográfica determinada y cuáles son sus características demográficas. Rossi, Lipsey y Freeman (2004) advierten sobre los riesgos de emprender una intervención sin evaluar adecuadamente su necesidad, ya que esto podría resultar en un gran desperdicio de fondos si la necesidad no existía o se había concebido erróneamente.

La evaluación de necesidades comprende los procesos o métodos utilizados por los evaluadores para describir y diagnosticar las necesidades sociales ^{[ 8 ].} Esto es esencial para los evaluadores, ya que necesitan determinar si los programas son efectivos, y no pueden hacerlo a menos que hayan identificado el problema o la necesidad. Los programas que no realizan una evaluación de necesidades pueden tener la ilusión de haber erradicado el problema o la necesidad cuando, en realidad, no existía tal necesidad. La evaluación de necesidades implica investigación y consultas periódicas con las partes interesadas de la comunidad y con las personas que se beneficiarán del proyecto antes de que el programa pueda desarrollarse e implementarse. Por lo tanto, debe ser un enfoque ascendente. De esta manera, los problemas potenciales pueden detectarse tempranamente, ya que el proceso habría involucrado a la comunidad en la identificación de la necesidad, lo que permitiría identificar posibles barreras.

La tarea importante de un evaluador de programas es, por lo tanto: Primero, construir una definición precisa de cuál es el problema. ^{[ 8 ]} Los evaluadores deben primero identificar el problema/necesidad. Esto se hace de manera más efectiva mediante la participación colaborativa de todas las partes interesadas posibles, es decir, la comunidad afectada por el problema potencial, los agentes/actores que trabajan para abordar y resolver el problema, los financiadores, etc. Incluir la aceptación desde el principio del proceso reduce la posibilidad de resistencia, falta de comunicación e información incompleta más adelante.

Segundo, evaluar la magnitud del problema. ^{[ 8 ]} Habiendo identificado claramente cuál es el problema, los evaluadores deben evaluar su magnitud. Deben responder a las preguntas de "dónde" y "cuán grande es". Los evaluadores deben determinar dónde se ubica el problema y qué tan grande es. Señalar que un problema existe es mucho más fácil que tener que especificar dónde se ubica y cuán extendido está. Rossi, Lipsey y Freeman (2004) dieron un ejemplo de que: una persona que identifica a algunos niños maltratados puede ser evidencia suficiente para persuadir a alguien de que existe el abuso infantil. Pero indicar cuántos niños afecta y dónde se ubica geográfica y socialmente requeriría conocimiento sobre los niños maltratados, las características de los perpetradores y el impacto del problema en toda la autoridad política en cuestión.

Esto puede ser difícil considerando que el abuso infantil no es un comportamiento público, también teniendo en cuenta que las estimaciones de las tasas en comportamiento privado generalmente no son posibles debido a factores como los casos no denunciados. En este caso, los evaluadores tendrían que usar datos de varias fuentes y aplicar diferentes enfoques para estimar las tasas de incidencia. Hay dos preguntas más que deben responderse: ^{[ 9 ]} Los evaluadores también deben responder las preguntas de "cómo" y "qué" ^{[ 9 ]} La pregunta de "cómo" requiere que los evaluadores determinen cómo se abordará la necesidad. Habiendo identificado la necesidad y habiéndose familiarizado con la comunidad, los evaluadores deben realizar un análisis de desempeño para identificar si el plan propuesto en el programa realmente podrá eliminar la necesidad. La pregunta de "qué" requiere que los evaluadores realicen un análisis de tareas para averiguar cuál sería la mejor manera de realizarla. Por ejemplo, si los estándares de desempeño laboral están establecidos por una organización o si se deben considerar algunas reglas gubernamentales al realizar la tarea. ^{[ 9 ]}

En tercer lugar, defina e identifique el objetivo de las intervenciones y describa con precisión la naturaleza de las necesidades de servicio de esa población ^{[ 8 ].} Es importante saber qué/quién es/son la población objetivo: podrían ser individuos, grupos, comunidades, etc. Hay tres unidades de la población: población en riesgo, población necesitada y población demandada ^{[ 8 ].}

• Población en riesgo: son las personas con una probabilidad significativa de desarrollar el riesgo; por ejemplo, la población en riesgo para los programas de control de la natalidad son las mujeres en edad fértil.
• Población necesitada: son las personas que padecen la afección que el programa pretende abordar; por ejemplo, la población necesitada de un programa que tiene como objetivo proporcionar antirretrovirales a personas seropositivas son las personas que son seropositivas.
• Población demandada: aquella parte de la población necesitada que reconoce tener la necesidad y está dispuesta a participar en lo que el programa ofrece; por ejemplo, no todas las personas seropositivas estarán dispuestas a tomar antirretrovirales.

Poder especificar qué/quién es el objetivo ayudará a establecer límites apropiados, de modo que las intervenciones puedan abordar correctamente a la población objetivo y sean factibles de aplicar ^{[ 8 ].}

Hay cuatro pasos para realizar una evaluación de necesidades: ^{[ 10 ]}

1. Realizar un análisis de "brechas".

   Los evaluadores deben comparar la situación actual con la situación deseada o necesaria. La diferencia o la brecha entre ambas situaciones ayudará a identificar la necesidad, el propósito y los objetivos del programa.

2. Identificar prioridades e importancia

   En el primer paso, los evaluadores habrían identificado varias intervenciones que podrían abordar la necesidad, como la capacitación y el desarrollo, el desarrollo organizacional , etc. Ahora, es necesario examinar estas intervenciones en función de su relevancia para los objetivos y las limitaciones del programa. Para ello, se deben considerar los siguientes factores: rentabilidad (el presupuesto del programa y la relación costo-beneficio), presión de la dirección (si la alta gerencia espera una solución) y población (si hay muchas personas clave involucradas).

3. Identificar las causas de los problemas de rendimiento y/o las oportunidades.

   Una vez priorizadas las necesidades, el siguiente paso consiste en identificar las áreas problemáticas específicas que deben abordarse, así como evaluar las competencias del personal que llevará a cabo las intervenciones.

4. Identificar posibles soluciones y oportunidades de crecimiento.

   Compara las consecuencias de las intervenciones si se implementaran o no.

Por lo tanto, el análisis de necesidades es un paso crucial en la evaluación de programas, ya que la eficacia de un programa no se puede evaluar a menos que sepamos cuál era el problema en primer lugar.

La teoría del programa, también llamada modelo lógico , mapa de conocimiento ^{[ 11 ]} o ruta de impacto ^{[ 12 ]} , es una suposición, implícita en el diseño del programa, sobre cómo se supone que las acciones del programa lograrán los resultados previstos. Este "modelo lógico" a menudo no es expresado explícitamente por quienes dirigen los programas, sino que simplemente se da por sentado, por lo que un evaluador deberá indagar con el personal del programa cómo se supone exactamente que el programa logrará sus objetivos y evaluar si esta lógica es plausible. Por ejemplo, en un programa de prevención del VIH, se puede suponer que educar a las personas sobre la transmisión del VIH/SIDA, el riesgo y las prácticas sexuales seguras dará como resultado una práctica sexual más segura. Sin embargo, la investigación en Sudáfrica muestra cada vez más que, a pesar del aumento de la educación y el conocimiento, las personas aún no practican sexo seguro ^{[ 13 ]} . Por lo tanto, la lógica de un programa que se basa en la educación como medio para lograr que las personas usen condones puede ser errónea. Por ello, es importante consultar la investigación realizada en este ámbito. Explicar esta lógica también puede revelar consecuencias no deseadas o imprevistas de un programa, tanto positivas como negativas. La teoría del programa impulsa las hipótesis que se prueban para la evaluación de impacto. Desarrollar un modelo lógico también puede generar un entendimiento común entre el personal del programa y las partes interesadas sobre qué se supone que debe hacer el programa y cómo se supone que debe hacerlo, lo cual suele ser deficiente (véase Análisis de vías de impacto participativas ). Por supuesto, también es posible que durante el proceso de intentar obtener el modelo lógico de un programa, los evaluadores descubran que dicho modelo está incompletamente desarrollado, es internamente contradictorio o (en el peor de los casos) esencialmente inexistente. Esto limita decididamente la eficacia de la evaluación, aunque no necesariamente reduce o elimina el programa. ^{[ 14 ]}

Crear un modelo lógico es una excelente manera de visualizar aspectos importantes de los programas, especialmente al prepararse para una evaluación. Un evaluador debe crear un modelo lógico con la participación de diversos grupos de interés. Los modelos lógicos constan de cinco componentes principales: recursos o insumos, actividades, productos, resultados a corto plazo y resultados a largo plazo ^{[ 15 ].} Crear un modelo lógico ayuda a articular el problema, los recursos y la capacidad que se utilizan actualmente para abordarlo, y los resultados medibles del programa. Analizar los diferentes componentes de un programa en relación con los objetivos generales a corto y largo plazo permite identificar posibles desajustes. Crear un modelo lógico es particularmente importante porque ayuda a clarificar para todos los grupos de interés: la definición del problema, los objetivos generales, la capacidad y los productos del programa ^{[ 15 ] .}

Rossi, Lipsey y Freeman (2004) sugieren cuatro enfoques y procedimientos que pueden utilizarse para evaluar la teoría del programa. ^{[ 8 ]} Estos enfoques se analizan a continuación.

• Evaluación en relación con las necesidades sociales ^{[ 8 ]}

Esto implica evaluar la teoría del programa relacionándola con las necesidades de la población objetivo a la que está destinado. Si la teoría del programa no satisface las necesidades de la población objetivo, resultará ineficaz incluso si se implementa correctamente. ^{[ 8 ]}

• Evaluación de la lógica y la plausibilidad ^{[ 8 ]}

Esta forma de evaluación implica solicitar a un panel de revisores expertos que analicen críticamente la lógica y la plausibilidad de los supuestos y expectativas inherentes al diseño del programa. ^{[ 8 ]} El proceso de revisión es no estructurado y abierto para abordar ciertos aspectos del diseño del programa. Rutman (1980), Smith (1989) y Wholly (1994) sugirieron las preguntas que se enumeran a continuación para facilitar el proceso de revisión. ^{[ 8 ]}

¿Están bien definidos los objetivos y metas del programa?

¿Son factibles los objetivos y metas del programa?

¿Es factible el proceso de cambio que se presupone en la teoría del programa?

¿Están bien definidos y son suficientes los procedimientos para identificar a los miembros de la población objetivo, prestarles el servicio y mantenerlo hasta su finalización?

¿Están bien definidos y son suficientes los componentes, actividades y funciones del programa?

¿Son adecuados los recursos asignados al programa y a sus diversas actividades?

• Evaluación mediante comparación con la investigación y la práctica ^{[ 8 ]}

Esta forma de evaluación requiere obtener información de la literatura de investigación y las prácticas existentes para evaluar diversos componentes de la teoría del programa. El evaluador puede determinar si la teoría del programa es congruente con la evidencia de la investigación y las experiencias prácticas de programas con conceptos similares. ^{[ 8 ]}

• Evaluación mediante observación preliminar ^{[ 8 ]}

Este enfoque implica incorporar observaciones de primera mano al proceso de evaluación, ya que proporciona una verificación de la concordancia entre la teoría del programa y el programa en sí. ^{[ 8 ]} Las observaciones pueden centrarse en la viabilidad de los resultados, las circunstancias de la población objetivo y la plausibilidad de las actividades del programa y los recursos de apoyo. ^{[ 8 ]}

Estas diferentes formas de evaluación de la teoría del programa pueden llevarse a cabo para garantizar que dicha teoría sea sólida.

Wright y Wallis (2019) describieron una técnica adicional para evaluar una teoría de programa basada en su estructura . Este enfoque, conocido como análisis proposicional integrador (IPA), se basa en líneas de investigación que indican que las teorías tienen más probabilidades de funcionar como se espera cuando tienen una mejor estructura (además de significado y datos). El IPA implica, primero, identificar las proposiciones (enunciados de causa y efecto) y crear un diagrama visual de dichas proposiciones. Luego, el investigador examina la cantidad de conceptos y las relaciones causales entre ellos (círculos y flechas en el diagrama) para medir la amplitud y profundidad de la comprensión reflejada en la estructura de la teoría. La medida de amplitud es la cantidad de conceptos. Esto se basa en la idea de que los programas del mundo real involucran muchas partes interconectadas; por lo tanto, una teoría que muestra una mayor cantidad de conceptos muestra una mayor amplitud de comprensión del programa. La profundidad es el porcentaje de conceptos que son el resultado de más de un concepto. Esto se basa en la idea de que, en los programas del mundo real, las cosas tienen más de una causa. Por lo tanto, un concepto que es el resultado de más de un concepto en la teoría demuestra una mejor comprensión de ese concepto; una teoría con un mayor porcentaje de conceptos mejor comprendidos muestra una mayor profundidad de comprensión del programa.

El análisis de procesos va más allá de la teoría de lo que se supone que debe hacer el programa y, en cambio, evalúa cómo se está implementando. Esta evaluación determina si los componentes identificados como críticos para el éxito del programa se están implementando. La evaluación determina si se está llegando a las poblaciones objetivo, si las personas están recibiendo los servicios previstos y si el personal está adecuadamente calificado. La evaluación de procesos es un proceso continuo en el que se pueden utilizar mediciones repetidas para evaluar si el programa se está implementando de manera efectiva. Este problema es particularmente crítico porque muchas innovaciones, particularmente en áreas como la educación y las políticas públicas, consisten en cadenas de acciones bastante complejas. Por ejemplo, la evaluación de procesos se puede utilizar en la investigación en salud pública. ^{[ 16 ]} Muchos de estos elementos dependen de la implementación correcta previa de otros elementos y fracasarán si la implementación previa no se realizó correctamente. Esto fue demostrado de manera concluyente por Gene V. Glass y muchos otros durante la década de 1980. Dado que una implementación incorrecta o ineficaz producirá el mismo tipo de resultados neutrales o negativos que produciría una implementación correcta de una innovación deficiente, es esencial que la investigación de evaluación analice el proceso de implementación en sí. ^{[ 17 ]} De lo contrario, una buena idea innovadora puede ser caracterizada erróneamente como ineficaz, cuando en realidad simplemente nunca se implementó como se diseñó.

La evaluación de impacto determina los efectos causales del programa. Esto implica intentar medir si el programa ha logrado los resultados previstos, es decir, los resultados del programa.

Un resultado es el estado de la población objetivo o las condiciones sociales que se espera que un programa haya modificado. ^{[ 8 ]} Los resultados del programa son las características observadas de la población objetivo o las condiciones sociales, no del programa en sí. Por lo tanto, el concepto de resultado no implica necesariamente que los objetivos del programa hayan cambiado realmente o que el programa haya provocado algún cambio en ellos. ^{[ 8 ]}

Hay dos tipos de resultados, a saber, el nivel del resultado y el cambio del resultado, también asociados con el efecto del programa. ^{[ 8 ]}

• El nivel de resultado se refiere al estado de un resultado en un momento dado.
• El cambio en el resultado se refiere a la diferencia entre los niveles de resultado en diferentes momentos.
• El efecto del programa se refiere a la parte de un cambio en el resultado que puede atribuirse exclusivamente a un programa, en contraposición a la influencia de algún otro factor.

La medición de resultados consiste en representar las circunstancias definidas como resultado mediante indicadores observables que varían sistemáticamente con los cambios o diferencias en dichas circunstancias. ^{[ 8 ]} La medición de resultados es una forma sistemática de evaluar el grado en que un programa ha logrado sus resultados previstos. ^{[ 18 ]} Según Mouton (2009), medir el impacto de un programa significa demostrar o estimar el efecto próximo y emergente acumulado y diferenciado, algunos de los cuales podrían ser no intencionados y, por lo tanto, imprevistos. ^{[ 19 ]}

La medición de resultados ayuda a comprender si el programa es efectivo o no. Además, contribuye a una mejor comprensión del programa. Sin embargo, la razón más importante para realizar este esfuerzo es comprender el impacto del trabajo en las personas atendidas. ^{[ 19 ]} Con la información recopilada, se puede determinar qué actividades continuar y desarrollar, y cuáles deben modificarse para mejorar la efectividad del programa.

Esto puede implicar el uso de técnicas estadísticas sofisticadas para medir el efecto del programa y encontrar la relación causal entre el programa y los diversos resultados.

Finalmente, el análisis costo-beneficio o costo-eficiencia evalúa la eficiencia de un programa. Los evaluadores describen los beneficios y costos del programa para su comparación. Un programa eficiente tiene una menor relación costo-beneficio. Existen dos tipos de eficiencia: estática y dinámica. Mientras que la eficiencia estática se refiere a lograr los objetivos con los menores costos, la eficiencia dinámica se refiere a la mejora continua. ^{[ 20 ]}

Quizás la parte más difícil de la evaluación sea determinar si el programa en sí mismo es la causa de los cambios observados en la población a la que iba dirigido. Eventos o procesos ajenos al programa podrían ser la verdadera causa del resultado observado (o la verdadera prevención del resultado previsto).

Es difícil determinar la causalidad. Una de las principales razones es el sesgo de autoselección . ^{[ 21 ]} Las personas eligen participar en un programa. Por ejemplo, en un programa de capacitación laboral, algunas personas deciden participar y otras no. Quienes participan pueden diferir de quienes no lo hacen en aspectos importantes. Pueden estar más decididos a encontrar trabajo o contar con mejores recursos de apoyo. Estas características podrían ser la causa del aumento del empleo observado, y no el programa de capacitación laboral en sí.

Las evaluaciones realizadas mediante asignación aleatoria permiten inferencias más sólidas sobre la causalidad. Asignar aleatoriamente a las personas a participar o no en el programa reduce o elimina el sesgo de autoselección . Por lo tanto, es probable que el grupo de participantes sea más comparable al grupo que no participó.

Sin embargo, dado que la mayoría de los programas no pueden utilizar la asignación aleatoria, no se puede determinar la causalidad. El análisis de impacto aún puede proporcionar información útil. Por ejemplo, se pueden describir los resultados del programa. Así, la evaluación puede indicar que las personas que participaron en el programa tuvieron mayor probabilidad de experimentar un resultado determinado que las que no participaron.

Si el programa es bastante extenso y hay suficientes datos, se puede utilizar el análisis estadístico para argumentar razonablemente a favor del programa, demostrando, por ejemplo, que es improbable que existan otras causas.

Es importante asegurar que los instrumentos (por ejemplo, pruebas, cuestionarios, etc.) utilizados en la evaluación de programas sean lo más fiables, válidos y sensibles posible. Según Rossi et al. (2004, p. 222), ^{[ 8 ]} «una medida mal elegida o mal concebida puede socavar por completo el valor de una evaluación de impacto al producir estimaciones engañosas. Solo si las medidas de resultados son válidas, fiables y adecuadamente sensibles, las evaluaciones de impacto pueden considerarse creíbles».

La fiabilidad de un instrumento de medición es el «grado en que la medida produce los mismos resultados cuando se utiliza repetidamente para medir lo mismo» (Rossi et al., 2004, p. 218). ^{[ 8 ]} Cuanto más fiable sea una medida, mayor será su potencia estadística y más creíbles sus resultados. Si un instrumento de medición no es fiable, puede diluir y ocultar los efectos reales de un programa, y ​​este «parecerá menos eficaz de lo que realmente es» (Rossi et al., 2004, p. 219). ^{[ 8 ]} Por lo tanto, es importante asegurar que la evaluación sea lo más fiable posible.

La validez de un instrumento de medición es "el grado en que mide lo que pretende medir" (Rossi et al., 2004, p. 219). ^{[ 8 ]} Este concepto puede ser difícil de medir con precisión: en el uso general en evaluaciones, un instrumento puede considerarse válido si es aceptado como válido por las partes interesadas (las partes interesadas pueden incluir, por ejemplo, financiadores, administradores de programas, etcétera).

El propósito principal del proceso de evaluación es medir si el programa tiene un efecto en el problema social que busca solucionar; por lo tanto, el instrumento de medición debe ser lo suficientemente sensible para discernir estos cambios potenciales (Rossi et al., 2004). ^{[ 8 ]} Un instrumento de medición puede ser insensible si contiene ítems que miden resultados que el programa no podría afectar, o si el instrumento fue desarrollado originalmente para aplicaciones a individuos (por ejemplo, medidas psicológicas estandarizadas) en lugar de a un entorno grupal (Rossi et al., 2004). ^{[ 8 ]} Estos factores pueden generar "ruido" que puede ocultar cualquier efecto que el programa haya podido tener.

Solo las medidas que cumplen adecuadamente con los estándares de fiabilidad, validez y sensibilidad pueden considerarse evaluaciones creíbles. Es deber de los evaluadores elaborar evaluaciones creíbles, ya que sus conclusiones pueden tener repercusiones de gran alcance. Una evaluación poco fiable, incapaz de demostrar que un programa está cumpliendo su propósito cuando, de hecho, está generando un cambio positivo, puede provocar que el programa pierda su financiación inmerecidamente.

El Centro para el Control y la Prevención de Enfermedades (CDC) describe seis pasos para una evaluación completa de un programa. Estos pasos son: involucrar a las partes interesadas, describir el programa, enfocar el diseño de la evaluación, recopilar evidencia creíble, justificar las conclusiones y asegurar el uso y la difusión de las lecciones aprendidas. ^{[ 22 ]} Estos pasos pueden desarrollarse en un marco cíclico para representar el proceso continuo de evaluación.

Aunque los procesos de evaluación de programas mencionados aquí son apropiados para la mayoría de los programas, las iniciativas no lineales altamente complejas, como las que utilizan el modelo de impacto colectivo (IC), requieren un enfoque dinámico de evaluación. El impacto colectivo es "el compromiso de un grupo de actores importantes de diferentes sectores con una agenda común para resolver un problema social específico" ^{[ 23 ]} y generalmente implica tres etapas, cada una con un enfoque de evaluación recomendado diferente:

• Fase inicial: Los participantes de CI están explorando posibles estrategias y desarrollando planes de acción. Se caracteriza por la incertidumbre.

Enfoque de evaluación recomendado: Evaluación del desarrollo para ayudar a los socios de CI a comprender el contexto de la iniciativa y su desarrollo: ^{[ 24 ]} "La evaluación del desarrollo implica retroalimentación en tiempo real sobre lo que está surgiendo en sistemas dinámicos complejos a medida que los innovadores buscan generar un cambio en los sistemas." ^{[ 25 ]}

• Fase intermedia: Los socios de CI implementan las estrategias acordadas. Algunos resultados se vuelven más fáciles de prever.

Enfoque de evaluación recomendado: Evaluación formativa para refinar y mejorar el progreso, así como evaluación continua del desarrollo para explorar nuevos elementos a medida que surgen. La evaluación formativa implica "un seguimiento cuidadoso de los procesos para responder a las propiedades emergentes y a cualquier resultado inesperado". ^{[ 26 ]}

• Fase posterior: Las actividades alcanzan la estabilidad y dejan de estar en fase de formación. La experiencia aporta conocimientos sobre qué actividades pueden ser eficaces.

Enfoque de evaluación recomendado: La evaluación sumativa "utiliza métodos tanto cuantitativos como cualitativos para comprender mejor lo que [el] proyecto ha logrado y cómo o por qué ha ocurrido". ^{[ 27 ]}

La planificación de una evaluación de programa se puede dividir en cuatro partes: enfocar la evaluación, recopilar la información, utilizar la información y gestionar la evaluación. ^{[ 28 ]} La evaluación de un programa implica reflexionar sobre cuestiones relativas al propósito de la evaluación, qué preguntas son necesarias formular y qué se hará con la información recopilada. Las preguntas críticas a considerar incluyen:

• ¿Qué voy a evaluar?
• ¿Cuál es el propósito de esta evaluación?
• ¿Quién utilizará esta evaluación? ¿Cómo la utilizarán?
• ¿Qué preguntas pretende responder esta evaluación?
• ¿Qué información necesito para responder a las preguntas?
• ¿Cuándo es necesaria la evaluación? ¿Qué recursos necesito?
• ¿Cómo recopilaré los datos que necesito?
• ¿Cómo se analizarán los datos?
• ¿Cuál es mi cronograma de implementación?

El enfoque de evaluación con recursos limitados está diseñado para ayudar a los evaluadores que operan con presupuestos, acceso o disponibilidad de datos limitados y tiempos de respuesta reducidos, a realizar evaluaciones efectivas que sean metodológicamente rigurosas (Bamberger, Rugh, Church y Fort, 2004). ^{[ 29 ]} Este enfoque ha respondido a la creciente necesidad de procesos de evaluación más rápidos y económicos en circunstancias difíciles de presupuesto, limitaciones de tiempo y disponibilidad limitada de datos. Sin embargo, no siempre es posible diseñar una evaluación para alcanzar los estándares más altos disponibles. Muchos programas no incorporan un procedimiento de evaluación en su diseño o presupuesto. Por lo tanto, muchos procesos de evaluación no comienzan hasta que el programa ya está en marcha, lo que puede resultar en limitaciones de tiempo, presupuesto o datos para los evaluadores, lo que a su vez puede afectar la confiabilidad, validez o sensibilidad de la evaluación. > El enfoque con recursos limitados ayuda a garantizar que se logre el máximo rigor metodológico posible bajo estas limitaciones.

Con frecuencia, los programas se enfrentan a limitaciones presupuestarias porque la mayoría de los proyectos originales no incluyen un presupuesto para realizar una evaluación (Bamberger et al., 2004). Por lo tanto, esto automáticamente resulta en que se asignen presupuestos más pequeños a las evaluaciones, insuficientes para una evaluación rigurosa. Debido a las limitaciones presupuestarias, puede ser difícil aplicar eficazmente los instrumentos metodológicos más apropiados. Estas limitaciones pueden afectar, en consecuencia, el tiempo disponible para realizar la evaluación (Bamberger et al., 2004). ^{[ 29 ]} Las limitaciones presupuestarias pueden abordarse simplificando el diseño de la evaluación, revisando el tamaño de la muestra, explorando métodos económicos de recopilación de datos (como el uso de voluntarios para recopilar datos, la reducción de encuestas o el uso de grupos focales e informantes clave) o buscando datos secundarios confiables (Bamberger et al., 2004). ^{[ 29 ]}

La principal limitación de tiempo que puede enfrentar un evaluador se presenta cuando se le solicita realizar una evaluación mientras el proyecto ya está en marcha, si se le asigna un tiempo limitado para llevarla a cabo en comparación con la duración del estudio, o si no dispone de tiempo suficiente para una planificación adecuada. Las limitaciones de tiempo son particularmente problemáticas cuando el evaluador desconoce la zona o el país donde se ubica el programa (Bamberger et al., 2004). ^{[ 29 ]} Estas limitaciones pueden abordarse mediante los métodos mencionados anteriormente en el apartado de limitaciones presupuestarias, así como mediante una planificación cuidadosa que garantice la recopilación y el análisis efectivos de datos dentro del tiempo disponible.

Si la evaluación se inicia tarde en el programa, es posible que no haya datos de referencia sobre las condiciones del grupo objetivo antes de que comenzara la intervención (Bamberger et al., 2004). ^{[ 29 ]} Otra posible causa de limitaciones de datos es si los datos han sido recopilados por el personal del programa y contienen sesgos de informes sistemáticos o estándares deficientes de mantenimiento de registros y, por consiguiente, son de poca utilidad (Bamberger et al., 2004). ^{[ 29 ]} Otra fuente de limitaciones de datos puede resultar si el grupo objetivo es difícil de alcanzar para recopilar datos de él, por ejemplo, personas sin hogar, drogadictos, trabajadores migrantes, etcétera (Bamberger et al., 2004). ^{[ 29 ]} Las limitaciones de datos pueden abordarse reconstruyendo datos de referencia a partir de datos secundarios o mediante el uso de múltiples métodos. Los métodos múltiples, como la combinación de datos cualitativos y cuantitativos, pueden aumentar la validez a través de la triangulación y ahorrar tiempo y dinero. Además, estas limitaciones pueden abordarse mediante una planificación cuidadosa y la consulta con las partes interesadas del programa. Al identificar y comprender claramente las necesidades del cliente antes de la evaluación, se pueden optimizar y reducir los costos y el tiempo del proceso evaluativo, manteniendo al mismo tiempo la credibilidad.

En definitiva, las limitaciones de tiempo, dinero y datos pueden tener consecuencias negativas para la validez, la fiabilidad y la transferibilidad de la evaluación. El enfoque de presupuesto ajustado se creó para ayudar a los evaluadores a corregir las limitaciones mencionadas anteriormente, identificando maneras de reducir costes y tiempo, reconstruir los datos de referencia y garantizar la máxima calidad dentro de las limitaciones existentes (Bamberger et al., 2004).

El enfoque de evaluación de cinco niveles desarrolla aún más las estrategias en las que se basa el enfoque de evaluación de bajo presupuesto. ^{[ 30 ]} Fue desarrollado originalmente por Jacobs (1988) como una forma alternativa de evaluar programas comunitarios y como tal se aplicó a un programa estatal para niños y familias en Massachusetts, EE. UU. ^{[ 31 ]} El enfoque de cinco niveles se ofrece como un marco conceptual para ajustar las evaluaciones con mayor precisión a las características de los propios programas y a los recursos y limitaciones particulares inherentes a cada contexto de evaluación. ^{[ 30 ]} En otras palabras, el enfoque de cinco niveles busca adaptar la evaluación a las necesidades específicas de cada contexto de evaluación.

Los niveles iniciales (1-3) generan información descriptiva y orientada al proceso, mientras que los niveles posteriores (4-5) determinan los efectos a corto y largo plazo del programa. ^{[ 32 ]} Los cinco niveles se organizan de la siguiente manera:

• Nivel 1: evaluación de necesidades (a veces denominada preimplementación) ^{[ 33 ]}
• Nivel 2: seguimiento y rendición de cuentas
• Nivel 3: revisión de calidad y aclaración del programa (a veces denominado comprensión y perfeccionamiento) ^{[ 34 ]}
• Nivel 4: logro de resultados
• Nivel 5: establecer el impacto

Para cada nivel, se identifican los propósitos, junto con las tareas correspondientes que permiten alcanzar el propósito identificado para ese nivel. ^{[ 34 ]} Por ejemplo, el propósito del primer nivel, Evaluación de necesidades, sería documentar la necesidad de un programa en una comunidad. La tarea para ese nivel sería evaluar las necesidades y los recursos de la comunidad trabajando con todas las partes interesadas relevantes. ^{[ 34 ]}

Si bien los niveles están estructurados para su uso consecutivo, lo que significa que la información recopilada en los niveles anteriores es necesaria para las tareas en los niveles superiores, se reconoce la naturaleza fluida de la evaluación. ^{[ 32 ]} Por lo tanto, es posible pasar de niveles posteriores a los anteriores, o incluso trabajar en dos niveles al mismo tiempo. ^{[ 34 ]} Sin embargo, es importante que los evaluadores de programas tengan en cuenta que un programa debe evaluarse en el nivel apropiado. ^{[ 33 ]}

Se dice que el enfoque de cinco niveles es útil para los programas de apoyo familiar que enfatizan el empoderamiento de la comunidad y de los participantes. Esto se debe a que fomenta un enfoque participativo que involucra a todas las partes interesadas, y es a través de este proceso de reflexión que se logra el empoderamiento. ^{[ 31 ]}

El propósito de esta sección es llamar la atención sobre algunos de los desafíos y dilemas metodológicos que los evaluadores pueden enfrentar al realizar una evaluación de programas en un país en desarrollo . En muchos países en desarrollo, los principales patrocinadores de la evaluación son agencias donantes del mundo desarrollado, y estas agencias requieren informes de evaluación periódicos para mantener la rendición de cuentas y el control de los recursos, así como para generar evidencia del éxito o fracaso del programa. ^{[ 35 ]} Sin embargo, existen muchos obstáculos y desafíos que los evaluadores enfrentan al intentar implementar un programa de evaluación que busca utilizar técnicas y sistemas que no se desarrollaron dentro del contexto en el que se aplican. ^{[ 36 ]} Algunos de los problemas incluyen diferencias en la cultura, las actitudes, el idioma y el proceso político. ^{[ 36 ] [ 37 ]}

Ebbutt (1998, p. 416) define la cultura como una "constelación de expectativas, valores, normas, reglas, leyes, artefactos, rituales y comportamientos, tanto escritos como no escritos, que impregnan una sociedad e influyen en cómo se comportan socialmente las personas". ^{[ 37 ]} La cultura puede influir en muchas facetas del proceso de evaluación, incluyendo la recopilación de datos, la implementación del programa de evaluación y el análisis y la comprensión de los resultados de la evaluación. ^{[ 37 ]} En particular, los instrumentos que se utilizan tradicionalmente para recopilar datos, como los cuestionarios y las entrevistas semiestructuradas, deben ser sensibles a las diferencias culturales, si fueron desarrollados originalmente en un contexto cultural diferente. ^{[ 38 ]} La comprensión y el significado de los constructos que el evaluador intenta medir pueden no ser compartidos entre el evaluador y la población de la muestra, por lo que la transferencia de conceptos es una noción importante, ya que esto influirá en la calidad de la recopilación de datos realizada por los evaluadores, así como en el análisis y los resultados generados por los datos. ^{[ 38 ]}

El lenguaje también juega un papel importante en el proceso de evaluación, ya que está estrechamente ligado a la cultura. ^{[ 38 ]} El lenguaje puede ser una barrera importante para comunicar conceptos a los que el evaluador intenta acceder, y a menudo se requiere traducción. ^{[ 37 ]} Hay multitud de problemas con la traducción, incluyendo la pérdida de significado, así como la exageración o mejora del significado por parte de los traductores. ^{[ 37 ]} Por ejemplo, los términos que son específicos de un contexto pueden no traducirse a otro idioma con el mismo peso o significado. En particular, los instrumentos de recolección de datos deben tener en cuenta el significado, ya que el tema puede no ser considerado sensible en un contexto particular podría resultar sensible en el contexto en el que se lleva a cabo la evaluación. ^{[ 38 ]} Por lo tanto, los evaluadores deben tener en cuenta dos conceptos importantes al administrar herramientas de recolección de datos: equivalencia léxica y equivalencia conceptual. ^{[ 38 ]} La equivalencia léxica plantea la pregunta: ¿cómo se formula una pregunta en dos idiomas usando las mismas palabras? Esta es una tarea difícil de lograr, y el uso de técnicas como la retrotraducción puede ayudar al evaluador, pero puede no resultar en una transferencia perfecta del significado. ^{[ 38 ]} Esto nos lleva al siguiente punto: la equivalencia conceptual. No es común que los conceptos se transfieran de manera inequívoca de una cultura a otra. ^{[ 38 ]} Por lo tanto, los instrumentos de recolección de datos que no han sido sometidos a pruebas y ensayos piloto adecuados pueden generar resultados que no son útiles, ya que los conceptos que mide el instrumento pueden haber adquirido un significado diferente, lo que lo vuelve poco confiable e inválido. ^{[ 38 ]}

Por lo tanto, se puede observar que los evaluadores deben tener en cuenta los desafíos metodológicos que plantean las diferencias culturales y lingüísticas al intentar llevar a cabo una evaluación de un programa en un país en desarrollo.

Existen tres usos convencionales de los resultados de la evaluación: utilización persuasiva , utilización directa (instrumental) y utilización conceptual .

La utilización persuasiva consiste en emplear los resultados de una evaluación para persuadir a una audiencia a apoyar o rechazar una agenda. A menos que quien intenta persuadir sea la misma persona que realizó la evaluación, esta forma de utilización no suele ser de interés para los evaluadores, ya que a menudo no pueden prever posibles intentos de persuasión futuros. ^{[ 8 ]}

Los evaluadores suelen adaptar sus evaluaciones para obtener resultados que influyan directamente en la mejora de la estructura o el proceso de un programa. Por ejemplo, la evaluación de una nueva intervención educativa puede arrojar resultados que indiquen que no hay mejora en las calificaciones de los estudiantes. Esto puede deberse a que la intervención carece de una base teórica sólida o a que no se lleva a cabo según lo previsto. Se espera que los resultados de la evaluación impulsen a los creadores de la intervención a replantearla y rehacer su estructura central, o incluso a modificar los procesos de implementación. ^{[ 8 ]}

Pero incluso si los resultados de la evaluación no influyen directamente en la reestructuración de un programa, pueden utilizarse para concienciar sobre los problemas que este intenta abordar. Volviendo al ejemplo de la evaluación de una nueva intervención educativa, los resultados también pueden servir para informar a educadores y estudiantes sobre las diferentes barreras que pueden influir en las dificultades de aprendizaje de los alumnos. Esta nueva información puede dar lugar a diversos estudios sobre dichas barreras. ^{[ 8 ]}

Hay cinco condiciones que parecen afectar la utilidad de los resultados de la evaluación, a saber: relevancia , comunicación entre los evaluadores y los usuarios de los resultados , procesamiento de la información por parte de los usuarios , plausibilidad de los resultados , así como el nivel de participación o defensa de los usuarios . ^{[ 8 ]}

Citado directamente de Rossi et al. (2004, p. 416): ^{[ 8 ]}

• Los evaluadores deben comprender los estilos cognitivos de quienes toman las decisiones.
• Los resultados de la evaluación deben ser oportunos y estar disponibles cuando se necesiten.
• Las evaluaciones deben respetar los compromisos programáticos de las partes interesadas.
• Los planes de utilización y difusión deben formar parte del diseño de la evaluación.
• Las evaluaciones deben incluir una valoración de la utilización.

Más allá de ayudar a facilitar el uso previsto por los usuarios previstos de cualquier evaluación, los evaluadores pueden empoderarse para considerar el valor que su trabajo podría tener para la sociedad en general, así como para la comunidad de evaluación, y crear conocimiento a partir de la evaluación para compartir y utilizar en el campo de la evaluación en general ^{[ 39 ]} .

La elección del evaluador seleccionado para evaluar el programa puede considerarse tan importante como el proceso de evaluación en sí. Los evaluadores pueden ser internos (personas vinculadas al programa que se va a ejecutar) o externos (personas ajenas a la ejecución o implementación del programa). (División de Servicios de Supervisión, 2004). A continuación, se presenta un breve resumen de las ventajas y desventajas de los evaluadores internos y externos, adaptado de la División de Servicios de Supervisión (2004). Para obtener una lista más completa de las ventajas y desventajas de los evaluadores internos y externos, consulte (División de Servicios de Supervisión, 2004).

Ventajas

• Puede tener un mejor conocimiento general del programa y poseer un conocimiento informal del mismo.
• Resulta menos amenazante ya que el personal está familiarizado con él.
• Menos costoso

Desventajas

• Puede ser menos objetivo
• Puede que esté más preocupado por otras actividades del programa y no preste la atención completa a la evaluación.
• Puede que no esté adecuadamente capacitado como evaluador.

Ventajas

• Más objetivo del proceso, ofrece nuevas perspectivas, diferentes ángulos para observar y criticar el proceso.
• Es posible que pueda dedicar más tiempo y atención a la evaluación.
• Puede tener mayor experiencia y capacidad de evaluación.

Desventajas

• Puede resultar más costoso y requerir más tiempo para el contrato, el seguimiento, las negociaciones, etc.
• Puede que no esté familiarizado con el personal del programa y le genere ansiedad por ser evaluado.
• Es posible que no esté familiarizado con las políticas de la organización o con ciertas limitaciones que afectan al programa.

Potter (2006) ^{[ 40 ]} identifica y describe tres paradigmas amplios dentro de la evaluación de programas. El primero, y probablemente el más común, es el enfoque positivista , en el que la evaluación solo puede ocurrir donde hay aspectos "objetivos", observables y medibles de un programa, lo que requiere evidencia predominantemente cuantitativa. El enfoque positivista incluye dimensiones de evaluación tales como evaluación de necesidades, evaluación de la teoría del programa, evaluación del proceso del programa, evaluación de impacto y evaluación de eficiencia (Rossi, Lipsey y Freeman, 2004). ^{[ 41 ]} Un ejemplo detallado del enfoque positivista es un estudio realizado por el Instituto de Políticas Públicas de California, informe titulado "Evaluación de programas académicos en los colegios comunitarios de California", en el que los evaluadores examinan actividades medibles (es decir, datos de matrícula) y realizan evaluaciones cuantitativas como el análisis factorial . ^{[ 42 ]}

El segundo paradigma identificado por Potter (2006) es el de los enfoques interpretativos, donde se argumenta que es esencial que el evaluador comprenda la perspectiva, las experiencias y las expectativas de todas las partes interesadas. Esto conduciría a una mejor comprensión de los diversos significados y necesidades de las partes interesadas, lo cual es crucial antes de poder emitir juicios sobre el mérito o el valor de un programa. El contacto del evaluador con el programa suele ser prolongado y, aunque no existe un método estandarizado, se utilizan comúnmente la observación, las entrevistas y los grupos focales. Un informe encargado por el Banco Mundial detalla ocho enfoques en los que se pueden integrar métodos cualitativos y cuantitativos y que quizás generen perspectivas que no se podrían obtener con un solo método. ^{[ 43 ]}

Potter (2006) también identifica enfoques crítico-emancipadores para la evaluación de programas, basados ​​principalmente en la investigación-acción con fines de transformación social. Este enfoque es mucho más ideológico y suele implicar un mayor grado de activismo social por parte del evaluador. Sería apropiado para evaluaciones cualitativas y participativas. Debido a su enfoque crítico en las estructuras de poder social y su énfasis en la participación y el empoderamiento, Potter sostiene que este tipo de evaluación puede ser particularmente útil en países en desarrollo.

A pesar del paradigma que se utilice en cualquier evaluación de programas, ya sea positivista, interpretativo o crítico-emancipador, es esencial reconocer que la evaluación se lleva a cabo en contextos sociopolíticos específicos. La evaluación no existe en el vacío y todas las evaluaciones, sean conscientes de ello o no, están influenciadas por factores sociopolíticos. Es importante reconocer que las evaluaciones y los hallazgos que resultan de este tipo de proceso de evaluación pueden usarse a favor o en contra de agendas ideológicas, sociales y políticas particulares (Weiss, 1999). ^{[ 44 ]} Esto es especialmente cierto en una época en la que los recursos son limitados y existe competencia entre organizaciones para que ciertos proyectos sean priorizados sobre otros (Louw, 1999). ^{[ 45 ]}

La evaluación de empoderamiento utiliza conceptos, técnicas y hallazgos de evaluación para fomentar la mejora y la autodeterminación de un programa específico dirigido a una población objetivo/participantes del programa. ^{[ 46 ]} La evaluación de empoderamiento está orientada a los valores para lograr que los participantes del programa se involucren en la generación de cambios en los programas a los que están dirigidos. Uno de los principales enfoques de la evaluación de empoderamiento es incorporar a los participantes del programa en la realización del proceso de evaluación. Este proceso suele ir seguido de algún tipo de reflexión crítica sobre el programa. En tales casos, un evaluador externo actúa como consultor/entrenador/facilitador para los participantes del programa y busca comprender el programa desde su perspectiva. Una vez que se ha obtenido una comprensión clara de la perspectiva de los participantes, se pueden diseñar e implementar los pasos y estrategias apropiados (con la valiosa aportación de los participantes) para alcanzar los resultados deseados.

Según Fetterman (2002) ^{[ 46 ]} la evaluación del empoderamiento tiene tres pasos;

• Establecer una misión
• Haciendo balance
• Planificando el futuro

El primer paso consiste en que los evaluadores pidan a los participantes y al personal del programa que definan su misión. Los evaluadores pueden optar por reunir a estas partes y pedirles que generen y debatan la misión del programa. El objetivo de este enfoque es mostrar a cada parte que pueden existir diferentes puntos de vista sobre cuál es realmente la misión del programa.

La segunda etapa, que consiste en realizar un balance, comprende dos tareas importantes. La primera implica que los participantes y el personal del programa elaboren una lista de las actividades clave actuales, fundamentales para el funcionamiento del programa. La segunda consiste en evaluar dichas actividades, lo que se conoce como priorización . Por ejemplo, se puede pedir a cada participante que califique cada actividad clave en una escala del 1 al 10, donde 10 representa la mayor importancia y 1 la menor. El rol del evaluador durante esta tarea es facilitar la interacción entre los participantes para establecer un entendimiento común sobre las actividades clave. Además, se puede incorporar documentación relevante (como informes financieros e información curricular) al analizar algunas de las actividades clave.

Tras priorizar las actividades clave, el siguiente paso es planificar el futuro. En esta etapa, el evaluador pregunta a los participantes y al personal del programa cómo les gustaría mejorarlo en relación con las actividades clave enumeradas. El objetivo es crear un hilo conductor de coherencia, donde la misión definida (paso 1) guíe el balance (paso 2), que constituye la base de los planes para el futuro (paso 3). De esta manera, al planificar el futuro, los objetivos específicos se alinean con las actividades clave pertinentes. Además, es importante que los participantes y el personal del programa identifiquen posibles formas de evidencia (indicadores medibles) que puedan utilizarse para monitorear el progreso hacia los objetivos específicos. Los objetivos deben estar relacionados con las actividades, los talentos, los recursos y el alcance de las capacidades del programa; en resumen, los objetivos formulados deben ser realistas.

Estos tres pasos de la evaluación del empoderamiento generan el potencial para que un programa funcione de manera más eficaz y se ajuste mejor a las necesidades de la población objetivo. La evaluación del empoderamiento, como proceso facilitado por un evaluador capacitado, capacita y empodera a los participantes al brindarles una nueva forma de pensar críticamente y reflexionar sobre los programas. Además, empodera a los participantes y al personal del programa para que reconozcan su propia capacidad de generar cambios en el programa mediante la acción colectiva. ^{[ 47 ]}

El paradigma transformador es fundamental para incorporar la justicia social en la evaluación. Donna Mertens, investigadora principal en este campo, afirma que el paradigma transformador «se centra principalmente en los puntos de vista de los grupos marginados y en el análisis de las estructuras de poder sistémicas mediante métodos mixtos para promover la justicia social y los derechos humanos». ^{[ 48 ]} El paradigma transformador surgió cuando los grupos marginados, históricamente excluidos de la evaluación, comenzaron a colaborar con académicos para abogar por la justicia social y los derechos humanos en este ámbito. El paradigma transformador introduce diversos paradigmas y perspectivas en el proceso de evaluación, lo que lo lleva a cuestionarlo continuamente.

Tanto la Asociación Americana de Evaluación como la Asociación Nacional de Trabajadores Sociales destacan el deber ético de poseer competencia cultural al realizar evaluaciones. La competencia cultural en la evaluación puede definirse ampliamente como una indagación sistémica y receptiva que reconoce, comprende y valora activamente el contexto cultural en el que se lleva a cabo la evaluación; que enmarca y articula la epistemología del esfuerzo de evaluación; que emplea una metodología cultural y contextualmente apropiada; y que utiliza medios interpretativos generados por las partes interesadas para llegar a los resultados y el uso posterior de los hallazgos. ^{[ 49 ]} Muchos líderes en salud y evaluación se cuidan de señalar que la competencia cultural no puede determinarse mediante una simple lista de verificación, sino que es un atributo que se desarrolla con el tiempo. La raíz de la competencia cultural en la evaluación es un respeto genuino por las comunidades estudiadas y la apertura a buscar una comprensión profunda de los diferentes contextos culturales, prácticas y paradigmas de pensamiento. Esto incluye ser creativo y flexible para capturar diferentes contextos culturales y una mayor conciencia de las diferencias de poder que existen en un contexto de evaluación. Entre las habilidades importantes se incluyen: la capacidad de establecer buenas relaciones a pesar de las diferencias, ganarse la confianza de los miembros de la comunidad y la autorreflexión y el reconocimiento de los propios prejuicios. ^{[ 50 ]}

Los paradigmas de axiología , ontología , epistemología y metodología reflejan la práctica de la justicia social en la evaluación. Estos ejemplos se centran en abordar las desigualdades e injusticias en la sociedad mediante la promoción de la inclusión y la igualdad en materia de derechos humanos.

El supuesto axiológico del paradigma transformador se basa en cuatro principios primarios: ^{[ 48 ]}

• La importancia de ser respetuoso con las diferentes culturas
• La promoción de la justicia social
• La promoción de los derechos humanos
• Abordar las desigualdades

Las diferencias en las perspectivas sobre lo que es real están determinadas por diversos valores y experiencias de vida. A su vez, estos valores y experiencias de vida suelen estar asociados con diferencias en el acceso a privilegios, basados ​​en características como la discapacidad, el género, la identidad sexual, la religión, la raza/etnia, el origen nacional, el partido político, el nivel de ingresos, la edad, el idioma y la condición de inmigrante o refugiado. ^{[ 48 ]}

El conocimiento se construye dentro del contexto del poder y el privilegio, con consecuencias asociadas a qué versión del conocimiento se le otorga privilegio. ^{[ 48 ]} "El conocimiento se ubica social e históricamente dentro de un contexto cultural complejo". ^{[ 51 ]}

Las decisiones metodológicas tienen como objetivo determinar el enfoque que mejor facilite el uso del proceso y los hallazgos para mejorar la justicia social; identificar las fuerzas sistémicas que sustentan el statu quo y aquellas que permitirán que se produzca el cambio; y reconocer la necesidad de una relación crítica y reflexiva entre el evaluador y las partes interesadas. ^{[ 48 ]}

Al trabajar por la justicia social, es fundamental poder ver el mundo desde la perspectiva de quienes sufren injusticias. La Teoría Crítica de la Raza, la Teoría Feminista y la Teoría Queer/LGBTQ+ ofrecen marcos conceptuales sobre cómo abordar la justicia para los grupos marginados. Estas perspectivas permiten priorizar cada teoría en la lucha contra la desigualdad.

La Teoría Crítica de la Raza (TCR) es una extensión de la teoría crítica que se centra en las desigualdades basadas en la raza y la etnia. Daniel Solorzano describe el papel de la TCR como un marco para investigar y visibilizar aquellos aspectos sistémicos de la sociedad que permiten que continúe el statu quo discriminatorio y opresivo del racismo. ^{[ 52 ]}

La esencia de las teorías feministas es "exponer las prácticas individuales e institucionales que han negado el acceso a las mujeres y otros grupos oprimidos y que han ignorado o devaluado a las mujeres" ^{[ 53 ].}

Los teóricos queer/LGBTQ cuestionan el sesgo heterosexista que impregna la sociedad en términos de poder y discriminación hacia las minorías de orientación sexual. Debido a la sensibilidad de los temas relacionados con la condición LGBTQ, los evaluadores deben conocer formas seguras de proteger la identidad de estas personas y garantizar que las prácticas discriminatorias salgan a la luz para lograr una sociedad más justa. ^{[ 48 ]}

Dado el déficit presupuestario federal, la Administración Obama optó por aplicar un enfoque basado en la evidencia al gasto público, incluyendo métodos rigurosos de evaluación de programas. El presupuesto presidencial de 2011 destinó fondos para 19 evaluaciones de programas gubernamentales para agencias como el Departamento de Educación y la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID). Un grupo interinstitucional se encarga de aumentar la transparencia y la rendición de cuentas mediante la creación de redes de evaluación eficaces y el aprovechamiento de las mejores prácticas. ^{[ 54 ]} Un marco de seis pasos para la evaluación de programas de salud pública, publicado por los Centros para el Control y la Prevención de Enfermedades (CDC), inicialmente aumentó el énfasis en la evaluación de programas gubernamentales en los EE. UU. El marco es el siguiente:

1. Involucrar a las partes interesadas
2. Describe el programa.
3. Enfocar la evaluación.
4. Reúna pruebas fidedignas.
5. Justifique sus conclusiones.
6. Asegúrese de utilizar y compartir las lecciones aprendidas.

En enero de 2019, la Ley de Fundamentos para la Elaboración de Políticas Basadas en la Evidencia introdujo nuevos requisitos para las agencias federales, como la designación de un Director de Evaluación. La guía publicada por la Oficina de Administración y Presupuesto sobre la implementación de esta ley exige que las agencias desarrollen una agenda de aprendizaje plurianual, que incluya preguntas específicas que la agencia desea responder para mejorar los resultados estratégicos y operativos. ^{[ 55 ]} Las agencias también deben completar un plan de evaluación anual que resuma las evaluaciones específicas que planean realizar para abordar las preguntas de la agenda de aprendizaje.

Existen muchos enfoques diferentes para la evaluación de programas. Cada uno tiene un propósito distinto.

• Evaluación centrada en la utilización
• Modelo de evaluación CIPP
• Evaluación formativa
• Evaluación sumativa
• Evaluación del desarrollo
• Evaluación centrada en principios
• Evaluación basada en la teoría
• Evaluación basada en el realismo

El modelo de evaluación CIPP fue desarrollado por Daniel Stufflebeam y sus colegas en la década de 1960. CIPP es un acrónimo de Contexto, Insumo, Proceso y Producto. CIPP es un modelo de evaluación que requiere la evaluación del contexto , el insumo , el proceso y el producto para juzgar el valor de un programa. CIPP es un enfoque de evaluación centrado en la toma de decisiones y enfatiza la provisión sistemática de información para la gestión y operación del programa. ^{[ 56 ]}

El marco CIPP se desarrolló como un medio para vincular la evaluación con la toma de decisiones del programa . Su objetivo es proporcionar una base analítica y racional para la toma de decisiones del programa, basada en un ciclo de planificación, estructuración, implementación, revisión y modificación de decisiones, cada una examinada a través de un aspecto diferente de la evaluación: contexto, insumos, proceso y evaluación del producto. ^{[ 56 ]}

El modelo CIPP es un intento de hacer que la evaluación sea directamente relevante para las necesidades de los responsables de la toma de decisiones durante las fases y actividades de un programa. ^{[ 56 ]} El modelo de evaluación de contexto, insumo , proceso y producto (CIPP) de Stufflebeam se recomienda como un marco para guiar sistemáticamente la concepción, el diseño, la implementación y la evaluación de proyectos de aprendizaje-servicio, y proporcionar retroalimentación y juicio sobre la efectividad del proyecto para la mejora continua. ^{[ 56 ]}

Estos aspectos son el contexto, los insumos, el proceso y el producto. Estos cuatro aspectos de la evaluación CIPP ayudan a quien toma las decisiones a responder cuatro preguntas básicas:

• ¿Qué debemos hacer?

Esto implica recopilar y analizar datos de evaluación de necesidades para determinar metas, prioridades y objetivos. Por ejemplo, una evaluación del contexto de un programa de alfabetización podría incluir un análisis de los objetivos existentes del programa, los resultados de las pruebas de rendimiento en alfabetización, las inquietudes del personal (generales y particulares), las políticas y planes de alfabetización, y las inquietudes, percepciones, actitudes y necesidades de la comunidad. ^{[ 56 ]}

• ¿Cómo deberíamos hacerlo?

Esto implica los pasos y recursos necesarios para alcanzar las nuevas metas y objetivos, y podría incluir la identificación de programas y materiales externos exitosos, así como la recopilación de información. ^{[ 56 ]}

• ¿Lo estamos haciendo según lo planeado?

Esto proporciona a los responsables de la toma de decisiones información sobre la eficacia de la implementación del programa. Mediante el seguimiento continuo del programa, los responsables de la toma de decisiones obtienen información sobre aspectos como el grado de cumplimiento de los planes y directrices, los conflictos que surgen, el apoyo y la moral del personal, las fortalezas y debilidades de los materiales, y los problemas de entrega y presupuestación. ^{[ 56 ]}

• ¿Funcionó el programa?

Al medir los resultados reales y compararlos con los resultados previstos, quienes toman las decisiones pueden determinar mejor si el programa debe continuar, modificarse o abandonarse por completo. Esta es la esencia de la evaluación de productos. ^{[ 56 ]}

Como guía de evaluación , el modelo CIPP permite a los evaluadores evaluar el programa en diferentes etapas, a saber: antes de que comience el programa, ayudándoles a evaluar la necesidad, y al final del programa, para evaluar si el programa tuvo o no algún efecto.

El modelo CIPP permite a los evaluadores formular preguntas formativas al inicio del programa y, posteriormente, respalda la evaluación del impacto del programa mediante preguntas sumativas sobre todos los aspectos del mismo.

• Contexto : ¿Qué hay que hacer? vs. ¿Se abordaron las necesidades importantes?
• Entrada : ¿Cómo debería hacerse? Vs. ¿Se empleó un diseño defendible?
• Proceso : ¿Se está llevando a cabo? vs. ¿Se ejecutó correctamente el diseño?
• Producto : ¿Está teniendo éxito? vs. ¿El esfuerzo tuvo éxito?

• Evaluación de impacto
• Evaluación de impacto
• Análisis de las vías de impacto participativo
• Análisis de políticas
• Estudios de políticas públicas

• Administración para Niños y Familias. Guía del director del programa para la evaluación. Se aborda el tema de la evaluación e incluye capítulos sobre por qué evaluar y qué es la evaluación.
• BetterEvaluation : Compartir información para mejorar la evaluación
• Asociación Americana de Evaluación Incluye un enlace a recursos de evaluación como organizaciones, sitios web con enlaces, listas de correo electrónico para debate, consultores y más.
• La Sociedad Canadiense de Evaluación incluye un enlace a información sobre evaluación, como servicios, desarrollo profesional, recursos, organizaciones y capítulos regionales.
• Marco de seis pasos de los CDC . También disponible aquí: Centros para el Control y la Prevención de Enfermedades. Marco para la evaluación de programas en salud pública. MMWR 1999;48(n.º RR-11) . Incluye una descripción de los modelos lógicos en la sección de Pasos.
• Manual de diseño de investigación y medición social . Delbert Charles Miller, Neil J. Salkind (2002). Edición: 6, revisada. Publicado por SAGE.
• EvalPartners (EvalYouth): Red Internacional de Evaluación y Herramientas de Capacitación
• EvaluationWiki - La misión de EvaluationWiki es poner a disposición de todos los involucrados en la ciencia y la práctica de la evaluación un compendio gratuito de información y recursos actualizados. EvaluationWiki es presentado por el Evaluation Resource Institute, una organización sin fines de lucro .
• Recursos gratuitos para la evaluación de programas y métodos de investigación social. Este es un portal a recursos sobre evaluación de programas, guías prácticas, manuales, libros sobre métodos de evaluación y software gratuito relacionado con la evaluación.
• Innovation Network es una organización sin fines de lucro que trabaja para compartir herramientas y conocimientos sobre planificación y evaluación. La organización ofrece herramientas en línea, consultoría y capacitación para organizaciones sin fines de lucro y financiadores.
• Enlaces a recursos de evaluación y valoración Lista de enlaces a recursos sobre diversos temas, entre ellos: centros, desarrollo comunitario, educación y formación en evaluación; Fundaciones; Gobierno y organizaciones de Indiana; Enlaces recopilados por...; Modelos lógicos; evaluación del desempeño y portafolios electrónicos, grupos o empresas políticas y privadas, asociaciones profesionales, organizaciones y publicaciones, Universidad de Purdue, Gobierno de los Estados Unidos, búsquedas web de publicaciones por autor y tema, y ​​metabúsquedas temáticas de Vivisimo.
• Oficina de Evaluación de Programas y Rendición de Cuentas del Gobierno de la Legislatura de Maine: Un excelente ejemplo de una oficina gubernamental de evaluación de programas con enlaces a varios informes detallados que incluyen metodología, resultados de las evaluaciones, recomendaciones y planes de acción.
• La Sociedad Nacional de Evaluación de Programas Legislativos incluye enlaces a las oficinas estatales de evaluación de programas y/o auditoría de desempeño en los Estados Unidos.
• Programas de Desarrollo Juvenil 4-H. Este es un sitio web educativo que ofrece ayuda a quienes deseen evaluar sus programas.
• Evaluación de programas y gestión de resultados - El Instituto Urbano
• ¿Qué es la evaluación de programas?: una guía para principiantes - Gene Shackman