Auditoría de sensibilidad

La auditoría de sensibilidad es una extensión del análisis de sensibilidad para su uso en estudios de modelización relevantes para las políticas. ^{[ 1 ]} Su uso se recomienda, por ejemplo, en las directrices de evaluación de impacto de la Comisión Europea ^{[ 2 ]} y por las Academias Europeas de Ciencias ^{[ 3 ]} , cuando un análisis de sensibilidad (AS) de un estudio basado en modelos tiene como objetivo demostrar la robustez de la evidencia proporcionada por el modelo en el contexto en el que la inferencia se incorpora a un proceso de toma de decisiones o de políticas.

En contextos donde el trabajo científico influye en las políticas públicas, el enfoque del análisis, su contexto institucional y las motivaciones de su autor pueden resultar sumamente relevantes, y un análisis científico puro —centrado en la incertidumbre cuantificada— podría ser insuficiente. El énfasis en el enfoque puede derivarse, entre otras cosas, de la relevancia del estudio de políticas para diferentes grupos de interés, caracterizados por normas y valores distintos, y, por lo tanto, por una narrativa diferente sobre «cuál es el problema» y, sobre todo, sobre «quién cuenta la historia». Con frecuencia, el enfoque incluye supuestos implícitos, que pueden ser de índole política (por ejemplo, qué grupo necesita protección) o técnica (por ejemplo, qué variable puede considerarse constante).

Para tener debidamente en cuenta estas preocupaciones, la auditoría de sensibilidad amplía los instrumentos del análisis de sensibilidad ^para proporcionar una evaluación de todo el proceso de generación de conocimiento y modelos. Se inspira en NUSAP [ ^{4 ]} , un método utilizado para comunicar la calidad de la información cuantitativa mediante la generación de "genealogías" de números. Asimismo, la auditoría de sensibilidad se ha desarrollado para proporcionar genealogías de modelos e inferencias basadas en modelos. La auditoría de sensibilidad es especialmente adecuada en un contexto adversarial, donde no solo la naturaleza de la evidencia, sino también el grado de certeza e incertidumbre asociado a ella, es objeto de intereses partidistas. Estos son los escenarios considerados en la ciencia posnormal ^{[ 5 ]} o en la ciencia del Modo 2 ^{[ 6 ]} . La ciencia posnormal (PNS) es un concepto desarrollado por Silvio Funtowicz y Jerome Ravetz , ^{[ 5 ] [ 7 ] [ 8 ]} que propone una metodología de investigación apropiada cuando “los hechos son inciertos, los valores están en disputa, hay mucho en juego y las decisiones son urgentes” (Funtowicz y Ravetz, 1992: ^{[ 8 ]} 251–273). El Modo 2 de Ciencia, acuñado en 1994 por Gibbons et al., se refiere a un modo de producción de conocimiento científico que está orientado al contexto, centrado en problemas e interdisciplinario. La auditoría de sensibilidad consiste en una lista de verificación de siete puntos:

1. Usa las matemáticas con prudencia: Pregúntate si se están utilizando fórmulas matemáticas complejas cuando se podrían usar fórmulas más sencillas. Comprueba si el modelo se está utilizando más allá de su propósito original.

2. Busca supuestos: Averigua qué supuestos se hicieron en el estudio y comprueba si se enunciaron claramente o si estaban ocultos.

3. Evite la política de "basura entra, basura sale": Compruebe si los datos utilizados en el modelo fueron manipulados para que los resultados parezcan más certeros de lo que realmente son, o si se hicieron excesivamente inciertos para evitar la regulación.

4. Prepárese para las críticas: Es mejor detectar los problemas en su estudio antes que los demás. Realice comprobaciones exhaustivas de incertidumbre y sensibilidad antes de publicar.

5. Sea transparente: No mantenga su modelo en secreto. Hágalo claro y comprensible para el público.

6. Céntrese en el problema correcto: Asegúrese de que su modelo aborde el problema correcto y no solo resuelva un problema que en realidad no existe.

7. Realice análisis exhaustivos: Lleve a cabo pruebas en profundidad para medir la incertidumbre y la sensibilidad utilizando los mejores métodos disponibles.

Estas reglas tienen como objetivo ayudar al analista a anticipar las críticas, en particular las relacionadas con la inferencia basada en modelos que se incorpora a una evaluación de impacto. ¿Qué preguntas y objeciones podría recibir el modelador? Aquí hay una posible lista:

• Usted trató a X como una constante cuando sabemos que tiene una incertidumbre de al menos el 30%.
• Bastaría con un error del 5% en X para que su afirmación sobre Z sea frágil.
• Tu modelo es solo uno de los modelos plausibles; has omitido la incertidumbre del modelo.
• Has maximizado instrumentalmente tu nivel de confianza en los resultados.
• Tu modelo es una caja negra ; ¿por qué debería confiar en tus resultados?
• Has aumentado artificialmente la incertidumbre.
• Tu planteamiento no es socialmente sólido.
• Estás respondiendo a la pregunta equivocada.
• Sus escenarios solo capturan un conjunto limitado de posibles desarrollos/evoluciones del sistema.

La auditoría de sensibilidad se describe en las Directrices de la Comisión Europea para la evaluación de impacto. ^{[ 2 ]} Los extractos relevantes son (pág. 392):

"[… ]cuando existe un desacuerdo importante entre las partes interesadas sobre la naturaleza del problema, … entonces la auditoría de sensibilidad es más apropiada, pero el análisis de sensibilidad sigue siendo recomendable como uno de los pasos de la auditoría de sensibilidad."

"La auditoría de sensibilidad, [...] es una consideración más amplia del efecto de todo tipo de incertidumbre, incluyendo los supuestos estructurales incorporados al modelo y las decisiones subjetivas tomadas al plantear el problema."

"El objetivo final es comunicar de forma abierta y honesta hasta qué punto determinados modelos pueden utilizarse para respaldar las decisiones políticas y cuáles son sus limitaciones."

"En general, la auditoría de sensibilidad hace hincapié en la idea de comunicar con honestidad hasta qué punto se puede confiar en los resultados del modelo, teniendo en cuenta, en la medida de lo posible, todas las formas de incertidumbre potencial y anticipándose a las críticas de terceros."

La asociación de las Academias Europeas de Ciencia para la Política, SAPEA, describe en detalle la auditoría de sensibilidad en su informe de 2019 titulado “ Dar sentido a la ciencia para la política en condiciones de complejidad e incertidumbre ”. ^{[ 3 ]}