Análisis del multiverso

El análisis multiverso es un método científico que especifica y luego ejecuta un conjunto de opciones analíticas de datos, modelos alternativos plausibles o pruebas estadísticas para una sola hipótesis. ^{[ 1 ]} Es un método para abordar el problema de que "el proceso científico enfrenta a los investigadores con una multiplicidad de puntos de decisión aparentemente menores, pero no triviales, cada uno de los cuales puede introducir variabilidad en los resultados de la investigación". ^{[ 2 ]} Un problema también conocido como grados de libertad del investigador ^{[ 3 ]} o como el jardín de caminos bifurcados . Es un método que surge en respuesta a la crisis de credibilidad y replicación que se está produciendo en la ciencia, porque puede diagnosticar la fragilidad o robustez de los hallazgos de un estudio. Los análisis multiverso se han utilizado en los campos de la psicología ^{[ 4 ]} y la neurociencia. ^{[ 5 ]} También es una forma de metaanálisis que permite a los investigadores proporcionar evidencia sobre cómo diferentes especificaciones de modelos impactan los resultados para la misma hipótesis y, por lo tanto, puede orientar a los científicos hacia dónde podrían necesitar una mejor teoría o modelos causales .

El análisis multiverso suele generar una gran cantidad de resultados que tienden a divergir. Esto significa que la mayoría de los estudios no ofrecen consenso ni un rechazo específico de una hipótesis. Sus principales utilidades hasta el momento radican en aportar evidencia en contra de conclusiones basadas en hallazgos de estudios individuales o en indicar qué especificaciones de modelos tienen mayor o menor probabilidad de generar efectos de mayor magnitud o más robustos (o no).

La evidencia que contradice estudios individuales o modelos estadísticos es útil para identificar posibles falsos positivos . Por ejemplo, un estudio ahora tristemente célebre concluyó que los huracanes con nombres femeninos son más mortíferos que los huracanes con nombres masculinos. ^{[ 6 ]} En un estudio posterior, ^{[ 7 ]} los investigadores ejecutaron miles de modelos utilizando los mismos datos de huracanes, pero realizando diversos ajustes plausibles al modelo de regresión. Al trazar una curva de densidad de todos los coeficientes de regresión, demostraron que el coeficiente del estudio original era un valor atípico extremo.

En un estudio sobre los efectos del orden de nacimiento , ^{[ 8 ]} los investigadores visualizaron un multiverso de modelos plausibles mediante una curva de especificación que les permite examinar visualmente un gráfico de todos los resultados del modelo frente a diversas especificaciones. Pudieron demostrar que sus hallazgos respaldaban investigaciones previas sobre la influencia del orden de nacimiento en la inteligencia, pero también aportaron evidencia en contra de un efecto en la satisfacción vital y diversos rasgos de personalidad.