Efecto de mirar hacia otro lado

El efecto de búsqueda en otros lugares es un fenómeno en el análisis estadístico de experimentos científicos donde una observación aparentemente estadísticamente significativa puede haber surgido por casualidad debido al gran tamaño del espacio de parámetros a explorar. ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

Una vez que se reconoce la posibilidad de un error de búsqueda en otros lugares en un análisis, este puede compensarse mediante la aplicación cuidadosa de técnicas matemáticas estándar. ^{[ 6 ] [ 7 ] [ 8 ]}

Más conocido en estadística como el problema de las comparaciones múltiples , el término ganó cierta atención mediática en 2011, en el contexto de la búsqueda del bosón de Higgs en el Gran Colisionador de Hadrones . ^{[ 9 ]}

Muchas pruebas estadísticas proporcionan un valor p , que representa la probabilidad de que un resultado determinado se obtenga por casualidad, suponiendo que la hipótesis que se busca demostrar sea falsa. Al preguntar "¿ influye X en Y ?", es común variar X y observar si existe una variación significativa en Y como resultado. Si este valor p es menor que un umbral de significancia estadística predeterminado α , el resultado se considera significativo.

Sin embargo, si se realizan múltiples pruebas ("buscar en otro lado" si la primera prueba falla), se espera que un valor p de 1/ n ocurra una vez por cada n pruebas. Por ejemplo, cuando no hay un efecto real, un evento con p < 0,05 seguirá ocurriendo, en promedio, una vez por cada 20 pruebas realizadas. Para compensar esto, el umbral α se puede dividir por el número de pruebas n , de modo que un resultado es significativo cuando p < α / n . O, equivalentemente, multiplicar el valor p observado por el número de pruebas (significativo cuando np < α ).  

Este es un caso simplificado; el número n representa el número de grados de libertad en las pruebas, o el número de pruebas efectivamente independientes. Si no son completamente independientes, el número puede ser menor que el número de pruebas.

El efecto de búsqueda en otros lugares es una causa frecuente de "inflación de significancia" cuando se subestima el número de pruebas independientes n porque las pruebas fallidas no se publican. Un artículo puede no mencionar las hipótesis alternativas consideradas, o un artículo que no produce resultados puede simplemente no publicarse, lo que da lugar a revistas dominadas por valores estadísticos atípicos.

• Un estudio sueco de 1992 buscó determinar si las líneas eléctricas causaban algún tipo de efecto negativo en la salud . Los investigadores encuestaron a todas las personas que vivían a menos de 300 m de líneas eléctricas de alta tensión durante un período de 25 años y buscaron aumentos estadísticamente significativos en las tasas de más de 800 enfermedades. El estudio encontró que la incidencia de leucemia infantil era cuatro veces mayor entre quienes vivían más cerca de las líneas eléctricas que el promedio, lo que impulsó al gobierno sueco a tomar medidas . Sin embargo, el problema con la conclusión fue que no se tuvo en cuenta el efecto de búsqueda en otros lugares; en cualquier conjunto de 800 muestras aleatorias, es probable que al menos una esté al menos 3 desviaciones estándar por encima del valor esperado por mera casualidad. Estudios posteriores no lograron demostrar ningún vínculo entre las líneas eléctricas y la leucemia infantil, ni causal ni siquiera correlacional. ^{[ 10 ]}

  

• El fenómeno del Código Bíblico pretende encontrar agrupaciones significativas atípicas de palabras que predicen eventos futuros ocultos en el texto de la Biblia hebrea, tomado como una secuencia bruta de letras sin espaciar y organizado en varias cuadrículas de diferentes proporciones. Sin embargo, como demostró un artículo en Skeptical Inquirer , ^{[ 11 ]} esto equivale a generar una gran cantidad de cuadrículas para examinar patrones o agrupaciones dividiendo la cadena de texto completa en anchos de unas pocas a cientos de miles de letras, repitiendo el ancho para las filas subsiguientes. Cada una de esas muchas cuadrículas puede luego ser buscada a su vez más para una amplia gama de palabras de interés saltando en intervalos, hacia adelante o hacia atrás, de un arbitrario x letras en el texto (o x+1, x+2, etc.), en una enorme matriz de posibilidades parametrizadas , y una palabra coincidente de interés asociada puede ser cualquier cadena cercana en un salto arbitrario de x+k o y+k letras, hacia adelante o hacia atrás, de tal manera que los volúmenes de permutación se vuelven enormes. Así, dejando de lado cuestiones relacionadas como el sesgo de confirmación , incluso si no se encontraron agrupaciones de interés o importancia en la primera cuadrícula, la siguiente iteración puede ser probada por computadora y así sucesivamente en masa hasta que finalmente se llegue a agrupaciones "milagrosas" o "improbables". Esto es equivalente, en efecto, a que, al repartirse una mano de póker poco interesante , se continúe haciéndolo en grandes cantidades hasta obtener una escalera de color , una escalera real o incluso muchos eventos similares en secuencia, y se diga que la baraja está inspirada por permitir tal resultado. El autor de Skeptical Inquirer pudo así lograr efectos idénticos simplemente aplicando los mismos algoritmos de búsqueda tanto al texto de la Biblia King James en inglés en lugar de la supuesta versión hebrea de inspiración divina, como luego con la misma eficacia al texto de ejemplo mundano y arbitrario de la decisión de la Corte Suprema de los Estados Unidos de 1987 Edwards v. Aguillard .

• Corrección de Bonferroni
• Dragado de datos
• Ley de los números verdaderamente grandes : con un tamaño de muestra suficientemente grande, es probable que ocurra cualquier cosa escandalosa.
• Ley de Littlewood : cualquier persona puede esperar que le ocurra un "milagro" aproximadamente uno al mes.
• La falacia del francotirador tejano
• Problema de comparaciones múltiples

• Tira cómica de XKCD que ilustra el efecto "Mira en otro lugar".