Mal uso de los valores p

Los valores p se utilizan o interpretan con frecuencia de forma incorrecta; ^{[ 1 ]} la Asociación Estadounidense de Estadística afirma quelos valores p pueden indicar cuán incompatibles son los datos con un modelo estadístico específico. ^{[ 2 ]} Desde un enfoque de prueba de hipótesis de Neyman-Pearson para inferencias estadísticas, los datos obtenidos al comparar el valor p con un nivel de significancia darán uno de dos resultados: o se rechaza la hipótesis nula (lo que, sin embargo, no prueba que la hipótesis nula sea falsa ), o la hipótesis nula no puede rechazarse a ese nivel de significancia (lo que, sin embargo, no prueba que la hipótesis nula sea verdadera ). Desde un enfoque de prueba estadística de Fisher para inferencias estadísticas, un valor p bajo significa o bien que la hipótesis nula es verdadera y ha ocurrido un evento altamente improbable o bien que la hipótesis nula es falsa.

La siguiente lista aclara algunos problemas que suelen malinterpretarse con respecto a los valores p : ^{[ 2 ] [ 3 ] [ 4 ]}

1. El valor p no es la probabilidad de que la hipótesis nula sea verdadera, ni la probabilidad de que la hipótesis alternativa sea falsa. ^{[ 2 ]} Un valor p puede indicar el grado de compatibilidad entre un conjunto de datos y una explicación hipotética particular (como una hipótesis nula). Específicamente, el valor p puede tomarse como la probabilidad de obtener un efecto que sea al menos tan extremo como el efecto observado, dado que la hipótesis nula es verdadera. Esto no debe confundirse con la probabilidad de que la hipótesis nula sea verdadera dado el efecto observado (véase la falacia de la tasa base ). De hecho, la estadística frecuentista no asocia probabilidades a las hipótesis.
2. El valor p no es la probabilidad de que los efectos observados se hayan producido únicamente por azar. ^{[ 2 ]} El valor p se calcula bajo el supuesto de que un modelo determinado, generalmente la hipótesis nula, es verdadero. Esto significa que el valor p es una afirmación sobre la relación de los datos con esa hipótesis. ^{[ 2 ]}
3. El nivel de significancia de 0,05 es simplemente una convención. ^{[ 3 ] [ 5 ]} El nivel de significancia de 0,05 (nivel alfa) se usa a menudo como el límite entre un valor p estadísticamente significativo y uno estadísticamente no significativo . Sin embargo, esto no implica que generalmente exista una razón científica para considerar que los resultados en lados opuestos de cualquier umbral son cualitativamente diferentes. ^{[ 3 ] [ 6 ]}
4. El valor p no indica la magnitud ni la importancia del efecto observado. ^{[ 2 ]} Un valor p pequeño puede indicar un efecto que no sea significativo ni importante. De hecho, cuanto mayor sea el tamaño de la muestra, menor será el efecto mínimo necesario para obtener un valor p estadísticamente significativo (véase tamaño del efecto ).

Los problemas 1 y 2 pueden ilustrarse por analogía con la falacia del fiscal en su formato subyacente común de tabla de contingencia 2×2, donde la conveniente rotación de atención de 90° del usuario reemplaza el espacio muestral previsto por un espacio muestral ilícito. ^{[ 7 ] : 18–19} Estos usos indebidos del valor p son, por lo tanto, análogos a la falacia de la condicional transformada en probabilidad y, a su vez, a la falacia de la conversión ilícita en lógica categórica. ^{[ 7 ] : 12-13}

Un enfoque frecuentista rechaza la validez de representar probabilidades de hipótesis: las hipótesis son verdaderas o falsas, no algo que pueda representarse con una probabilidad. ^{[ 8 ]}

La estadística bayesiana modela activamente la probabilidad de las hipótesis. El valor p por sí solo no permite razonar sobre las probabilidades de las hipótesis, lo cual requiere múltiples hipótesis o un rango de hipótesis, con una distribución previa de probabilidades entre ellas, en cuyo caso se podría utilizar la estadística bayesiana. Allí, se utiliza una función de verosimilitud para todos los valores posibles de la distribución previa en lugar del valor p para una sola hipótesis nula. El valor p describe una propiedad de los datos cuando se compara con una hipótesis nula específica; no es una propiedad de la hipótesis en sí. Por la misma razón, los valores p no dan la probabilidad de que los datos se hayan producido únicamente por azar. ^{[ 2 ]}

El problema de las comparaciones múltiples se produce cuando se considera un conjunto de inferencias estadísticas simultáneamente ^{[ 9 ]} o se infiere un subconjunto de parámetros seleccionados en función de los valores observados ^{[ 10 ]} . También se conoce como el efecto de búsqueda en otro lugar . Los errores en la inferencia, incluidos los intervalos de confianza que no incluyen sus parámetros poblacionales correspondientes o las pruebas de hipótesis que rechazan incorrectamente la hipótesis nula , son más probables cuando se considera el conjunto en su totalidad. Se han desarrollado varias técnicas estadísticas para evitar que esto ocurra, permitiendo comparar directamente los niveles de significación para comparaciones simples y múltiples. Estas técnicas generalmente requieren un umbral de significación más alto para las comparaciones individuales, para compensar el número de inferencias que se realizan.

El webcómic xkcd satirizó los malentendidos sobre los valores p al retratar a científicos que investigaban la afirmación de que comer caramelos de goma causa acné . ^{[ 11 ] [ 12 ] [ 13 ] [ 14 ]} Después de no encontrar una correlación significativa ( p < 0,05) entre comer caramelos de goma y el acné, los científicos investigan 20 colores diferentes de caramelos de goma individualmente, sin ajustar para comparaciones múltiples. Encuentran un color (verde) nominalmente asociado con el acné ( p < 0,05). Los resultados son luego reportados por un periódico indicando que los caramelos de goma verdes están vinculados con el acné con un nivel de confianza del 95%, como si el verde fuera el único color probado. De hecho, si se realizan 20 pruebas independientes con un nivel de significancia de 0,05 y todas las hipótesis nulas son verdaderas, hay una probabilidad del 64,2% de obtener al menos un falso positivo y el número esperado de falsos positivos es 1 (es decir, 0,05 × 20).

En general, la tasa de error familiar (FWER) —la probabilidad de obtener al menos un falso positivo— aumenta con el número de pruebas realizadas. La FWER cuando todas las hipótesis nulas son verdaderas para m pruebas independientes, cada una realizada al nivel de significancia α , es: ^{[ 13 ]}

${\displaystyle {\text{FWER}}=1-(1-\alpha )^{m}}$

• Estadísticas de estimación
• Crisis de replicación
• Metaciencia
• Mal uso de las estadísticas
• Verificación de estadísticas