Verificación de estadísticas

Statcheck es un paquete de R diseñado para detectar errores estadísticos en artículos de psicología revisados ​​por pares ^{[ 1 ]} mediante la búsqueda de resultados estadísticos en los artículos, la repetición de los cálculos descritos en cada uno y la comparación de los dos valores para comprobar si coinciden. ^{[ 2 ]} Aprovecha el hecho de que los artículos de investigación psicológica tienden a informar sus resultados de acuerdo con las directrices publicadas por la Asociación Americana de Psicología (APA). ^{[ 3 ]} Esto conlleva varias desventajas: solo puede detectar resultados informados de forma completa y exacta según las directrices de la APA, ^{[ 4 ]} y no puede detectar estadísticas que solo se incluyen en tablas en el artículo. ^{[ 5 ]} Otra limitación es que Statcheck no puede manejar correcciones estadísticas a las estadísticas de prueba, como las correcciones de Greenhouse-Geisser o Bonferroni, que en realidad hacen que las pruebas sean más conservadoras. ^{[ 6 ]} Algunas revistas han comenzado a probar Statcheck como parte de su proceso de revisión por pares . Statcheck es software libre publicado bajo la licencia GNU GPL v3. ^{[ 7 ]}

En 2017, los desarrolladores de Statcheck publicaron un artículo preimpreso que concluía que el programa identificaba con precisión los errores estadísticos en más del 95 % de los casos. ^{[ 8 ]} Este estudio de validez comprendió más de 1000 pruebas revisadas manualmente, de las cuales el 5,00 % resultaron ser inconsistentes. ^{[ 9 ]} El estudio encontró que Statcheck reconoció el 60 % de todas las pruebas estadísticas. Un reanálisis de estos datos encontró que si el programa marcaba una prueba como inconsistente, la decisión era correcta en el 60,4 % de los casos. A la inversa, si una prueba era realmente inconsistente, Statcheck la marcaba en un estimado del 51,8 % de los casos (esta estimación incluía las pruebas no detectadas y asumía que tenían la misma tasa de inconsistencias que las pruebas detectadas). En general, la precisión de Statcheck fue del 95,9 %, medio punto porcentual más que el nivel de probabilidad del 95,4 % esperado cuando todas las pruebas se toman simplemente al pie de la letra. Statcheck tenía un sesgo conservador (de aproximadamente una desviación estándar) en contra de marcar las pruebas. ^{[ 10 ]}

Investigaciones más recientes han utilizado Statcheck en artículos publicados en revistas de psicología canadienses , encontrando tasas similares de errores en la presentación de datos estadísticos que los autores originales, basándose en una muestra de 30 años de dichos artículos. El mismo estudio también encontró muchos errores tipográficos en las versiones en línea de artículos relativamente antiguos, y que la corrección de estos redujo el porcentaje estimado de pruebas que se informaron erróneamente. ^{[ 11 ]}

Statcheck fue desarrollado por primera vez en 2015 por Michele Nuijten de la Universidad de Tilburg y Sacha Epskamp de la Universidad de Ámsterdam . ^{[ 12 ] [ 8 ]} Más tarde ese año, Nuijten y sus colegas publicaron un artículo que utilizaba Statcheck en más de 30 000 artículos de psicología e informaron que "la mitad de todos los artículos de psicología publicados [...] contenían al menos un valor p que era inconsistente con su prueba". ^{[ 13 ]} El estudio fue posteriormente reseñado favorablemente en Nature . ^{[ 14 ] [ 15 ]} En 2016, Nuijten y Epskamp recibieron el Premio Leamer-Rosenthal de Ciencia Social Abierta de la Iniciativa Berkeley para la Transparencia en las Ciencias Sociales por la creación de Statcheck. ^{[ 16 ]}

En 2016, el investigador de la Universidad de Tilburg, Chris Hartgerink, utilizó Statcheck para escanear más de 50 000 artículos de psicología y publicó los resultados en PubPeer ; posteriormente, publicaron los datos extraídos de estos artículos en un artículo en la revista Data . ^{[ 14 ] [ 17 ]} Hartgerink declaró a Motherboard que «Estamos comprobando la fiabilidad de la ciencia que se presenta». ^{[ 18 ]} También declaró a Vox que pretendía utilizar Statcheck para realizar una función similar a la de un corrector ortográfico . ^{[ 12 ]} La acción de Hartgerink también envió alertas por correo electrónico a todos los investigadores que habían escrito o coescrito un artículo señalado. Estas señales, y su publicación en un foro público, resultaron controvertidas, lo que llevó a la Sociedad Alemana de Psicología a emitir un comunicado condenando este uso de Statcheck. ^{[ 14 ]} La psicóloga Dorothy VM Bishop , cuyos dos artículos fueron señalados por Statcheck, criticó el programa por señalar públicamente muchos artículos (incluido uno suyo) a pesar de no haber encontrado ningún error estadístico en ellos. ^{[ 19 ]} Otros críticos alegaron que Statcheck había informado la presencia de errores en artículos que en realidad no los contenían, debido a que la herramienta no leía correctamente las estadísticas de ciertos artículos. ^{[ 20 ]}

Entre las revistas que han comenzado a probar el uso de Statcheck como parte de su proceso de revisión por pares se incluyen Psychological Science , ^{[ 21 ]} el Canadian Journal of Human Sexuality , ^{[ 22 ]} y el Journal of Experimental Social Psychology . ^{[ 23 ]} La editorial de acceso abierto PsychOpen también lo ha utilizado en todos los artículos aceptados para su publicación en sus revistas desde 2017. ^{[ 24 ]}

• Abuso de las estadísticas
• Mal uso de los valores p
• Metaciencia

• Sitio web oficial
• statcheck.io​