Reproducibilidad

La reproducibilidad , estrechamente relacionada con la replicabilidad y la repetibilidad , es un principio fundamental del método científico . Para que los hallazgos de un estudio sean reproducibles, los resultados obtenidos mediante un experimento , un estudio observacional o un análisis estadístico de un conjunto de datos deben repetirse con un alto grado de fiabilidad al replicar el estudio. Existen diferentes tipos de replicación ^{[ 1 ]} , pero generalmente los estudios de replicación involucran a distintos investigadores que utilizan la misma metodología. Solo después de una o varias replicaciones exitosas se puede reconocer un resultado como conocimiento científico.

El primero en destacar la importancia de la reproducibilidad en la ciencia fue el químico anglo-irlandés Robert Boyle , en Inglaterra , en el siglo XVII. La bomba de aire de Boyle fue diseñada para generar y estudiar el vacío , un concepto muy controvertido en aquella época. De hecho, filósofos tan distinguidos como René Descartes y Thomas Hobbes negaron la posibilidad misma de la existencia del vacío. Los historiadores de la ciencia Steven Shapin y Simon Schaffer , en su libro de 1985, Leviatán y la bomba de aire , describen el debate entre Boyle y Hobbes, aparentemente sobre la naturaleza del vacío, como una discusión fundamental sobre cómo se debe obtener conocimiento útil. Boyle, pionero del método experimental , sostenía que los fundamentos del conocimiento debían estar constituidos por hechos producidos experimentalmente, que pueden hacerse creíbles para la comunidad científica gracias a su reproducibilidad. Al repetir el mismo experimento una y otra vez, argumentaba Boyle, surgiría la certeza del hecho.

La bomba de aire, que en el siglo XVII era un aparato complejo y costoso de construir, también dio lugar a una de las primeras disputas documentadas sobre la reproducibilidad de un fenómeno científico en particular . En la década de 1660, el científico holandés Christiaan Huygens construyó su propia bomba de aire en Ámsterdam , la primera fuera de la dirección directa de Boyle y su asistente de entonces , Robert Hooke . Huygens informó de un efecto que denominó "suspensión anómala", en el que el agua parecía levitar en un frasco de vidrio dentro de su bomba de aire (en realidad, suspendida sobre una burbuja de aire), pero Boyle y Hooke no pudieron replicar este fenómeno en sus propias bombas. Como describen Shapin y Schaffer, "quedó claro que, a menos que el fenómeno pudiera reproducirse en Inglaterra con una de las dos bombas disponibles, nadie en Inglaterra aceptaría las afirmaciones de Huygens ni su competencia en el manejo de la bomba". Finalmente, Huygens fue invitado a Inglaterra en 1663, y bajo su guía personal, Hooke pudo replicar la suspensión anómala del agua. Posteriormente, Huygens fue elegido miembro extranjero de la Royal Society . Sin embargo, Shapin y Schaffer también señalan que «el logro de la replicación dependía de actos de juicio contingentes. No se puede escribir una fórmula que indique cuándo se logró o no la replicación». ^{[ 2 ]}

El filósofo de la ciencia Karl Popper señaló brevemente en su famoso libro de 1934, La lógica del descubrimiento científico, que «los sucesos aislados no reproducibles carecen de importancia para la ciencia». ^{[ 3 ]} El estadístico Ronald Fisher escribió en su libro de 1935, El diseño de experimentos , que sentó las bases de la práctica científica moderna de la comprobación de hipótesis y la significación estadística , que «podemos decir que un fenómeno es experimentalmente demostrable cuando sabemos cómo realizar un experimento que rara vez deje de darnos resultados estadísticamente significativos». ^{[ 4 ]} Estas afirmaciones expresan un dogma común en la ciencia moderna: que la reproducibilidad es una condición necesaria (aunque no necesariamente suficiente ) para establecer un hecho científico y, en la práctica, para establecer la autoridad científica en cualquier campo del conocimiento. Sin embargo, como señalaron Shapin y Schaffer, este dogma no está bien formulado cuantitativamente, como por ejemplo la significación estadística, y, por lo tanto, no se establece explícitamente cuántas veces debe replicarse un hecho para que se considere reproducible.

La replicabilidad y la repetibilidad son términos relacionados, en sentido amplio o vago, sinónimos de reproducibilidad (por ejemplo, entre el público en general), pero a menudo resulta útil diferenciarlos en sentidos más precisos, como se indica a continuación.

En relación con la reproducibilidad de estudios experimentales u observacionales , se distinguen dos pasos principales: cuando se obtienen nuevos datos al intentar replicar un estudio, se suele utilizar el término replicabilidad , considerándose este nuevo estudio como una réplica del original. Al obtener los mismos resultados al analizar nuevamente el conjunto de datos del estudio original con los mismos procedimientos, muchos autores emplean el término reproducibilidad en un sentido técnico y restringido, derivado de su uso en la investigación computacional. La repetibilidad se refiere a la repetición del experimento dentro del mismo estudio por los mismos investigadores. La reproducibilidad en su sentido amplio original solo se reconoce si una réplica realizada por un equipo de investigadores independiente resulta exitosa.

Los términos reproducibilidad y replicabilidad a veces aparecen incluso en la literatura científica con significado invertido, ^{[ 5 ] [ 6 ]} ya que diferentes campos de investigación establecieron sus propias definiciones para los mismos términos. ^{[ 7 ]}

En química, los términos reproducibilidad y repetibilidad se utilizan con un significado cuantitativo específico. ^{[ 8 ]} En experimentos interlaboratorio, se mide repetidamente la concentración u otra cantidad de una sustancia química en diferentes laboratorios para evaluar la variabilidad de las mediciones. Entonces, la desviación estándar de la diferencia entre dos valores obtenidos dentro del mismo laboratorio se denomina repetibilidad. La desviación estándar de la diferencia entre dos mediciones de diferentes laboratorios se denomina reproducibilidad . ^{[ 9 ]} Estas medidas están relacionadas con el concepto más general de componentes de varianza en metrología .

Hideyo Noguchi afirmó que podía cultivar el agente bacteriano de la sífilis en su laboratorio. Nadie más ha podido producir este resultado. ^{[ 33 ]}

En marzo de 1989, los químicos Stanley Pons y Martin Fleischmann, de la Universidad de Utah, informaron sobre la producción de calor excesivo que solo podía explicarse mediante un proceso nuclear (" fusión fría "). El informe fue asombroso dada la simplicidad del equipo: se trataba esencialmente de una celda de electrólisis que contenía agua pesada y un cátodo de paladio que absorbía rápidamente el deuterio producido durante la electrólisis. Los medios de comunicación informaron ampliamente sobre los experimentos, y fueron noticia de primera plana en muchos periódicos de todo el mundo (véase ciencia por conferencia de prensa ). Durante los meses siguientes, otros intentaron replicar el experimento, pero no lo lograron. ^{[ 34 ]}

Nikola Tesla afirmó ya en 1899 haber utilizado una corriente de alta frecuencia para encender lámparas de gas a más de 40 km de distancia sin cables . En 1904 construyó la Torre Wardenclyffe en Long Island para demostrar cómo enviar y recibir energía sin cables de conexión. La instalación nunca estuvo completamente operativa y no se terminó debido a problemas económicos, por lo que nunca se intentó reproducir su primer resultado. ^{[ 35 ]} 

Otros ejemplos en los que la evidencia contraria ha refutado la afirmación original:

• Rayos N , una forma hipotética de radiación que posteriormente se descubrió que era ilusoria.
• El agua polimérica , una forma hipotética de agua polimerizada, resultó ser simplemente agua con contaminantes comunes.
• La adquisición de pluripotencia desencadenada por estímulos resultó ser el resultado de un fraude.
• GFAJ-1 , una bacteria que supuestamente podría incorporar arsénico en su ADN en lugar de fósforo.
• Controversia sobre la vacuna MMR : se reveló que un estudio publicado en The Lancet que afirmaba que la vacuna MMR causaba autismo era fraudulento.
• Escándalo Schön : se revela que los supuestos avances en semiconductores son fraudulentos.
• El poder de posar — ​​un fenómeno de la psicología social que se volvió viral después de ser el tema de una charla TED muy popular , pero que no pudo ser replicado en docenas de estudios ^{[ 36 ]}
• LK-99 no es reproducible como superconductor a temperatura ambiente. ^{[ 37 ] [ 38 ]}

• Timmer, John (octubre de 2006). "Científicos sobre ciencia: reproducibilidad" . Ars Technica .
• Saey, Tina Hesman (enero de 2015). "¿Es rehacer la investigación científica la mejor manera de encontrar la verdad? Durante los intentos de replicación, demasiados estudios no superan la prueba" . Science News . «La ciencia no está irremediablemente rota», afirma el epidemiólogo John Ioannidis. «Solo necesita algunas mejoras». «A pesar de haber publicado artículos con títulos bastante pesimistas, en realidad soy optimista», dice Ioannidis. «No encuentro ninguna otra inversión de la sociedad mejor posicionada que la ciencia».

• Directrices para la promoción de la transparencia y la apertura del Centro para la Ciencia Abierta.
• Directrices para evaluar y expresar la incertidumbre de los resultados de las mediciones del NIST ( Instituto Nacional de Estándares y Tecnología).
• Documentos reproducibles con artefactos de la fundación CTuning
• Investigación reproducible.net