Evaluación comparativa experimental

La evaluación comparativa experimental permite a los investigadores conocer la precisión de los diseños de investigación no experimentales. En concreto, se pueden comparar los resultados observacionales con los hallazgos experimentales para calibrar el sesgo. En condiciones normales, la realización de un experimento proporciona a los investigadores una estimación imparcial del parámetro de interés. Esta estimación se puede comparar con los resultados de la investigación observacional. Cabe destacar que la evaluación comparativa busca calibrar la incertidumbre no estadística (fallos en los supuestos subyacentes). Combinado con el metaanálisis, este método permite comprender el alcance del sesgo asociado a un área de investigación específica.

El inicio de la evaluación comparativa experimental en las ciencias sociales se atribuye a menudo a Robert LaLonde . En 1986 descubrió que los resultados de los procedimientos econométricos que evaluaban el efecto de un programa de empleo en los ingresos de los aprendices no reproducían los resultados experimentales. ^{[ 1 ]}

La evaluación comparativa experimental se realiza con frecuencia en la investigación médica, como en los estudios de Schnell-Inderst et al. (2017) ^{[ 2 ]} y Burden et al. (2017). ^{[ 3 ]}

Los diseños de evaluación comparativa experimental más instructivos se realizan a gran escala. También comparan trabajos experimentales y no experimentales que analizan el mismo resultado y la misma población. ^{[ 4 ]}

Los diseños de investigación no experimentales u observacionales comparan sujetos tratados con sujetos no tratados, controlando los atributos de base (llamados covariables). Este enfoque de estimación también puede denominarse ajuste de covariables. Las covariables son atributos que existen antes de la experimentación y, por lo tanto, no cambian en función del tratamiento. ^{[ 5 ]} Algunos ejemplos son la edad, el sexo, el peso y el color del cabello. Por ejemplo, si los investigadores están interesados ​​en el efecto de las clases para dejar de fumar sobre el número de cigarrillos fumados al día, pueden realizar un ajuste de covariables para controlar la etnia, los ingresos y el número de años que el fumador lleva fumando.

El ajuste de covariables puede realizarse de diversas maneras. Gordon et al. (2018) ilustran muchos de estos métodos mediante datos de publicidad en línea, como el emparejamiento por puntuación de propensión , la estratificación , el ajuste de regresión y el ajuste de regresión ponderada por probabilidad inversa . Observan que, a pesar de la gran variabilidad de las variables en sus datos, los métodos observacionales no permiten recuperar los efectos causales de la publicidad en línea. Este estudio, en definitiva, demuestra que, sin un ensayo controlado aleatorizado, es imposible detectar síntomas de sesgo. El sesgo no siempre se presenta en una sola dirección ni con la misma magnitud.

Bloom et al. (2002) analizan el impacto de los programas obligatorios de inserción laboral para determinar qué métodos no experimentales se aproximan más a la recuperación de los efectos de dichos programas estimados experimentalmente. También cuestionan si los métodos no experimentales más precisos son lo suficientemente exactos como para reemplazar el trabajo experimental. Finalmente, argumentan que ninguno de los métodos se acerca a la precisión de los métodos experimentales para recuperar el parámetro de interés. ^{[ 6 ]}

Dehijia y Wahba (1999) examinan los datos de LaLonde (1989) con hallazgos no experimentales adicionales. Argumentan que cuando hay suficiente superposición de sujetos y las covariables no observables no afectan los resultados, los métodos no experimentales pueden estimar con precisión el impacto del tratamiento. ^{[ 7 ]}

Glazerman, Levy y Myers (2003) realizan una evaluación comparativa experimental en el contexto de los servicios de empleo, el bienestar social y la formación laboral. Determinan que los métodos no experimentales pueden aproximarse a las estimaciones experimentales; sin embargo, estas estimaciones pueden estar lo suficientemente sesgadas como para afectar el análisis y la implementación de políticas. ^{[ 8 ]}

Gordon et al. (2018) utiliza datos de Facebook para determinar si la variación en los datos recopilados por la industria publicitaria permite que los métodos observacionales permitan recuperar los efectos causales de la publicidad en línea. Específicamente, el estudio busca analizar la efectividad de los anuncios de Facebook en tres resultados: finalización de compra, registro y visualización de página. Los autores concluyen que, a pesar de la gran variación que posibilita la naturaleza de las redes sociales, no es posible recuperar con precisión los efectos causales. ^{[ 9 ]}

^{[ 5 ] [ 6 ] [ 3 ] [ 7 ] [ 8 ] [ 9 ] [ 1 ] [ 2 ] [ 4 ]}