Validación del modelo estadístico

En estadística , la validación de modelos consiste en evaluar si un modelo estadístico elegido es apropiado o no. A menudo, en la inferencia estadística, las inferencias de modelos que parecen ajustarse a los datos pueden ser casualidades, lo que lleva a los investigadores a malinterpretar la relevancia real de su modelo. Para evitar esto, se utiliza la validación de modelos para comprobar si un modelo estadístico se mantiene válido ante variaciones en los datos. La validación de modelos también se conoce como crítica o evaluación de modelos.

Este tema no debe confundirse con la tarea estrechamente relacionada de selección de modelos , que consiste en discriminar entre múltiples modelos candidatos: la validación de modelos no se refiere tanto al diseño conceptual de los modelos, sino que solo comprueba la coherencia entre un modelo elegido y sus resultados declarados.

Existen muchas maneras de validar un modelo. Los gráficos de residuos muestran la diferencia entre los datos reales y las predicciones del modelo: las correlaciones en los gráficos de residuos pueden indicar un fallo en el modelo. La validación cruzada es un método de validación de modelos que ajusta iterativamente el modelo, omitiendo cada vez solo una pequeña muestra y comparando si las muestras omitidas son predichas por el modelo: existen muchos tipos de validación cruzada . La simulación predictiva se utiliza para comparar datos simulados con datos reales. La validación externa implica ajustar el modelo a nuevos datos. El criterio de información de Akaike estima la calidad de un modelo.

La validación de modelos se presenta de diversas formas, y el método específico que utiliza un investigador suele estar condicionado por el diseño de su investigación . Es importante destacar que no existe un método único para validar un modelo. Por ejemplo, si un investigador trabaja con un conjunto de datos muy limitado, pero sobre el cual tiene fuertes supuestos previos, podría considerar validar el ajuste de su modelo mediante un marco bayesiano y probándolo con diversas distribuciones previas. Sin embargo, si un investigador dispone de muchos datos y está probando múltiples modelos anidados, estas condiciones podrían propiciar la validación cruzada y, posiblemente, una prueba de exclusión de un elemento. Estos son dos ejemplos abstractos, y cualquier validación de modelo real deberá considerar muchas más complejidades de las descritas aquí, pero estos ejemplos ilustran que los métodos de validación de modelos siempre serán circunstanciales.

En general, los modelos pueden validarse utilizando datos existentes o con datos nuevos, y ambos métodos se analizan con más detalle en las siguientes subsecciones, donde también se incluye una advertencia.

Validación con datos existentes

La validación basada en datos existentes implica analizar la bondad de ajuste del modelo o si los residuos parecen ser aleatorios (es decir, diagnóstico de residuos ). Este método consiste en analizar la proximidad del modelo a los datos y tratar de comprender qué tan bien predice el modelo sus propios datos. Un ejemplo de este método se muestra en la Figura 1, que presenta una función polinómica ajustada a algunos datos. Observamos que la función polinómica no se ajusta bien a los datos, que parecen lineales, lo que podría invalidar este modelo polinómico.

Generalmente, los modelos estadísticos basados ​​en datos existentes se validan mediante un conjunto de validación, también conocido como conjunto de prueba. Este conjunto de validación es un conjunto de datos que el usuario excluye al ajustar un modelo estadístico. Una vez ajustado el modelo, el conjunto de validación se utiliza como medida del error del modelo. Si el modelo se ajusta bien a los datos iniciales, pero presenta un error considerable en el conjunto de validación, esto indica sobreajuste .

Al realizar una validación, existen tres causas notables de posibles dificultades, según la Enciclopedia de Ciencias Estadísticas . ^{[ 4 ]} Estas tres causas son: falta de datos; falta de control de las variables de entrada; incertidumbre sobre las distribuciones de probabilidad y correlaciones subyacentes. Los métodos habituales para abordar las dificultades en la validación incluyen: verificar los supuestos realizados al construir el modelo; examinar los datos disponibles y los resultados del modelo; y aplicar el juicio de expertos. ^{[ 2 ]} Cabe señalar que el juicio de expertos generalmente requiere experiencia en el área de aplicación. ^{[ 2 ]}

En ocasiones, el juicio de expertos puede utilizarse para evaluar la validez de una predicción sin necesidad de obtener datos reales: por ejemplo, para la curva de la Figura  1, un experto podría determinar que una extrapolación sustancial sería inválida. Además, el juicio de expertos puede emplearse en pruebas de tipo Turing , donde se presentan a los expertos tanto datos reales como resultados de modelos relacionados y se les pide que distingan entre ambos. ^{[ 5 ]}

Para ciertas clases de modelos estadísticos, existen métodos especializados para su validación. Por ejemplo, si el modelo estadístico se obtuvo mediante regresión , existen análisis especializados para la validación de modelos de regresión, los cuales suelen emplearse.

• Barlas, Y. (1996), "Aspectos formales de la validez y validación de modelos en dinámica de sistemas", System Dynamics Review , 12 (3): 183– 210, doi : 10.1002/(SICI)1099-1727(199623)12:3 < 183::AID-SDR103 > 3.0.CO ; 2-4
• Good, PI ; Hardin, JW ( 2012), "Capítulo 15: Validación", Errores comunes en estadística (Cuarta  edición), John Wiley & Sons , págs. 277–285 
• Huber, PJ (2002), "Capítulo 3: Modelos aproximados", en Huber-Carol, C.; Balakrishnan, N.; Nikulin, MS; Mesbah, M. (eds.), Pruebas de bondad de ajuste y validez del modelo , Springer , pp . 25–41 

• ¿Cómo puedo saber si un modelo se ajusta a mis datos?  — Manual de métodos estadísticos ( NIST )
• Hicks, Dan (14 de julio de 2017). "¿Cuáles son las técnicas básicas de validación de modelos estadísticos?" . Stack Exchange .