criterio de información de desviación

El criterio de información de desviación ( DIC ) es una generalización jerárquica del criterio de información de Akaike (AIC). Resulta particularmente útil en problemas de selección de modelos bayesianos , donde las distribuciones posteriores de los modelos se han obtenido mediante simulación de Monte Carlo de cadena de Markov (MCMC). El DIC es una aproximación asintótica a medida que aumenta el tamaño de la muestra, al igual que el AIC. Solo es válido cuando la distribución posterior es aproximadamente normal multivariada .

Defina la desviación como${\displaystyle D(\theta )=-2\log(p(y|\theta ))+C\,}$, dónde${\displaystyle y}$son los datos,${\displaystyle \theta }$son los parámetros desconocidos del modelo y${\displaystyle p(y|\theta )}$es la función de verosimilitud .${\displaystyle C}$es una constante que se cancela en todos los cálculos que comparan diferentes modelos y que, por lo tanto, no es necesario conocer.

Existen dos cálculos de uso común para el número efectivo de parámetros del modelo. El primero, como se describe en Spiegelhalter et al. (2002 , p. 587) , es ${\displaystyle p_{D}={\overline {D(\theta )}}-D({\bar {\theta }})}$, dónde${\displaystyle {\bar {\theta }}}$es la expectativa de${\displaystyle \theta }$. El segundo, como se describe en Gelman et al. (2004 , p. 182) , es ${\displaystyle p_{D}=p_{V}={\frac {1}{2}}{\overline {\operatorname {var} \left(D(\theta )\right)}}}$Cuanto mayor sea el número efectivo de parámetros, más fácil será para el modelo ajustarse a los datos, por lo que la desviación deberá ser penalizada.

El criterio de información de desviación se calcula como

${\displaystyle \mathrm {DIC} =p_{D}+{\overline {D(\theta )}},}$

o equivalentemente como

${\displaystyle \mathrm {DIC} =D({\bar {\theta }})+2p_{D}.}$

A partir de esta última forma, la conexión con AIC resulta más evidente.

La idea es que se deben preferir los modelos con DIC más pequeño a los modelos con DIC más grande. Los modelos son penalizados tanto por el valor de${\displaystyle {\bar {D}}}$, lo que favorece un buen ajuste, pero también (de forma similar al AIC) por el número efectivo de parámetros.${\displaystyle p_{D}}$. Desde${\displaystyle {\bar {D}}}$disminuirá a medida que aumente el número de parámetros en un modelo, el${\displaystyle p_{D}}$Este término compensa este efecto favoreciendo los modelos con un menor número de parámetros.

Una ventaja del DIC sobre otros criterios en el caso de la selección de modelos bayesianos es que el DIC se calcula fácilmente a partir de las muestras generadas por una simulación de Monte Carlo de cadena de Markov. El AIC requiere calcular la verosimilitud en su máximo sobre${\displaystyle \theta }$, que no está fácilmente disponible a partir de la simulación MCMC. Pero para calcular DIC, simplemente calcule${\displaystyle {\bar {D}}}$como el promedio de${\displaystyle D(\theta )}$sobre las muestras de${\displaystyle \theta }$, y${\displaystyle D({\bar {\theta }})}$como el valor de${\displaystyle D}$evaluado en el promedio de las muestras de${\displaystyle \theta }$Entonces, el DIC se deriva directamente de estas aproximaciones. Claeskens y Hjort (2008, Cap. 3.5) muestran que el DIC es equivalente para muestras grandes a la versión robusta del AIC basada en modelos naturales.

En la derivación del DIC, se asume que la familia paramétrica de distribuciones de probabilidad especificada que genera observaciones futuras abarca el modelo verdadero. Esta suposición no siempre se cumple, y es conveniente considerar procedimientos de evaluación del modelo en ese caso.

Además, los datos observados se utilizan tanto para construir la distribución posterior como para evaluar los modelos estimados. Por lo tanto, el DIC tiende a seleccionar modelos sobreajustados .

Ando (2007) sugirió una solución a los problemas anteriores con la propuesta del criterio de información predictiva bayesiano (BPIC). Ando (2010, cap. 8) presentó un análisis de varios criterios de selección de modelos bayesianos. Para evitar los problemas de sobreajuste del DIC, Ando (2011) desarrolló criterios de selección de modelos bayesianos desde una perspectiva predictiva. El criterio se calcula como:

${\displaystyle {\mathit {IC}}={\bar {D}}+2p_{D}=-2\mathbf {E} ^{\theta }[\log(p(y|\theta ))]+2p_{D}.}$

El primer término mide qué tan bien se ajusta el modelo a los datos, mientras que el segundo penaliza la complejidad del modelo. Cabe destacar que la p en esta expresión representa la distribución predictiva, no la verosimilitud mencionada anteriormente.

El DIC se utilizó en varias bibliotecas de S-Plus (y posteriormente de R ) para ajustar modelos basados ​​en verosimilitud en la década de 1990 (con precedentes sobre los métodos bayesianos, en la medida en que se superponen); generalmente se presenta como una generalización del AIC. El DIC fue definido por Hastie y Tibshirani (1990, pág. 160, ecuación 6.32) ^{[ 1 ]} para los suavizadores ponderados utilizados en los Modelos Aditivos Generalizados, y los cálculos de desviación y grados de libertad efectivos necesarios se incorporaron a la biblioteca GAM (Hastie, 1991). ^{[ 2 ]}

El método aic en S-Plus y R se atribuye (inicialmente) a Pinheiro y Bates, desarrollado en conjunto con el software nlme, ^{[ 3 ]} y posteriormente adaptado a otras bibliotecas (algunas son simplemente AIC; otras requieren aproximaciones al estilo DIC).

En el contexto de la verosimilitud local , Loader (1999, pág. 69, def. 4.4) define un criterio de información de desviación ^{[ 4 ]} con una derivación basada en validación cruzada de dejar uno fuera con jackknife, con cálculos de grados de libertad efectivos explícitamente en términos de derivadas de verosimilitud. Esto conlleva algunas pequeñas diferencias técnicas en comparación con el enfoque de Hastie y Tibshirani.

Irizarry (2001) ^{[ 5 ]} también presenta un desarrollo extenso de criterios de información para la verosimilitud local. A diferencia de las técnicas globales en las fuentes anteriores, los criterios desarrollados por Irizarry se aplican al estimar en un solo punto del espacio de predictores, por lo que son aplicables a los suavizadores adaptativos locales considerados por otros autores.

• Criterio de información de Akaike (AIC)
• Criterio de información bayesiano (BIC)
• Criterio de información focalizada (FIC)
• criterio de información de Hannan-Quinn
• Divergencia de Kullback-Leibler
• divergencia de Jensen-Shannon
• Criterio de información de Watanabe-Akaike (WAIC)

• McElreath, Richard (29 de enero de 2015). "Repensamiento estadístico, Lección 8 (sobre DIC y otros criterios de información)" . Archivado del original el 21 de diciembre de 2021 a través de YouTube .