Criterio de información bayesiano

En estadística , el criterio de información bayesiano ( BIC ) o criterio de información de Schwarz (también conocido como SIC , SBC o SBIC ) es un criterio para la selección de modelos entre un conjunto finito de modelos; generalmente se prefieren los modelos con un BIC más bajo. Se basa, en parte, en la función de verosimilitud y está estrechamente relacionado con el criterio de información de Akaike (AIC).

Al ajustar modelos, es posible aumentar la máxima verosimilitud añadiendo parámetros, pero esto puede provocar sobreajuste . Tanto el BIC como el AIC intentan resolver este problema introduciendo un término de penalización para el número de parámetros del modelo; este término es mayor en el BIC que en el AIC para tamaños de muestra superiores a 7. ^{[ 1 ]}

El BIC fue desarrollado por Gideon E. Schwarz y publicado en un artículo de 1978, ^{[ 2 ]} como una aproximación de muestra grande al factor de Bayes .

El BIC se define formalmente como ^{[ 3 ] [ a ]}

${\displaystyle \mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}}).\ }$

dónde

• ${\displaystyle {\hat {L}}}$= el valor maximizado de la función de verosimilitud del modelo${\displaystyle M}$, es decir${\displaystyle {\hat {L}}=p(x\mid {\widehat {\theta }},M)}$, dónde${\displaystyle \{{\widehat {\theta }}\}}$son los valores de los parámetros que maximizan la función de verosimilitud y${\displaystyle x}$son los datos observados;
• ${\displaystyle n}$= el número de puntos de datos en${\displaystyle x}$, el número de observaciones , o equivalentemente, el tamaño de la muestra;
• ${\displaystyle k}$= el número de parámetros estimados por el modelo. Por ejemplo, en la regresión lineal múltiple , los parámetros estimados son el intercepto, el${\displaystyle q}$parámetros de pendiente y la varianza constante de los errores; por lo tanto,${\displaystyle k=q+2}$.

El BIC se puede derivar integrando los parámetros del modelo utilizando el método de Laplace , comenzando con la siguiente evidencia del modelo : ^{[ 5 ] [ 6 ] : 217}

${\displaystyle p(x\mid M)=\int p(x\mid \theta ,M)\pi (\theta \mid M)\,d\theta }$

dónde${\displaystyle \pi (\theta \mid M)}$es el prior para${\displaystyle \theta }$bajo modelo${\displaystyle M}$.

La verosimilitud logarítmica,${\displaystyle \ln(p(x\mid \theta ,M))}$, luego se expande a una serie de Taylor de segundo orden sobre el MLE ,${\displaystyle {\widehat {\theta }}}$, suponiendo que es dos veces diferenciable de la siguiente manera:

${\displaystyle \ln(p(x\mid \theta ,M))=\ln({\widehat {L}})-{\frac {n}{2}}(\theta -{\widehat {\theta }})^{\operatorname {T} }{\mathcal {I}}({\widehat {\theta }})(\theta -{\widehat {\theta }})+R(x,\theta ),}$

dónde${\displaystyle {\mathcal {I}}(\theta)}$es la información observada promedio por observación , y${\displaystyle R(x,\theta )}$denota el término residual. En la medida en que${\displaystyle R(x,\theta )}$es insignificante y${\displaystyle \pi (\theta \mid M)}$es relativamente lineal cerca${\displaystyle {\widehat {\theta }}}$, podemos integrarlo${\displaystyle \theta }$para obtener lo siguiente:

${\displaystyle p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi }{n}}\right)}^{\frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})}$

Como${\displaystyle n}$aumentos, podemos ignorar${\displaystyle |{\mathcal {I}}({\widehat {\theta }})|}$y${\displaystyle \pi ({\widehat {\theta }})}$tal como son${\displaystyle O(1)}$. De este modo,

${\displaystyle p(x\mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(-{\frac {\mathrm {BIC} }{2}}+O(1)\right),}$

donde BIC se define como se indicó anteriormente, y${\displaystyle {\widehat {L}}}$o bien (a) es el modo posterior bayesiano o bien (b) utiliza el MLE y la distribución a priori${\displaystyle \pi (\theta \mid M)}$tiene una pendiente distinta de cero en el MLE. Entonces, la posterior

${\displaystyle p(M\mid x)\propto p(x\mid M)p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)}$

Los argumentos anteriores son heurísticos, pero pueden hacerse matemáticamente rigurosos bajo los supuestos técnicos de continuidad de Lipschitz y convexidad fuerte , como sigue.

Lema. (Lema 2.82 ^{[ 7 ]} ) Definir${\displaystyle \ell _{n}(\theta )=-\ln(p(x\mid \theta ,M)\pi (\theta \mid M))/n}$. Si la secuencia de gradientes${\displaystyle \{\nabla \ell _{n}(\theta )\}}$es Lipschitz continua, uniformemente en${\displaystyle n}$y cada${\displaystyle \ell _{n}(\theta )}$es fuertemente convexa con un parámetro común${\displaystyle m>0}$(independiente de${\displaystyle n}$), entonces como${\displaystyle n\rightarrow \infty }$: $${\displaystyle \ln p(x\mid M)=\ln(p(x\mid {\bar {\theta }}_{n},M)\pi ({\bar {\theta }}_{n}\mid M))-{\frac {k}{2}}\ln(n)+O(1),}$$ dónde${\displaystyle {\bar {\theta }}_{n}=\arg \min _{\theta }\ell _{n}(\theta )}$es la estimación de máxima posteriori (MAP) de${\displaystyle \theta }$.

Tenga en cuenta que siempre es posible seleccionar una densidad previa.${\displaystyle \pi (\theta \mid M)}$de tal manera que cada${\displaystyle \ell _{n}(\theta )}$es fuertemente convexa (con el mismo parámetro${\displaystyle m}$). Dicha distribución a priori garantiza que la estimación MAP${\displaystyle {\bar {\theta }}_{n}}$existe, incluso en casos donde la estimación MLE${\displaystyle {\hat {\theta }}}$en sí mismo no existe.

Al elegir entre varios modelos, generalmente se prefieren aquellos con valores BIC más bajos. El BIC es una función creciente de la varianza del error.${\displaystyle \sigma _{e}^{2}}$y una función creciente de k . Es decir, la variación no explicada en la variable dependiente y el número de variables explicativas aumentan el valor del BIC. Sin embargo, un BIC menor no indica necesariamente que un modelo sea mejor que otro. Dado que implica aproximaciones, el BIC es simplemente una heurística. En particular, las diferencias en el BIC nunca deben tratarse como factores de Bayes transformados.

Es importante tener en cuenta que el BIC solo se puede usar para comparar modelos estimados cuando los valores numéricos de la variable dependiente ^{[ b ]} son ​​idénticos para todos los modelos que se comparan. Los modelos que se comparan no tienen por qué estar anidados , a diferencia de cuando se comparan modelos usando una prueba F o una prueba de razón de verosimilitud .

Para comparar dos modelos diferentes, simplemente calcule el BIC para cada modelo y compárelos según la tabla que aparece a continuación:

El BIC sufre de dos limitaciones principales: ^{[ 8 ]}

1. La aproximación anterior solo es válida para el tamaño de la muestra.${\displaystyle n}$mucho mayor que el número${\displaystyle k}$de parámetros en el modelo.
2. El BIC no puede manejar colecciones complejas de modelos como en el problema de selección de variables (o selección de características ) en alta dimensión. ^{[ 8 ]}

Bajo el supuesto de que los errores o perturbaciones del modelo son independientes e idénticamente distribuidos según una distribución normal y la condición de contorno de que la derivada de la verosimilitud logarítmica con respecto a la varianza verdadera es cero, esto se convierte en ( salvo una constante aditiva , que depende solo de n y no del modelo): ^{[ 9 ]}

${\displaystyle \mathrm {BIC} =n\ln({\widehat {\sigma _{e}^{2}}})+k\ln(n)\ }$

dónde${\displaystyle {\widehat {\sigma _{e}^{2}}}}$es la varianza del error. La varianza del error en este caso se define como

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\widehat {x}}_{i})^{2}.}$

lo cual es un estimador sesgado de la varianza verdadera .

En términos de la suma residual de cuadrados (RSS), el BIC es

${\displaystyle \mathrm {BIC} =n\ln({\text{RSS}}/n)+k\ln(n)\ }$

Al probar múltiples modelos lineales frente a un modelo saturado, el BIC se puede reescribir en términos de la desviación.${\displaystyle \chi ^{2}}$como: ^{[ 10 ]}

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\ln(n)}$

dónde${\displaystyle k}$es el número de parámetros del modelo en la prueba.

• Bhat, HS; Kumar, N (2010). "Sobre la derivación del criterio de información bayesiano" (PDF) . Archivado del original (PDF) el 28 de marzo de 2012.
• Findley, DF (1991). "Contraejemplos a la parsimonia y el BIC". Anales del Instituto de Matemáticas Estadísticas . 43 (3): 505– 514. doi : 10.1007/BF00053369 . S2CID 58910242 . 
• Kass, RE; Wasserman, L. (1995). "Una prueba bayesiana de referencia para hipótesis anidadas y su relación con el criterio de Schwarz". Journal of the American Statistical Association . 90 (431): 928– 934. doi : 10.2307/2291327 . JSTOR 2291327 . 
• Liddle, AR (2007). "Criterios de información para la selección de modelos astrofísicos" . Monthly Notices of the Royal Astronomical Society . 377 (1): L74– L78. arXiv : astro-ph/0701113 . Bibcode : 2007MNRAS.377L..74L . doi : 10.1111/j.1745-3933.2007.00306.x . S2CID 2884450 . 
• McQuarrie, ADR; Tsai, C.-L. (1998). Selección de modelos de regresión y series temporales . World Scientific .

• Modelado autorregresivo de vectores dispersos