Criterio de información bayesiano

En estadística , el criterio de información bayesiano ( BIC ) o criterio de información de Schwarz (también SIC , SBC , SBIC ) es un criterio para la selección de modelos entre un conjunto finito de modelos; generalmente se prefieren los modelos con un BIC más bajo. Se basa, en parte, en la función de verosimilitud y está estrechamente relacionado con el criterio de información de Akaike (AIC).

Al ajustar modelos, es posible aumentar la máxima verosimilitud añadiendo parámetros, pero al hacerlo se puede producir un sobreajuste . Tanto BIC como AIC intentan resolver este problema introduciendo un término de penalización para la cantidad de parámetros en el modelo; el término de penalización es mayor en BIC que en AIC para tamaños de muestra mayores a 7. ^[1]

El BIC fue desarrollado por Gideon E. Schwarz y publicado en un artículo de 1978, ^[2] donde presentó un argumento bayesiano para adoptarlo.

Definición

El BIC se define formalmente como ^[3]^[a]

\mathrm {BIC} = k\ln(n)-2\ln({\widehat {L}}).\

dónde

${\hat {L}}$ = el valor maximizado de la función de verosimilitud del modelo , es decir , donde son los valores de los parámetros que maximizan la función de verosimilitud y son los datos observados; ${\estilo de visualización M}$ ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ ${\widehat {\theta}}$ ${\estilo de visualización x}$
${\estilo de visualización n}$ = el número de puntos de datos en , el número de observaciones o, equivalentemente, el tamaño de la muestra; ${\estilo de visualización x}$
${\estilo de visualización k}$ = el número de parámetros estimados por el modelo. Por ejemplo, en la regresión lineal múltiple , los parámetros estimados son la intersección, los parámetros de pendiente y la varianza constante de los errores; por lo tanto, . ${\estilo de visualización q}$ $k=q+2$

Derivación

El BIC se puede obtener integrando los parámetros del modelo utilizando el método de Laplace , comenzando con la siguiente evidencia del modelo : ^[5]^[6]^{: 217}

p(x\mid M)=\int p(x\mid \theta ,M)\pi (\theta \mid M)\,d\theta

¿Dónde está el anterior para el modelo inferior ? $\pi(\theta \mid M)$ $\theta$ $M$

La verosimilitud logarítmica, , se expande luego a una serie de Taylor de segundo orden sobre la MLE , , asumiendo que es dos veces diferenciable de la siguiente manera: $\ln(p(x|\theta ,M))$ ${\widehat {\theta }}$

\ln(p(x\mid \theta ,M))=\ln({\widehat {L}})-{\frac {n}{2}}(\theta -{\widehat {\theta }})^{\operatorname {T} }{\mathcal {I}}(\theta )(\theta -{\widehat {\theta }})+R(x,\theta ),

donde es la información observada promedio por observación y denota el término residual. En la medida en que es despreciable y es relativamente lineal cerca de , podemos integrar para obtener lo siguiente: ${\mathcal {I}}(\theta )$ $R(x,\theta )$ $R(x,\theta )$ $\pi (\theta \mid M)$ ${\widehat {\theta }}$ $\theta$

p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi }{n}}\right)}^{\frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})

A medida que aumenta, podemos ignorar y ya que son . Por lo tanto, $n$ $|{\mathcal {I}}({\widehat {\theta }})|$ $\pi ({\widehat {\theta }})$ $O(1)$

p(x\mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(-{\frac {\mathrm {BIC} }{2}}+O(1)\right),

donde BIC se define como se indica anteriormente y (a) es el modo posterior bayesiano o (b) utiliza el MLE y la anterior tiene una pendiente distinta de cero en el MLE. Entonces, el posterior ${\widehat {L}}$ $\pi (\theta \mid M)$

p(M\mid x)\propto p(x\mid M)p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)

Uso

Al elegir entre varios modelos, generalmente se prefieren aquellos con valores de BIC más bajos. El BIC es una función creciente de la varianza del error y una función creciente de k . Es decir, la variación no explicada en la variable dependiente y el número de variables explicativas aumentan el valor del BIC. Sin embargo, un BIC más bajo no necesariamente indica que un modelo sea mejor que otro. Debido a que implica aproximaciones, el BIC es meramente una heurística. En particular, las diferencias en el BIC nunca deben tratarse como factores de Bayes transformados. $\sigma _{e}^{2}$

Es importante tener en cuenta que el BIC se puede utilizar para comparar modelos estimados solo cuando los valores numéricos de la variable dependiente ^[b] son idénticos para todos los modelos que se comparan. Los modelos que se comparan no necesitan estar anidados , a diferencia del caso cuando los modelos se comparan utilizando una prueba F o una prueba de razón de verosimilitud . ^{[ cita requerida ]}

Propiedades

El BIC generalmente penaliza los parámetros libres más fuertemente que el criterio de información de Akaike , aunque depende del tamaño de n y de la magnitud relativa de n y k .
Es independiente del anterior.
Puede medir la eficiencia del modelo parametrizado en términos de predicción de los datos.
Penaliza la complejidad del modelo donde la complejidad se refiere al número de parámetros en el modelo.
Es aproximadamente igual al criterio de longitud mínima de descripción pero con signo negativo.
Se puede utilizar para elegir el número de clústeres según la complejidad intrínseca presente en un conjunto de datos particular.
Está estrechamente relacionado con otros criterios de probabilidad penalizados, como el criterio de información de desviación y el criterio de información de Akaike .

Limitaciones

El BIC adolece de dos limitaciones principales ^[7]

La aproximación anterior sólo es válida para tamaños de muestra mucho mayores que el número de parámetros del modelo. $n$ $k$
El BIC no puede manejar colecciones complejas de modelos como en el problema de selección de variables (o selección de características ) en alta dimensión. ^[7]

Caso especial gaussiano

Suponiendo que los errores o perturbaciones del modelo son independientes y se distribuyen de forma idéntica según una distribución normal y la condición límite de que la derivada de la verosimilitud con respecto a la varianza verdadera es cero, esto se convierte en ( hasta una constante aditiva , que depende sólo de n y no del modelo): ^[8]

\mathrm {BIC} =n\ln({\widehat {\sigma _{e}^{2}}})+k\ln(n)\

donde es la varianza del error. La varianza del error en este caso se define como ${\widehat {\sigma _{e}^{2}}}$

{\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\widehat {x_{i}}})^{2}.

que es un estimador sesgado de la varianza verdadera .

En términos de la suma residual de cuadrados (RSS), el BIC es

\mathrm {BIC} =n\ln(RSS/n)+k\ln(n)\

Al probar múltiples modelos lineales contra un modelo saturado, el BIC se puede reescribir en términos de la desviación como: ^[9] $\chi ^{2}$

\mathrm {BIC} =\chi ^{2}+k\ln(n)

donde es el número de parámetros del modelo en la prueba. $k$

Véase también

Notas

^ Los AIC, AICc y BIC definidos por Claeskens y Hjort ^[4] son los negativos de los definidos en este artículo y en la mayoría de las otras referencias estándar.
^ Una variable dependiente también se denomina variable de respuesta o variable de resultado . Véase Análisis de regresión .

Referencias

^ Véase el artículo de revisión: Stoica, P.; Selen, Y. (2004), "Selección de orden de modelo: una revisión de las reglas de criterio de información", IEEE Signal Processing Magazine (julio): 36–47, doi :10.1109/MSP.2004.1311138, S2CID 17338979.
^ Schwarz, Gideon E. (1978), "Estimación de la dimensión de un modelo", Anales de Estadística , 6 (2): 461–464, doi : 10.1214/aos/1176344136 , MR 0468014.
^ Ingenio, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). "'Todos los modelos están equivocados...': una introducción a la incertidumbre de los modelos" (PDF) . Statistica Neerlandica . 66 (3): 217–236. doi :10.1111/j.1467-9574.2012.00530.x. S2CID 7793470.
^ Claeskens, G .; Hjort, NL (2008), Selección de modelos y promedio de modelos , Cambridge University Press
^ Raftery, AE (1995). "Selección de modelos bayesianos en la investigación social". Metodología sociológica . 25 : 111–196. doi :10.2307/271063. JSTOR 271063.
^ Konishi, Sadanori; Kitagawa, Genshiro (2008). Criterios de información y modelado estadístico . Springer. ISBN 978-0-387-71886-6.
^ ab Giraud, C. (2015). Introducción a la estadística de alta dimensión . Chapman & Hall/CRC. ISBN 9781482237948.
^ Priestley, MB (1981). Análisis espectral y series temporales . Academic Press . ISBN. 978-0-12-564922-3.(pág. 375).
^ Kass, Robert E.; Raftery, Adrian E. (1995), "Factores de Bayes", Revista de la Asociación Estadounidense de Estadística , 90 (430): 773–795, doi :10.2307/2291091, ISSN 0162-1459, JSTOR 2291091 .

Lectura adicional

Bhat, HS; Kumar, N (2010). "Sobre la derivación del criterio de información bayesiano" (PDF) . Archivado desde el original (PDF) el 28 de marzo de 2012.
Findley, DF (1991). "Contraejemplos de parsimonia y BIC". Anales del Instituto de Matemática Estadística . 43 (3): 505–514. doi :10.1007/BF00053369. S2CID 58910242.
Kass, RE; Wasserman, L. (1995). "Una prueba bayesiana de referencia para hipótesis anidadas y su relación con el criterio de Schwarz". Revista de la Asociación Estadounidense de Estadística . 90 (431): 928–934. doi :10.2307/2291327. JSTOR 2291327.
Liddle, AR (2007). "Criterios de información para la selección de modelos astrofísicos". Monthly Notices of the Royal Astronomical Society . 377 (1): L74–L78. arXiv : astro-ph/0701113 . Código Bibliográfico :2007MNRAS.377L..74L. doi : 10.1111/j.1745-3933.2007.00306.x . S2CID 2884450.
McQuarrie, ADR; Tsai, C.-L. (1998). Selección de modelos de regresión y series temporales . World Scientific .

Enlaces externos

Modelado autorregresivo de vectores dispersos

[5] Los AIC, AICc y BIC definidos por Claeskens y Hjort ^[4] son los negativos de los definidos en este artículo y en la mayoría de las otras referencias estándar.

[8] Una variable dependiente también se denomina variable de respuesta o variable de resultado . Véase Análisis de regresión .

[1] Véase el artículo de revisión: Stoica, P.; Selen, Y. (2004), "Selección de orden de modelo: una revisión de las reglas de criterio de información", IEEE Signal Processing Magazine (julio): 36–47, doi :10.1109/MSP.2004.1311138, S2CID 17338979.

[2] Schwarz, Gideon E. (1978), "Estimación de la dimensión de un modelo", Anales de Estadística , 6 (2): 461–464, doi : 10.1214/aos/1176344136 , MR 0468014.

[3] Ingenio, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). "'Todos los modelos están equivocados...': una introducción a la incertidumbre de los modelos" (PDF) . Statistica Neerlandica . 66 (3): 217–236. doi :10.1111/j.1467-9574.2012.00530.x. S2CID 7793470.

[4] Claeskens, G .; Hjort, NL (2008), Selección de modelos y promedio de modelos , Cambridge University Press

[6] Raftery, AE (1995). "Selección de modelos bayesianos en la investigación social". Metodología sociológica . 25 : 111–196. doi :10.2307/271063. JSTOR 271063.

[7] Konishi, Sadanori; Kitagawa, Genshiro (2008). Criterios de información y modelado estadístico . Springer. ISBN 978-0-387-71886-6.

[Giraud-9] Giraud, C. (2015). Introducción a la estadística de alta dimensión . Chapman & Hall/CRC. ISBN 9781482237948.

[Priestley-10] Priestley, MB (1981). Análisis espectral y series temporales . Academic Press . ISBN. 978-0-12-564922-3.(pág. 375).

[Raftery1995-11] Kass, Robert E.; Raftery, Adrian E. (1995), "Factores de Bayes", Revista de la Asociación Estadounidense de Estadística , 90 (430): 773–795, doi :10.2307/2291091, ISSN 0162-1459, JSTOR 2291091 .