Aproximaciones de Laplace anidadas integradas

Las aproximaciones Laplace integradas anidadas ( INLA ) son un método para la inferencia bayesiana aproximada basada en el método de Laplace . ^[1] Está diseñado para una clase de modelos llamados modelos gaussianos latentes (LGM), para los cuales puede ser una alternativa rápida y precisa para los métodos de Monte Carlo de cadena de Markov para calcular distribuciones marginales posteriores. ^{[2] [3] [4]} Debido a su velocidad relativa incluso con grandes conjuntos de datos para ciertos problemas y modelos, INLA ha sido un método de inferencia popular en estadística aplicada, en particular estadística espacial , ecología y epidemiología . ^{[5] [6] [7]} También es posible combinar INLA con una solución de método de elementos finitos de una ecuación diferencial parcial estocástica para estudiar, por ejemplo, procesos puntuales espaciales y modelos de distribución de especies . ^{[8] [9]} El método INLA se implementa en el paquete R-INLA R. ^[10]

Sea α la variable de respuesta (es decir, las observaciones) que pertenece a una familia exponencial α , con la media (de α) vinculada a un predictor lineal a través de una función de enlace apropiada α. El predictor lineal puede tomar la forma de un modelo aditivo (bayesiano). Todos los efectos latentes (el predictor lineal, la intersección, los coeficientes de las posibles covariables, etc.) se denotan colectivamente por el vector α . Los hiperparámetros del modelo se denotan por α. Según las estadísticas bayesianas, α y α son variables aleatorias con distribuciones previas. ${\displaystyle {\boldsymbol {y}}=(y_{1},\dots ,y_{n})}$${\displaystyle \mu _{i}}$${\displaystyle y_{i}}$ ${\displaystyle \eta _{i}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$

Se supone que las observaciones son condicionalmente independientes dado y : donde es el conjunto de índices para los elementos observados de (algunos elementos pueden no ser observados y para estos INLA calcula una distribución predictiva posterior). Nótese que el predictor lineal es parte de . ${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$$${\displaystyle \pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})=\prod _{i\in {\mathcal {I}}}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }}),}$$${\displaystyle {\mathcal {I}}}$${\displaystyle {\boldsymbol {y}}}$${\displaystyle {\boldsymbol {\eta }}}$${\displaystyle {\boldsymbol {x}}}$

Para que el modelo sea un modelo gaussiano latente, se supone que es un campo aleatorio gaussiano de Markov (GMRF) ^[1] (es decir, un gaussiano multivariado con propiedades de independencia condicional adicionales) con densidad de probabilidad donde es una matriz de precisión dispersa dependiente de y es su determinante. La matriz de precisión es dispersa debido al supuesto GMRF. La distribución previa para los hiperparámetros no necesita ser gaussiana. Sin embargo, se supone que el número de hiperparámetros, , es pequeño (digamos, menos de 15). ${\displaystyle {\boldsymbol {x}}|{\boldsymbol {\theta }}}$$${\displaystyle \pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\propto \left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}\right),}$$${\displaystyle {\boldsymbol {Q_{\theta }}}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \left|{\boldsymbol {Q_{\theta }}}\right|}$${\displaystyle \pi ({\boldsymbol {\theta }})}$${\displaystyle m=\mathrm {dim} ({\boldsymbol {\theta }})}$

En la inferencia bayesiana, se desea resolver la distribución posterior de las variables latentes y . Aplicando el teorema de Bayes, la distribución posterior conjunta de y se obtiene obteniendo la distribución posterior exacta, por lo general, un problema muy difícil. En INLA, el objetivo principal es aproximar las marginales posteriores donde . ${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$ $${\displaystyle \pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})={\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\pi ({\boldsymbol {\theta }})}{\pi ({\boldsymbol {y}})}},}$$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$$${\displaystyle {\begin{aligned}\pi ({\boldsymbol {x}},{\boldsymbol {\theta }}|{\boldsymbol {y}})&\propto \pi ({\boldsymbol {\theta }})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }})\prod _{i}\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\\&\propto \pi ({\boldsymbol {\theta }})\left|{\boldsymbol {Q_{\theta }}}\right|^{1/2}\exp \left(-{\frac {1}{2}}{\boldsymbol {x}}^{T}{\boldsymbol {Q_{\theta }}}{\boldsymbol {x}}+\sum _{i}\log \left[\pi (y_{i}|\eta _{i},{\boldsymbol {\theta }})\right]\right).\end{aligned}}}$$$${\displaystyle {\begin{array}{rcl}\pi (x_{i}|{\boldsymbol {y}})&=&\int \pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}})\pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\\pi (\theta _{j}|{\boldsymbol {y}})&=&\int \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}}$$${\displaystyle {\boldsymbol {\theta }}_{-j}=\left(\theta _{1},\dots ,\theta _{j-1},\theta _{j+1},\dots ,\theta _{m}\right)}$

Una idea clave de INLA es construir aproximaciones anidadas dadas por donde es una densidad posterior aproximada. La aproximación a la densidad marginal se obtiene de manera anidada aproximando primero y , y luego integrando numéricamente como donde la suma es sobre los valores de , con pesos de integración dados por . La aproximación de se calcula integrando numéricamente a partir de . $${\displaystyle {\begin{array}{rcl}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}(x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}}){\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}\\{\widetilde {\pi }}(\theta _{j}|{\boldsymbol {y}})&=&\int {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})d{\boldsymbol {\theta }}_{-j},\end{array}}}$$${\displaystyle {\widetilde {\pi }}(\cdot |\cdot )}$${\displaystyle \pi (x_{i}|{\boldsymbol {y}})}$${\displaystyle \pi ({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle \pi (x_{i}|{\boldsymbol {\theta }},{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {\theta }}}$$${\displaystyle {\begin{aligned}{\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})=\sum _{k}{\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)\times {\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})\times \Delta _{k},\end{aligned}}}$$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle \Delta _{k}}$${\displaystyle \pi (\theta _{j}|{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {\theta }}_{-j}}$${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})}$

Para obtener la distribución aproximada , se puede utilizar la relación como punto de partida. Luego se obtiene en un valor específico de los hiperparámetros con la aproximación de Laplace ^[1] donde es la aproximación gaussiana a cuya moda en un valor dado es . La moda se puede encontrar numéricamente, por ejemplo, con el método de Newton-Raphson . ${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})}$$${\displaystyle {\begin{aligned}{\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})={\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }},{\boldsymbol {y}}\right)}{\pi \left({\boldsymbol {x}}|{\boldsymbol {\theta }},{\boldsymbol {y}}\right)\pi ({\boldsymbol {y}})}},\end{aligned}}}$$${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {\theta }}={\boldsymbol {\theta }}_{k}}$ $${\displaystyle {\begin{aligned}{\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})&\propto \left.{\frac {\pi \left({\boldsymbol {x}},{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\\&\propto \left.{\frac {\pi ({\boldsymbol {y}}|{\boldsymbol {x}},{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k})\pi ({\boldsymbol {\theta }}_{k})}{{\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}}\right\vert _{{\boldsymbol {x}}={\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})},\end{aligned}}}$$${\displaystyle {\widetilde {\pi }}_{G}\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}$${\displaystyle {\pi }\left({\boldsymbol {x}}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}$${\displaystyle {\boldsymbol {\theta }}_{k}}$${\displaystyle {\boldsymbol {x}}^{*}({\boldsymbol {\theta }}_{k})}$

El truco en la aproximación de Laplace anterior es el hecho de que la aproximación gaussiana se aplica en el condicional completo de en el denominador ya que generalmente está cerca de un gaussiano debido a la propiedad GMRF de . La aplicación de la aproximación aquí mejora la precisión del método, ya que la posterior en sí no necesita estar cerca de un gaussiano, y por lo tanto la aproximación gaussiana no se aplica directamente en . La segunda propiedad importante de un GMRF, la escasez de la matriz de precisión , es necesaria para el cálculo eficiente de para cada valor . ^[1]${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle {\pi }({\boldsymbol {\theta }}|{\boldsymbol {y}})}$${\displaystyle {\boldsymbol {Q}}_{{\boldsymbol {\theta }}_{k}}}$${\displaystyle {\widetilde {\pi }}({\boldsymbol {\theta }}_{k}|{\boldsymbol {y}})}$${\displaystyle {{\boldsymbol {\theta }}_{k}}}$

La obtención de la distribución aproximada es más compleja y el método INLA ofrece tres opciones para ello: aproximación gaussiana, aproximación de Laplace o aproximación de Laplace simplificada. ^[1] Para la integración numérica para obtener , también hay tres opciones disponibles: búsqueda en cuadrícula, diseño compuesto central o Bayes empírico. ^[1]${\displaystyle {\widetilde {\pi }}\left(x_{i}|{\boldsymbol {\theta }}_{k},{\boldsymbol {y}}\right)}$${\displaystyle {\widetilde {\pi }}(x_{i}|{\boldsymbol {y}})}$

• Gomez-Rubio, Virgilio (2021). Inferencia bayesiana con INLA . Chapman y Hall/CRC. ISBN 978-1-03-217453-2.