Modelado jerárquico bayesiano

Para un número fijo n , el conjunto${\displaystyle y_{1},y_{2},\ldots,y_{n}}$ es intercambiable si la probabilidad conjunta${\displaystyle P(y_{1},y_{2},\ldots,y_{n})}$es invariante bajo permutaciones de los índices. Es decir, para cada permutación${\displaystyle \pi }$o${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ de (1, 2, …, n ),${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).}$^{[ 11 ]}

El siguiente es un ejemplo intercambiable, pero no independiente e idéntico (iid): Considere una urna con una bola roja y una bola azul en su interior, con probabilidad${\displaystyle {\frac {1}{2}}}$de sacar cualquiera de las dos. Las bolas se sacan sin reemplazo, es decir, después de que se saca una bola de la${\displaystyle n}$bolas, habrá${\displaystyle n-1}$Bolas restantes para el próximo sorteo.

${\displaystyle {\text{Sea }}Y_{i}={\begin{cases}1,&{\text{si la }}i{\text{bola} es roja}},\\0,&{\text{en otro caso}}.\end{cases}}}$

La probabilidad de seleccionar una bola roja en el primer sorteo y una bola azul en el segundo es igual a la probabilidad de seleccionar una bola azul en el primer sorteo y una roja en el segundo, ambas iguales a 1/2:

${\displaystyle P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}}$.

Esto hace que${\displaystyle y_{1}}$y${\displaystyle y_{2}}$cambiable.

Pero la probabilidad de seleccionar una bola roja en el segundo sorteo, dado que la bola roja ya fue seleccionada en el primero, es 0. Esto no es igual a la probabilidad de que la bola roja sea seleccionada en el segundo sorteo, que es 1/2:

${\displaystyle P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}}$.

De este modo,${\displaystyle y_{1}}$y${\displaystyle y_{2}}$no son independientes.

Si${\displaystyle x_{1},\ldots ,x_{n}}$Si son independientes e idénticamente distribuidas, entonces son intercambiables, pero lo contrario no es necesariamente cierto. ^{[ 12 ]}

La intercambiabilidad infinita es la propiedad de que todo subconjunto finito de una secuencia infinita${\displaystyle y_{1}}$,${\displaystyle y_{2},\ldots }$es intercambiable. Para cualquier n , la secuencia${\displaystyle y_{1},y_{2},\ldots,y_{n}}$es intercambiable. ^{[ 12 ]}

El modelado jerárquico bayesiano utiliza dos conceptos importantes para derivar la distribución posterior, ^{[ 1 ]} a saber:

1. Hiperparámetros : parámetros de la distribución a priori
2. Hiperpriores : distribuciones de hiperparámetros

Supongamos que una variable aleatoria Y sigue una distribución normal con parámetro${\displaystyle \theta }$como la media y 1 como la varianza , es decir${\displaystyle Y\mid \theta \sim N(\theta ,1)}$La relación de la tilde${\displaystyle \sim }$puede leerse como "tiene la distribución de" o "se distribuye como". Supongamos también que el parámetro${\displaystyle \theta }$tiene una distribución dada por una distribución normal con media${\displaystyle \mu }$y varianza 1, es decir${\displaystyle \theta \mid \mu \sim N(\mu,1)}$. Además,${\displaystyle \mu }$ follows another distribution given, for example, by the standard normal distribution, ${\displaystyle {\text{N}}(0,1)}$. The parameter ${\displaystyle \mu }$ is called the hyperparameter, while its distribution given by ${\displaystyle {\text{N}}(0,1)}$ is an example of a hyperprior distribution. The notation of the distribution of Y changes as another parameter is added, i.e. ${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$. If there is another stage, say, ${\displaystyle \mu }$ following another normal distribution with a mean of ${\displaystyle \beta }$ and a variance of ${\displaystyle \epsilon }$, then ${\displaystyle \mu \sim N(\beta,\epsilon)}$, ${\displaystyle {\mbox{ }}}$${\displaystyle \beta }$ and ${\displaystyle \epsilon }$ can also be called hyperparameters with hyperprior distributions.^[6]

Let ${\displaystyle y_{j}}$ be an observation and ${\displaystyle \theta _{j}}$ a parameter governing the data generating process for ${\displaystyle y_{j}}$. Assume further that the parameters ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$ are generated exchangeably from a common population, with distribution governed by a hyperparameter ${\displaystyle \phi }$. The Bayesian hierarchical model contains the following stages:

${\displaystyle {\text{Etapa I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

${\displaystyle {\text{Etapa II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

${\displaystyle {\text{Etapa III: }}\phi \sim P(\phi )}$

The likelihood, as seen in stage I is ${\displaystyle P(y_{j}\mid \theta _ {j},\phi )}$, with ${\displaystyle P(\theta _ {j},\phi )}$ as its prior distribution. Note that the likelihood depends on ${\displaystyle \phi }$ only through ${\displaystyle \theta _{j}}$.

The prior distribution from stage I can be broken down into:

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$[from the definition of conditional probability]

With ${\displaystyle \phi }$ as its hyperparameter with hyperprior distribution, ${\displaystyle P(\phi )}$.

Thus, the posterior distribution is proportional to:

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$[using Bayes' Theorem]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$^[13]

As an example, a teacher wants to estimate how well a student did on the SAT. The teacher uses the current grade point average (GPA) of the student for an estimate. Their current GPA, denoted by ${\displaystyle Y}$, has a likelihood given by some probability function with parameter ${\displaystyle \theta }$, i.e. ${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$. This parameter ${\displaystyle \theta }$ is the SAT score of the student. The SAT score is viewed as a sample coming from a common population distribution indexed by another parameter ${\displaystyle \phi }$, which is the high school grade of the student (freshman, sophomore, junior or senior).^[14] That is, ${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$. Moreover, the hyperparameter ${\displaystyle \phi }$ follows its own distribution given by ${\displaystyle P(\phi )}$, a hyperprior.

These relationships can be used to calculate the likelihood of a specific SAT score relative to a particular GPA:

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

All information in the problem will be used to solve for the posterior distribution. Instead of solving only using the prior distribution and the likelihood function, using hyperpriors allows a more nuanced distinction of relationships between given variables.^[15]

In general, the joint posterior distribution of interest in 2-stage hierarchical models is:

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$^[15]

For 3-stage hierarchical models, the posterior distribution is given by:

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$^[15]

${\displaystyle {y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.}$

${\displaystyle \theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.}$

${\displaystyle \sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.}$

Aquí,${\displaystyle y_{ij}}$denota la respuesta continua de la${\displaystyle i}$-ésimo sujeto en el momento${\displaystyle t_{ij}}$, y${\displaystyle x_{ib}}$es el${\displaystyle b}$-ésima covariable de la${\displaystyle i}$-ésimo sujeto. Los parámetros involucrados en el modelo están escritos en letras griegas. La variable${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$es una función conocida parametrizada por la${\displaystyle K}$vector de -dimensiones${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$.

Típicamente,${\displaystyle f}$es una función "no lineal" y describe la trayectoria temporal de los individuos. En el modelo,${\displaystyle \epsilon _{ij}}$y ${\displaystyle \eta _{li}}$describen la variabilidad intraindividual y la variabilidad interindividual, respectivamente. Si no se considera la distribución a priori, la relación se reduce a un modelo frecuentista no lineal de efectos mixtos.

Una tarea central en la aplicación de los modelos bayesianos no lineales de efectos mixtos es evaluar la densidad posterior:

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle =\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{\text{Stage 1: Individual-Level Model}}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 2: Population Model}}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 3: Prior}}}$

El panel de la derecha muestra el ciclo de investigación bayesiana utilizando el modelo bayesiano de efectos mixtos no lineales. ^{[ 16 ]} Un ciclo de investigación que utiliza el modelo bayesiano de efectos mixtos no lineales comprende dos pasos: (a) ciclo de investigación estándar y (b) flujo de trabajo específico bayesiano.

Un ciclo de investigación estándar implica 1) revisión de la literatura , 2) definición de un problema y 3) especificación de la pregunta de investigación y la hipótesis. El flujo de trabajo específico bayesiano estratifica este enfoque para incluir tres subpasos: (b)–(i) formalización de distribuciones previas basadas en el conocimiento previo y la obtención de información previa; (b)–(ii) determinación de la función de verosimilitud basada en una función no lineal.${\displaystyle f}$; y (b)–(iii) realizar una inferencia posterior. La inferencia posterior resultante puede utilizarse para iniciar un nuevo ciclo de investigación.