Modelado jerárquico bayesiano

Para un número fijo n , el conjunto${\displaystyle y_{1},y_{2},\ldots,y_{n}}$ es intercambiable si la probabilidad conjunta${\displaystyle P(y_{1},y_{2},\ldots,y_{n})}$es invariante bajo permutaciones de los índices. Es decir, para cada permutación${\displaystyle \pi }$o${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ de (1, 2, …, n ),${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).}$^{[ 11 ]}

El siguiente es un ejemplo intercambiable, pero no independiente e idéntico (iid): Considere una urna con una bola roja y una bola azul en su interior, con probabilidad${\displaystyle {\frac {1}{2}}}$de sacar cualquiera de las dos. Las bolas se sacan sin reemplazo, es decir, después de que se saca una bola de la${\displaystyle n}$bolas, habrá${\displaystyle n-1}$Bolas restantes para el próximo sorteo.

${\displaystyle {\text{Sea }}Y_{i}={\begin{cases}1,&{\text{si la }}i{\text{bola} es roja}},\\0,&{\text{en otro caso}}.\end{cases}}}$

La probabilidad de seleccionar una bola roja en el primer sorteo y una bola azul en el segundo es igual a la probabilidad de seleccionar una bola azul en el primer sorteo y una roja en el segundo, ambas iguales a 1/2:

${\displaystyle P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}}$.

Esto hace que${\displaystyle y_{1}}$y${\displaystyle y_{2}}$cambiable.

Pero la probabilidad de seleccionar una bola roja en el segundo sorteo, dado que la bola roja ya fue seleccionada en el primero, es 0. Esto no es igual a la probabilidad de que la bola roja sea seleccionada en el segundo sorteo, que es 1/2:

${\displaystyle P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}}$.

De este modo,${\displaystyle y_{1}}$y${\displaystyle y_{2}}$no son independientes.

Si${\displaystyle x_{1},\ldots ,x_{n}}$Si son independientes e idénticamente distribuidas, entonces son intercambiables, pero lo contrario no es necesariamente cierto. ^{[ 12 ]}

La intercambiabilidad infinita es la propiedad de que todo subconjunto finito de una secuencia infinita${\displaystyle y_{1}}$,${\displaystyle y_{2},\ldots }$es intercambiable. Para cualquier n , la secuencia${\displaystyle y_{1},y_{2},\ldots,y_{n}}$es intercambiable. ^{[ 12 ]}

El modelado jerárquico bayesiano utiliza dos conceptos importantes para derivar la distribución posterior, ^{[ 1 ]} a saber:

1. Hiperparámetros : parámetros de la distribución a priori
2. Hiperpriores : distribuciones de hiperparámetros

Supongamos que una variable aleatoria Y sigue una distribución normal con parámetro${\displaystyle \theta }$como la media y 1 como la varianza , es decir${\displaystyle Y\mid \theta \sim N(\theta ,1)}$La relación de la tilde${\displaystyle \sim }$puede leerse como "tiene la distribución de" o "se distribuye como". Supongamos también que el parámetro${\displaystyle \theta }$tiene una distribución dada por una distribución normal con media${\displaystyle \mu }$y varianza 1, es decir${\displaystyle \theta \mid \mu \sim N(\mu,1)}$. Además,${\displaystyle \mu }$sigue otra distribución dada, por ejemplo, por la distribución normal estándar ,${\displaystyle {\text{N}}(0,1)}$. El parámetro${\displaystyle \mu }$se denomina hiperparámetro, mientras que su distribución viene dada por${\displaystyle {\text{N}}(0,1)}$es un ejemplo de una distribución hiperprior. La notación de la distribución de Y cambia a medida que se agrega otro parámetro, es decir${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$. Si hay otra etapa, por ejemplo,${\displaystyle \mu }$siguiendo otra distribución normal con una media de${\displaystyle \beta }$y una variación de${\displaystyle \epsilon }$, entonces${\displaystyle \mu \sim N(\beta,\epsilon)}$,${\displaystyle {\mbox{ }}}$${\displaystyle \beta }$y${\displaystyle \epsilon }$También se les puede llamar hiperparámetros con distribuciones hiperprior. ^{[ 6 ]}

Dejar${\displaystyle y_{j}}$ser una observación y${\displaystyle \theta _{j}}$un parámetro que rige el proceso de generación de datos para${\displaystyle y_{j}}$Supongamos además que los parámetros${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$se generan de forma intercambiable a partir de una población común, con una distribución regida por un hiperparámetro${\displaystyle \phi }$El modelo jerárquico bayesiano consta de las siguientes etapas :

${\displaystyle {\text{Etapa I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

${\displaystyle {\text{Etapa II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

${\displaystyle {\text{Etapa III: }}\phi \sim P(\phi )}$

La probabilidad, como se observa en la etapa I es${\displaystyle P(y_{j}\mid \theta _ {j},\phi )}$, con${\displaystyle P(\theta _ {j},\phi )}$como su distribución previa. Tenga en cuenta que la probabilidad depende de${\displaystyle \phi }$solo a través de${\displaystyle \theta _{j}}$.

La distribución previa de la etapa I se puede desglosar en:

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$[de la definición de probabilidad condicional]

Con${\displaystyle \phi }$como su hiperparámetro con distribución hiperprior,${\displaystyle P(\phi )}$.

Por lo tanto, la distribución posterior es proporcional a:

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$[utilizando el teorema de Bayes]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$^{[ 13 ]}

Por ejemplo, un profesor quiere estimar el rendimiento de un estudiante en el SAT . El profesor utiliza el promedio de calificaciones actual (GPA) del estudiante para realizar la estimación. Su GPA actual, denotado por${\displaystyle Y}$, tiene una probabilidad dada por alguna función de probabilidad con parámetro${\displaystyle \theta }$, es decir${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$Este parámetro${\displaystyle \theta }$es la puntuación SAT del estudiante. La puntuación SAT se considera una muestra proveniente de una distribución de población común indexada por otro parámetro.${\displaystyle \phi }$, que es el grado de la escuela secundaria del estudiante (primer año, segundo año, tercer año o cuarto año). ^{[ 14 ]} Es decir,${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$. Además, el hiperparámetro${\displaystyle \phi }$sigue su propia distribución dada por${\displaystyle P(\phi )}$, un hiperprior.

Estas relaciones pueden utilizarse para calcular la probabilidad de obtener una puntuación específica en el SAT en relación con un promedio de calificaciones determinado:

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

Toda la información del problema se utilizará para calcular la distribución posterior. En lugar de resolverlo únicamente utilizando la distribución previa y la función de verosimilitud , el uso de hiperpriores permite una distinción más precisa de las relaciones entre las variables dadas. ^{[ 15 ]}

En general, la distribución posterior conjunta de interés en los modelos jerárquicos de dos etapas es:

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$^{[ 15 ]}

Para los modelos jerárquicos de 3 etapas, la distribución posterior viene dada por:

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$^{[ 15 ]}

${\displaystyle {y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.}$

${\displaystyle \theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.}$

${\displaystyle \sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.}$

Aquí,${\displaystyle y_{ij}}$denota la respuesta continua de la${\displaystyle i}$-ésimo sujeto en el momento${\displaystyle t_{ij}}$, y${\displaystyle x_{ib}}$es el${\displaystyle b}$-ésima covariable de la${\displaystyle i}$-ésimo sujeto. Los parámetros involucrados en el modelo están escritos en letras griegas. La variable${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$es una función conocida parametrizada por la${\displaystyle K}$vector de -dimensiones${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$.

Típicamente,${\displaystyle f}$es una función "no lineal" y describe la trayectoria temporal de los individuos. En el modelo,${\displaystyle \epsilon _{ij}}$y ${\displaystyle \eta _{li}}$describen la variabilidad intraindividual y la variabilidad interindividual, respectivamente. Si no se considera la distribución a priori, la relación se reduce a un modelo frecuentista no lineal de efectos mixtos.

Una tarea central en la aplicación de los modelos bayesianos no lineales de efectos mixtos es evaluar la densidad posterior:

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle =\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{\text{Stage 1: Individual-Level Model}}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 2: Population Model}}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 3: Prior}}}$

El panel de la derecha muestra el ciclo de investigación bayesiana utilizando el modelo bayesiano de efectos mixtos no lineales. ^{[ 16 ]} Un ciclo de investigación que utiliza el modelo bayesiano de efectos mixtos no lineales comprende dos pasos: (a) ciclo de investigación estándar y (b) flujo de trabajo específico bayesiano.

Un ciclo de investigación estándar implica 1) revisión de la literatura , 2) definición de un problema y 3) especificación de la pregunta de investigación y la hipótesis. El flujo de trabajo específico bayesiano estratifica este enfoque para incluir tres subpasos: (b)–(i) formalización de distribuciones previas basadas en el conocimiento previo y la obtención de información previa; (b)–(ii) determinación de la función de verosimilitud basada en una función no lineal.${\displaystyle f}$; y (b)–(iii) realizar una inferencia posterior. La inferencia posterior resultante puede utilizarse para iniciar un nuevo ciclo de investigación.