regresión de pico y losa

La regresión de pico y placa es un tipo de regresión lineal bayesiana en la que se elige una distribución previa jerárquica particular para los coeficientes de regresión de tal manera que solo se retiene un subconjunto de los posibles regresores . La técnica es particularmente útil cuando el número de predictores posibles es mayor que el número de observaciones. ^{[ 1 ]} La idea del modelo de pico y placa fue propuesta originalmente por Mitchell y Beauchamp (1988). ^{[ 2 ]} El enfoque fue desarrollado significativamente por Madigan y Raftery (1994) ^{[ 3 ]} y George y McCulloch (1997). ^{[ 4 ]} Una contribución reciente e importante a esta literatura es la de Ishwaran y Rao (2005). ^{[ 5 ]}

Supongamos que tenemos P posibles predictores en algún modelo. El vector γ tiene una longitud igual a P y consta de ceros y unos. Este vector indica si una variable en particular se incluye en la regresión o no. Si no se dispone de información previa específica sobre las probabilidades de inclusión iniciales de variables particulares, una distribución previa de Bernoulli es una opción común por defecto. ^{[ 6 ]} Condicionado a que un predictor esté en la regresión, identificamos una distribución previa para el coeficiente del modelo, que corresponde a esa variable ( β ). Una opción común en ese paso es utilizar una distribución previa normal con una media igual a cero y una varianza grande calculada en base a${\displaystyle (X^{T}X)^{-1}}$(dónde${\displaystyle X}$es una matriz de diseño de variables explicativas del modelo). ^{[ 7 ]}

Una extracción de γ de su distribución previa es una lista de las variables incluidas en la regresión. Condicionado a este conjunto de variables seleccionadas, tomamos una extracción de la distribución previa de los coeficientes de regresión (si γ _i = 1 entonces β _i ≠ 0 y si γ _i = 0 entonces β _i = 0). βγ denota el subconjunto de β para el cual γ _i = 1. En el siguiente paso, calculamos una probabilidad posterior tanto para la inclusión como para los coeficientes aplicando un procedimiento estadístico estándar. ^{[ 8 ]} Todos los pasos del algoritmo descrito se repiten miles de veces utilizando la técnica de Monte Carlo de cadena de Markov (MCMC). Como resultado, obtenemos una distribución posterior de γ (inclusión de variables en el modelo), β (valores de los coeficientes de regresión) y la predicción correspondiente de y .

El modelo recibió su nombre (spike-and-slab) debido a la forma de las dos distribuciones previas. El "spike" representa la probabilidad de que un coeficiente específico del modelo sea cero. El "slab" representa la distribución previa de los valores de los coeficientes de regresión.

Una ventaja de las técnicas de selección de variables bayesianas es que pueden utilizar el conocimiento previo sobre el modelo. En ausencia de dicho conocimiento, se pueden utilizar algunos valores predeterminados razonables; citando a Scott y Varian (2013): "Para el analista que prefiere la simplicidad a costa de algunas suposiciones razonables, la información previa útil se puede reducir a un tamaño de modelo esperado, un R² ^esperado y un tamaño de muestra ν que determina el peso dado a la estimación de ^R² " . ^{[ 6 ]} Algunos investigadores sugieren los siguientes valores predeterminados: R² = ^0,5 , ν = 0,01 y π = 0,5 (parámetro de una distribución de Bernoulli previa). ^{[ 6 ]}

• Promediación de modelos bayesianos
• Series temporales estructurales bayesianas
• Lazo

• Congdon, Peter D. (2020). «Técnicas de regresión con priors jerárquicos». Modelos jerárquicos bayesianos (2.ª  ed.). Boca Raton: CRC Press. pp. 253–315 . ISBN  978-1-03-217715-1.