Hiperparámetro

En estadística bayesiana , un hiperparámetro es un parámetro de una distribución previa ; el término se utiliza para distinguirlos de los parámetros del modelo del sistema subyacente bajo análisis.

Por ejemplo, si se utiliza una distribución beta para modelar la distribución del parámetro p de una distribución de Bernoulli , entonces:

• p es un parámetro del sistema subyacente (distribución de Bernoulli), y
• α y β son parámetros de la distribución previa (distribución beta), por lo tanto son hiperparámetros .

Se puede tomar un único valor para un hiperparámetro dado, o se puede iterar y tomar una distribución de probabilidad en el hiperparámetro mismo, llamado hiperprior .

A menudo se utiliza una distribución previa que proviene de una familia paramétrica de distribuciones de probabilidad; esto se hace en parte por razones de explicitud (para poder escribir una distribución y elegir la forma variando el hiperparámetro, en lugar de intentar producir una función arbitraria) y en parte para poder variar el hiperparámetro, particularmente en el método de distribuciones previas conjugadas o para el análisis de sensibilidad.

Cuando se utiliza una distribución a priori conjugada, la distribución a posteriori será de la misma familia, pero tendrá diferentes hiperparámetros, que reflejan la información agregada de los datos: en términos subjetivos, las creencias de uno se han actualizado. Para una distribución a priori general, esto es computacionalmente muy complejo, y la distribución a posteriori puede tener una forma inusual o difícil de describir, pero con una distribución a priori conjugada, generalmente hay una fórmula simple que relaciona los valores de los hiperparámetros de la distribución a posteriori con los de la distribución a priori, y por lo tanto el cálculo de la distribución a posteriori es muy fácil.

Una preocupación clave de los usuarios de las estadísticas bayesianas, y una crítica de los críticos, es la dependencia de la distribución posterior con respecto a la distribución previa. Los hiperparámetros abordan este problema al permitir que uno los varíe fácilmente y vea cómo varía la distribución posterior (y varias estadísticas de la misma, como los intervalos creíbles ): uno puede ver cuán sensibles son sus conclusiones a sus suposiciones previas, y el proceso se llama análisis de sensibilidad.

De manera similar, se puede utilizar una distribución previa con un rango para un hiperparámetro, definiendo así un hiperprior , tal vez reflejando incertidumbre en el previo correcto a tomar, y reflejar esto en un rango para la incertidumbre final. ^[1]

En lugar de utilizar un único valor para un hiperparámetro determinado, se puede considerar una distribución de probabilidad del hiperparámetro en sí; esto se denomina " hiperprior ". En principio, se puede iterar esto, llamando a los parámetros de un hiperprior "hiperhiperparámetros", y así sucesivamente.

• Método Bayes empírico

• Bernardo, JM; Smith, AFM (2000). Teoría bayesiana. Nueva York: Wiley. ISBN 0-471-49464-X.
• Gelman, A. ; Hill, J. (2007). Análisis de datos mediante regresión y modelos multinivel/jerárquicos. Nueva York: Cambridge University Press. pp. 251–278. ISBN 978-0-521-68689-1.
• Kruschke, JK (2010). Cómo hacer análisis de datos bayesianos: un tutorial con R y BUGS. Academic Press. pp. 241–264. ISBN 978-0-12-381485-2.