estimador bayesiano

La función de riesgo más común utilizada para la estimación bayesiana es el error cuadrático medio (ECM), también llamado riesgo de error cuadrático . El ECM se define por

${\displaystyle \mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],}$

donde la esperanza se toma sobre la distribución conjunta de${\displaystyle \theta }$y${\displaystyle x}$.

Si no existe una razón intrínseca para preferir una distribución de probabilidad a priori sobre otra, a veces se elige una distribución a priori conjugada por simplicidad. Una distribución a priori conjugada se define como una distribución a priori perteneciente a una familia paramétrica , cuya distribución a posteriori resultante también pertenece a la misma familia. Esta es una propiedad importante, ya que el estimador bayesiano, así como sus propiedades estadísticas (varianza, intervalo de confianza, etc.), pueden derivarse de la distribución a posteriori.

Las distribuciones a priori conjugadas son especialmente útiles para la estimación secuencial, donde la distribución a posteriori de la medición actual se utiliza como distribución a priori en la siguiente medición. En la estimación secuencial, a menos que se utilice una distribución a priori conjugada, la distribución a posteriori suele volverse más compleja con cada medición añadida, y el estimador bayesiano generalmente no se puede calcular sin recurrir a métodos numéricos.

A continuación se presentan algunos ejemplos de distribuciones a priori conjugadas.

• Si${\displaystyle x|\theta }$es normal ,${\displaystyle x|\theta \sim N(\theta ,\sigma ^{2})}$y la distribución a priori es normal,${\displaystyle \theta \sim N(\mu ,\tau ^{2})}$, entonces la distribución posterior también es normal y el estimador bayesiano bajo MSE viene dado por

${\displaystyle {\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.}$

• Si${\displaystyle x_{1},...,x_{n}}$son variables aleatorias de Poisson i.i.d.${\displaystyle x_{i}|\theta \sim P(\theta )}$y si la distribución a priori es Gamma${\displaystyle \theta \sim G(a,b)}$, entonces la distribución posterior también es Gamma, y ​​el estimador bayesiano bajo MSE viene dado por

${\displaystyle {\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+b}}.}$

• Si${\displaystyle x_{1},...,x_{n}}$son i.i.d. distribuidas uniformemente${\displaystyle x_{i}|\theta \sim U(0,\theta )}$y si la distribución a priori es de Pareto${\displaystyle \theta \sim Pa(\theta _{0},a)}$, entonces la distribución posterior también es de Pareto, y el estimador bayesiano bajo MSE viene dado por

${\displaystyle {\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})}}{a+n-1}}.}$

Las funciones de riesgo se eligen en función de cómo se mide la distancia entre la estimación y el parámetro desconocido. El MSE es la función de riesgo más común, principalmente debido a su simplicidad. Sin embargo, ocasionalmente también se utilizan funciones de riesgo alternativas. A continuación se presentan varios ejemplos de dichas alternativas. Denotamos la función de distribución generalizada posterior por${\displaystyle F}$.

Un ejemplo típico es la estimación de un parámetro de localización con una función de pérdida del tipo${\displaystyle L(a-\theta )}$. Aquí${\displaystyle \theta }$es un parámetro de ubicación, es decir,${\displaystyle p(x|\theta )=f(x-\theta )}$.

Es común utilizar el uso incorrecto previo${\displaystyle p(\theta )=1}$en este caso, especialmente cuando no se dispone de otra información más subjetiva. Esto produce

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{p(x)}}={\frac {f(x-\theta )}{p(x)}}}$

por lo tanto la pérdida esperada posterior

${\displaystyle E[L(a-\theta )|x]=\int {L(a-\theta )p(\theta |x)d\theta }={\frac {1}{p(x)}}\int L(a-\theta )f(x-\theta )d\theta .}$

El estimador bayesiano generalizado es el valor${\displaystyle a(x)}$que minimiza esta expresión para un dado${\displaystyle x}$Esto equivale a minimizar

${\displaystyle \int L(a-\theta )f(x-\theta )d\theta }$para un dado${\displaystyle x.}$    (1)

En este caso se puede demostrar que el estimador bayesiano generalizado tiene la forma${\displaystyle x+a_{0}}$, por alguna constante${\displaystyle a_{0}}$Para ver esto, deja${\displaystyle a_{0}}$sea ​​el valor que minimiza (1) cuando${\displaystyle x=0}$. Luego, dado un valor diferente${\displaystyle x_{1}}$debemos minimizar

${\displaystyle \int L(a-\theta )f(x_{1}-\theta )d\theta =\int L(a-x_{1}-\theta ')f(-\theta ')d\theta '.}$    (2)

Esto es idéntico a (1), excepto que${\displaystyle a}$ha sido reemplazado por${\displaystyle a-x_{1}}$Por lo tanto, la expresión que minimiza viene dada por${\displaystyle a-x_{1}=a_{0}}$, de modo que el estimador óptimo tenga la forma

${\displaystyle a(x)=a_{0}+x.\,\!}$

El siguiente es un ejemplo simple de estimación bayesiana empírica paramétrica. Dadas las observaciones pasadas${\displaystyle x_{1},\ldots ,x_{n}}$tener distribución condicional${\displaystyle f(x_{i}|\theta _{i})}$, uno está interesado en estimar${\displaystyle \theta _{n+1}}$Residencia en${\displaystyle x_{n+1}}$. Supongamos que el${\displaystyle \theta _{i}}$tienen un antecedente común${\displaystyle \pi }$que depende de parámetros desconocidos. Por ejemplo, supongamos que${\displaystyle \pi }$es normal con media desconocida${\displaystyle \mu _{\pi }\,\!}$y varianza${\displaystyle \sigma _{\pi }\,\!.}$Luego podemos usar las observaciones pasadas para determinar la media y la varianza de${\displaystyle \pi }$de la siguiente manera.

Primero, estimamos la media${\displaystyle \mu _{m}\,\!}$y varianza${\displaystyle \sigma _{m}\,\!}$de la distribución marginal de${\displaystyle x_{1},\ldots ,x_{n}}$utilizando el método de máxima verosimilitud :

${\displaystyle {\widehat {\mu }}_{m}={\frac {1}{n}}\sum {x_{i}},}$

${\displaystyle {\widehat {\sigma }}_{m}^{2}={\frac {1}{n}}\sum {(x_{i}-{\widehat {\mu }}_{m})^{2}}.}$

A continuación, utilizamos la ley de la esperanza total para calcular${\displaystyle \mu _{m}}$y la ley de la varianza total para calcular${\displaystyle \sigma _{m}^{2}}$de tal manera que

${\displaystyle \mu _{m}=E_{\pi }[\mu _{f}(\theta )]\,\!,}$

${\displaystyle \sigma _{m}^{2}=E_{\pi }[\sigma _{f}^{2}(\theta )]+E_{\pi }[(\mu _{f}(\theta )-\mu _{m})^{2}],}$

dónde${\displaystyle \mu _{f}(\theta )}$y${\displaystyle \sigma _{f}(\theta )}$son los momentos de la distribución condicional${\displaystyle f(x_{i}|\theta _{i})}$, que se suponen conocidos. En particular, supongamos que${\displaystyle \mu _{f}(\theta )=\theta }$y eso${\displaystyle \sigma _{f}^{2}(\theta )=K}$; entonces tenemos

${\displaystyle \mu _{\pi }=\mu _{m}\,\!,}$

${\displaystyle \sigma _{\pi }^{2}=\sigma _{m}^{2}-\sigma _{f}^{2}=\sigma _{m}^{2}-K.}$

Finalmente, obtenemos los momentos estimados de la distribución a priori,

${\displaystyle {\widehat {\mu }}_{\pi }={\widehat {\mu }}_{m},}$

${\displaystyle {\widehat {\sigma }}_{\pi }^{2}={\widehat {\sigma }}_{m}^{2}-K.}$

Por ejemplo, si${\displaystyle x_{i}|\theta _{i}\sim N(\theta _{i},1)}$y si asumimos una distribución a priori normal (que en este caso es una distribución a priori conjugada), concluimos que${\displaystyle \theta _{n+1}\sim N({\widehat {\mu }}_{\pi },{\widehat {\sigma }}_{\pi }^{2})}$, a partir del cual el estimador bayesiano de${\displaystyle \theta _{n+1}}$Residencia en${\displaystyle x_{n+1}}$se puede calcular.

Las reglas bayesianas con riesgo bayesiano finito suelen ser admisibles . A continuación se presentan algunos ejemplos específicos de teoremas de admisibilidad.

• Si una regla de Bayes es única, entonces es admisible. ^{[ 7 ]} Por ejemplo, como se indicó anteriormente, bajo el error cuadrático medio (ECM), la regla de Bayes es única y, por lo tanto, admisible.
• Si θ pertenece a un conjunto discreto , entonces todas las reglas de Bayes son admisibles.
• Si θ pertenece a un conjunto continuo (no discreto) y si la función de riesgo R(θ,δ) es continua en θ para cada δ, entonces todas las reglas de Bayes son admisibles.

Por el contrario, las reglas bayesianas generalizadas a menudo tienen un riesgo bayesiano indefinido en el caso de distribuciones previas impropias. Estas reglas suelen ser inadmisibles y la verificación de su admisibilidad puede ser difícil. Por ejemplo, el estimador bayesiano generalizado de un parámetro de localización θ basado en muestras gaussianas (descrito en la sección "Estimador bayesiano generalizado" anterior) es inadmisible para${\displaystyle p>2}$; esto se conoce como el fenómeno de Stein .

Sea θ una variable aleatoria desconocida, y supongamos que${\displaystyle x_{1},x_{2},\ldots }$son muestras iid con densidad${\displaystyle f(x_{i}|\theta )}$. Dejar${\displaystyle \delta _{n}=\delta _{n}(x_{1},\ldots ,x_{n})}$sea ​​una secuencia de estimadores bayesianos de θ basados ​​en un número creciente de mediciones. Estamos interesados ​​en analizar el desempeño asintótico de esta secuencia de estimadores, es decir, el desempeño de${\displaystyle \delta _{n}}$para n grande .

Para ello, es habitual considerar a θ como un parámetro determinista cuyo verdadero valor es${\displaystyle \theta _{0}}$. Bajo ciertas condiciones, ^{[ 8 ]} para muestras grandes (valores grandes de n ), la densidad posterior de θ es aproximadamente normal. En otras palabras, para n grande , el efecto de la probabilidad previa sobre la posterior es insignificante. Además, si δ es el estimador bayesiano bajo riesgo de MSE, entonces es asintóticamente insesgado y converge en distribución a la distribución normal :

${\displaystyle {\sqrt {n}}(\delta _{n}-\theta _{0})\to N\left(0,{\frac {1}{I(\theta _{0})}}\right),}$

donde I (θ ₀ ) es la información de Fisher de θ ₀ . De ello se deduce que el estimador bayesiano δ _n bajo MSE es asintóticamente eficiente .

Otro estimador asintóticamente normal y eficiente es el estimador de máxima verosimilitud (EMV). La relación entre los estimadores de máxima verosimilitud y bayesianos se puede ilustrar con el siguiente ejemplo sencillo.