Inclinación exponencial

La medida con inclinación exponencial en muchos casos tiene la misma forma paramétrica que la de${\displaystyle X}$. Algunos ejemplos unidimensionales incluyen la distribución normal , la distribución exponencial , la distribución binomial y la distribución de Poisson .

Por ejemplo, en el caso de la distribución normal,${\displaystyle N(\mu ,\sigma ^{2})}$la densidad inclinada${\displaystyle f_{\theta }(x)}$es el${\displaystyle N(\mu +\theta \sigma ^{2},\sigma ^{2})}$Densidad. La tabla a continuación proporciona más ejemplos de densidades inclinadas.

No todas las leyes inclinadas permanecen en la misma familia paramétrica familiar . ^{[ 7 ]} Por ejemplo, si${\displaystyle X}$tiene la densidad de Lomax (o Pareto tipo II)

${\displaystyle f(x)=\alpha (1+x)^{-\alpha -1},\qquad x>0,}$

entonces la densidad inclinada es proporcional a${\displaystyle e^{\theta x}(1+x)^{-\alpha -1}}$Es normalizable para${\displaystyle \theta <0}$, pero generalmente no es otra distribución de Lomax.

En mecánica estadística , la energía de un sistema en equilibrio con un baño térmico tiene la distribución de Boltzmann :${\displaystyle \mathbb {P} (E\in dE)\propto e^{-\beta E}\,dE}$, dónde${\displaystyle \beta }$es la temperatura inversa . La inclinación exponencial corresponde entonces a un cambio de temperatura:${\displaystyle \mathbb {P} _{\theta }(E\in dE)\propto e^{-(\beta -\theta )E}\,dE}$.

De manera similar, la energía y el número de partículas de un sistema en equilibrio con un baño de calor y partículas tienen la distribución gran canónica :${\displaystyle \mathbb {P} ((N,E)\in (dN,dE))\propto e^{\beta \mu N-\beta E}\,dN\,dE}$, dónde${\displaystyle \mu }$es el potencial químico . La inclinación exponencial corresponde entonces a cambiar tanto la temperatura como el potencial químico.

En muchos casos, la distribución sesgada pertenece a la misma familia paramétrica que la original. Esto es especialmente cierto cuando la densidad original pertenece a la familia exponencial de distribuciones. Esto simplifica la generación de variables aleatorias durante las simulaciones de Montecarlo. El sesgo exponencial aún puede ser útil si este no es el caso, aunque debe ser posible la normalización y podrían ser necesarios algoritmos de muestreo adicionales.

Además, existe una relación simple entre el CGF original y el inclinado,

${\displaystyle \kappa _{\theta }(\eta )=\log(\mathbb {E} _{\theta }[e^{\eta X}])=\kappa (\theta +\eta )-\kappa (\theta ).}$

Podemos ver esto observando que

${\displaystyle F_{\theta }(x)=\int \limits _{\infty }^{x}\exp\{\theta y-\kappa (\theta )\}f(y)\,dy.}$

De este modo,

${\displaystyle {\begin{aligned}\kappa _{\theta }(\eta )&=\log \int e^{\eta x}\,dF_{\theta }(x)\\&=\log \int e^{\eta x}e^{\theta x-\kappa (\theta )}\,dF(x)\\&=\log \mathbb {E} [e^{(\eta +\theta )X-\kappa (\theta )}]\\&=\log(e^{\kappa (\eta +\theta )-\kappa (\theta )})\\&=\kappa (\eta +\theta )-\kappa (\theta ).\end{aligned}}}$

Claramente, esta relación permite un cálculo sencillo de la CGF de la distribución sesgada y, por lo tanto, de los momentos de las distribuciones. Además, da como resultado una forma simple de la razón de verosimilitud. Específicamente,

${\displaystyle \ell ={\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}={\frac {f(x)}{f_{\theta }(x)}}=e^{-\theta x+\kappa (\theta )}.}$

La inclinación exponencial de${\displaystyle X}$Suponiendo que exista, proporciona una familia de distribuciones que pueden usarse como distribuciones de propuesta para el muestreo de aceptación-rechazo o distribuciones de importancia para el muestreo de importancia . Una aplicación común es el muestreo de una distribución condicionada a una subregión del dominio, es decir${\displaystyle X\mid X\in A}$. Con una elección apropiada de${\displaystyle \theta }$, tomando muestras de${\displaystyle \mathbb {P} _{\theta }}$puede reducir significativamente la cantidad de muestreo necesaria o la varianza de un estimador.

El método de aproximación del punto de silla es una metodología de aproximación de densidad que se utiliza a menudo para la distribución de sumas y promedios de variables aleatorias independientes e idénticamente distribuidas, que emplea series de Edgeworth , pero que generalmente funciona mejor en valores extremos. De la definición de la familia exponencial natural, se deduce que

${\displaystyle f_{\theta }({\bar {x}})=f({\bar {x}})\exp\{n(\theta {\bar {x}}-\kappa (\theta ))\}}$.

Aplicar la expansión de Edgeworth para${\displaystyle f_{\theta }({\bar {x}})}$, tenemos

${\displaystyle f_{\theta }({\bar {x}})=\psi (z)(\mathrm {Var} [{\bar {X}}])^{-1/2}\left\{1+{\frac {\rho _{3}(\theta )h_{3}(z)}{6}}+{\frac {\rho _{4}(\theta )h_{4}(z)}{24}}+\cdots \right\},}$

dónde${\displaystyle \psi (z)}$es la densidad normal estándar de

${\displaystyle {\begin{aligned}&z={\frac {{\bar {x}}-\kappa _{\bar {x}}'(\theta )}{\kappa _{\bar {x}}''(\theta )}},\\[8pt]&\rho _{n}(\theta )=\kappa ^{(n)}(\theta )\{\kappa ''(\theta )^{n/2}\},\end{aligned}}}$

y${\displaystyle h_{n}}$son los polinomios de Hermite .

Al considerar los valores de${\displaystyle {\bar {x}}}$progresivamente más lejos del centro de la distribución,${\displaystyle |z|\rightarrow \infty }$y el${\displaystyle h_{n}(z)}$Los términos se vuelven ilimitados. Sin embargo, para cada valor de${\displaystyle {\bar {x}}}$, podemos elegir${\displaystyle \theta }$de tal manera que

${\displaystyle \kappa '(\theta )={\bar {x}}.}$

Este valor de${\displaystyle \theta }$se denomina punto de silla, y la expansión anterior siempre se evalúa en la esperanza de la distribución inclinada. Esta elección de${\displaystyle \theta }$conduce a la representación final de la aproximación dada por

${\displaystyle f({\bar {x}})\approx \left({\frac {n}{2\pi \kappa ''(\theta )}}\right)^{1/2}\exp\{n(\kappa (\theta )-\theta {\bar {x}})\}.}$^{[ 8 ] [ 9 ]}

Utilizando la distribución inclinada${\displaystyle \mathbb {P} _{\theta }}$Como propuesta, el algoritmo de muestreo por rechazo prescribe el muestreo de${\displaystyle f_{\theta }(x)}$y aceptando con probabilidad

${\displaystyle {\frac {1}{c}}\exp(-\theta x+\kappa (\theta )),}$

dónde

${\displaystyle c=\sup \limits _{x\in X}{\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}(x).}$

Es decir, una variable aleatoria con distribución uniforme.${\displaystyle p\sim {\mbox{Unif}}(0,1)}$se genera y la muestra de${\displaystyle f_{\theta }(x)}$se acepta si

${\displaystyle p\leq {\frac {1}{c}}\exp(-\theta x+\kappa (\theta )).}$

Al aplicar la distribución con inclinación exponencial como distribución de importancia, se obtiene la ecuación.

${\displaystyle \mathbb {E} (h(X))=\mathbb {E} _{\theta }[\ell (X)h(X)],}$

dónde

${\displaystyle \ell (X)={\frac {d\mathbb {P} }{d\mathbb {P} _{\theta }}}}$

es la función de verosimilitud . Entonces, se toman muestras de${\displaystyle f_{\theta }}$para estimar la probabilidad bajo la distribución de importancia${\displaystyle \mathbb {P} (dX)}$y luego lo multiplica por la razón de verosimilitud. Además, tenemos la varianza dada por

${\displaystyle \operatorname {Var} (X)=\operatorname {E} [(\ell (X)h(X)^{2}].}$

Para procesos estocásticos , el análogo de la inclinación exponencial es un cambio de medida en el espacio de trayectorias. En el caso del movimiento browniano , sea${\displaystyle (W_{t})_{0\leq t\leq T}}$ser un movimiento browniano estándar. Para constante${\displaystyle \theta }$,

${\displaystyle Z_{T}=\exp \left\{\theta W_{T}-{\frac {1}{2}}\theta ^{2}T\right\}}$

es una martingala exponencial con esperanza uno. Definiendo una nueva medida${\displaystyle Q}$por

${\displaystyle {\frac {dQ}{dP}}=Z_{T}}$

cambia la deriva estocástica del movimiento browniano: bajo${\displaystyle Q}$, el proceso

${\displaystyle {\widetilde {W}}_{t}=W_{t}-\theta t}$

es un movimiento browniano estándar. Por lo tanto${\displaystyle W_{t}}$tiene deriva${\displaystyle \theta t}$bajo la nueva medida.

De forma más general, el teorema de Girsanov establece que si${\displaystyle \lambda _{t}}$es un proceso adaptado que satisface condiciones de integrabilidad adecuadas, entonces la exponencial estocástica

${\displaystyle Z_{T}=\exp \left\{\int _{0}^{T}\lambda _{t}\,dW_{t}-{\frac {1}{2}}\int _{0}^{T}\lambda _{t}^{2}\,dt\right\}}$

puede utilizarse como derivado de Radon-Nikodym. ^{[ 10 ] [ 11 ]} Bajo la medida${\displaystyle Q}$definido por${\displaystyle dQ/dP=Z_{T}}$,

${\displaystyle {\widetilde {W}}_{t}=W_{t}-\int _{0}^{t}\lambda _{s}\,ds}$

es browniano. Si

${\displaystyle dX_{t}=b_{t}\,dt+\sigma _{t}\,dW_{t}}$

bajo${\displaystyle P}$, luego bajo${\displaystyle Q}$El mismo proceso puede escribirse como

${\displaystyle dX_{t}=(b_{t}+\sigma _{t}\lambda _{t})\,dt+\sigma _{t}\,d{\widetilde {W}}_{t}.}$

Esto es análogo a la inclinación exponencial de una sola variable aleatoria, pero actúa sobre la distribución de una trayectoria estocástica completa en lugar de solo sobre una distribución marginal de tiempo fijo.

Supongamos que X s son variables aleatorias independientes e idénticamente distribuidas con distribución de cola ligera y${\displaystyle \operatorname {E} [X]>0}$Para estimar ${\displaystyle \psi (c)=\mathbb {P} (\tau (c)<\infty )}$dónde${\displaystyle \tau (c)=\inf \left\{t:\sum \limits _{i=1}^{t}X_{i}>c\right\}}$, cuando ${\displaystyle c}$es grande y por lo tanto ${\displaystyle \psi (c)}$pequeño, el algoritmo utiliza inclinación exponencial para derivar la distribución de importancia. El algoritmo se utiliza en muchos aspectos, como pruebas secuenciales, ^{[ 12 ]} tiempos de espera de cola G/G/1 y${\displaystyle \psi }$se utiliza como la probabilidad de ruina final en la teoría de la ruina . En este contexto, es lógico asegurar que${\displaystyle \mathbb {P} _{\theta }(\tau (c)<\infty )=1}$. El criterio${\displaystyle \theta >\theta _{0}}$, dónde${\displaystyle \theta _{0}}$es st${\displaystyle \kappa '(\theta _{0})=0}$logra esto. El algoritmo de Siegmund utiliza${\displaystyle \theta =\theta ^{*}}$, si existe, dónde${\displaystyle \theta ^{*}}$se define de la siguiente manera: ${\displaystyle \kappa (\theta ^{*})=0}$Se ha demostrado que${\displaystyle \theta ^{*}}$es el único parámetro de inclinación que produce un error relativo limitado (${\displaystyle {\underset {x\rightarrow \infty }{\lim \sup }}{\frac {\operatorname {Var} \mathbb {I} _{A(x)}}{\mathbb {P} A(x)^{2}}}<\infty }$). ^{[ 13 ]}

Solo podemos ver la entrada y la salida de una caja negra, sin conocer su estructura. El algoritmo consiste en utilizar solo información mínima sobre su estructura. Cuando generamos números aleatorios, la salida puede no estar dentro de la misma clase paramétrica común, como las distribuciones normal o exponencial. Se puede utilizar un método automatizado para realizar ECM.${\displaystyle X_{1},X_{2},\ldots }$ser iidrv con distribución${\displaystyle G}$; para simplificar, asumimos${\displaystyle X\geq 0}$. Definir${\displaystyle {\mathfrak {F}}_{n}=\sigma (X_{1},\ldots ,X_{n},U_{1},\ldots ,U_{n})}$, dónde${\displaystyle U_{1},U_{2},\ldots }$son independientes (0,  1) uniformes. Un tiempo de parada aleatorio para${\displaystyle X_{1},X_{2},\ldots }$es entonces un tiempo de parada con respecto a la filtración${\displaystyle \{{\mathfrak {F}}_{n}\},\ldots }$Dejemos más${\displaystyle {\mathfrak {G}}}$ser una clase de distribuciones${\displaystyle G}$en${\displaystyle [0,\infty )}$con${\displaystyle k_{G}=\int _{0}^{\infty }e^{\theta x}G(dx)<\infty }$y definir${\displaystyle G_{\theta }}$por${\displaystyle {\frac {dG_{\theta }}{dG(x)}}=e^{\theta x-k_{G}}}$Definimos un algoritmo de caja negra para ECM para el dado${\displaystyle \theta }$y la clase dada${\displaystyle {\mathfrak {G}}}$de distribuciones como un par de un tiempo de parada aleatorio${\displaystyle \tau }$ y un${\displaystyle {\mathfrak {F}}_{\tau }}$-vehículo recreativo medible${\displaystyle Z}$de tal manera que${\displaystyle Z}$se distribuye según${\displaystyle G_{\theta }}$para cualquier${\displaystyle G\in {\mathfrak {G}}}$Formalmente, lo escribimos como${\displaystyle \mathbb {P} _{G}(Z<x)=G_{\theta }(x)}$a pesar de ${\displaystyle x}$En otras palabras, las reglas del juego son que el algoritmo puede usar valores simulados de ${\displaystyle G}$y uniformes adicionales para producir una RV desde ${\displaystyle G_{\theta }}$. ^{[ 14 ]}