Muestreo de transformada inversa

El muestreo de transformación inversa (también conocido como muestreo de inversión , transformación integral de probabilidad inversa , método de transformación inversa o transformación de Smirnov ) es un método básico para el muestreo de números pseudoaleatorios , es decir, para generar números de muestra al azar a partir de cualquier distribución de probabilidad dada su función de distribución acumulativa .

El muestreo por transformación inversa toma muestras uniformes de un número${\displaystyle u}$entre 0 y 1, interpretado como una probabilidad, y luego devuelve el número más pequeño.${\displaystyle x\in \mathbb {R} }$de tal manera que${\displaystyle F(x)\geq u}$para la función de distribución acumulativa${\displaystyle F}$de una variable aleatoria. Por ejemplo, imagina que${\displaystyle F}$es la distribución normal estándar con media cero y desviación estándar uno. La tabla a continuación muestra muestras tomadas de la distribución uniforme y su representación en la distribución normal estándar.

Elegimos aleatoriamente una proporción del área bajo la curva y devolvemos el número en el dominio tal que exactamente esa proporción del área se encuentra a la izquierda de dicho número. Intuitivamente, es poco probable que elijamos un número en el extremo de las colas, ya que hay muy poca área en ellas, lo que requeriría elegir un número muy cercano a cero o a uno.

Desde el punto de vista computacional, este método implica calcular la función cuantil de la distribución; es decir, calcular la función de distribución acumulativa (FDA) de la distribución (que asigna a cada número del dominio una probabilidad entre 0 y 1) y luego invertir dicha función. Este es el origen del término "inversa" o "inversión" en la mayoría de los nombres que recibe este método. Cabe destacar que, para una distribución discreta , calcular la FDA no suele ser demasiado difícil: simplemente sumamos las probabilidades individuales de los distintos puntos de la distribución. Sin embargo, para una distribución continua , necesitamos integrar la función de densidad de probabilidad (FDP) de la distribución, lo cual es imposible de realizar analíticamente para la mayoría de las distribuciones (incluida la distribución normal ). En consecuencia, este método puede resultar computacionalmente ineficiente para muchas distribuciones, por lo que se prefieren otros métodos; no obstante, es un método útil para construir muestreadores de aplicación más general, como los basados ​​en el muestreo por rechazo .

Para la distribución normal , la falta de una expresión analítica para la función cuantil correspondiente implica que otros métodos (por ejemplo, la transformada de Box-Muller ) pueden ser preferibles desde el punto de vista computacional. A menudo, incluso para distribuciones simples, el método de muestreo de la transformada inversa puede mejorarse: ^{[ 1 ]} véase, por ejemplo, el algoritmo de zigurat y el muestreo por rechazo . Por otro lado, es posible aproximar la función cuantil de la distribución normal con extrema precisión utilizando polinomios de grado moderado, y de hecho , el método para hacerlo es lo suficientemente rápido como para que el muestreo por inversión sea ahora el método predeterminado para muestrear a partir de una distribución normal en el paquete estadístico R. ^{[ 2 ]}

Para cualquier variable aleatoria${\displaystyle X}$en${\displaystyle \mathbb {R} }$, la variable aleatoria${\displaystyle F_{X}^{-1}(U)}$tiene la misma distribución que${\displaystyle X}$, dónde${\displaystyle F_{X}^{-1}}$es la inversa generalizada de la función de distribución acumulativa${\displaystyle F_{X}}$de${\displaystyle X}$y${\displaystyle U}$es uniforme en${\displaystyle [0,1]}$. ^{[ 3 ]}

Para variables aleatorias continuas , la transformada integral de probabilidad inversa es de hecho la inversa de la transformada integral de probabilidad , que establece que para una variable aleatoria continua${\displaystyle X}$con función de distribución acumulativa${\displaystyle F_{X}}$, la variable aleatoria${\displaystyle U=F_{X}(X)}$es uniforme en${\displaystyle [0,1]}$.

De${\displaystyle U\sim \mathrm {Unif} [0,1]}$, queremos generar${\displaystyle X}$con CDF${\displaystyle F_{X}(x).}$Suponemos${\displaystyle F_{X}(x)}$ser una función continua y estrictamente creciente , lo cual proporciona una buena intuición.

Queremos ver si podemos encontrar alguna transformación estrictamente monótona.${\displaystyle T:[0,1]\mapsto \mathbb {R} }$, de tal manera que${\displaystyle T(U){\overset {d}{=}}X}$Tendremos

${\displaystyle F_{X}(x)=\Pr(X\leq x)=\Pr(T(U)\leq x)=\Pr(U\leq T^{-1}(x))=T^{-1}(x),{\text{ para }}x\in \mathbb {R} ,}$

donde el último paso usó eso${\displaystyle \Pr(U\leq y)=y}$cuando${\displaystyle U}$es uniforme en${\displaystyle [0,1]}$.

Así que conseguimos${\displaystyle F_{X}}$ser la función inversa de${\displaystyle T}$o, equivalentemente${\displaystyle T(u)=F_{X}^{-1}(u),u\in [0,1].}$

Por lo tanto, podemos generar${\displaystyle X}$de${\displaystyle F_{X}^{-1}(U).}$

El problema que resuelve el método de muestreo de la transformada inversa es el siguiente:

• Dejar${\displaystyle X}$sea ​​una variable aleatoria cuya distribución puede describirse mediante la función de distribución acumulativa.${\displaystyle F_{X}}$.
• Queremos generar valores de${\displaystyle X}$que se distribuyen según esta distribución.

El método de muestreo de la transformada inversa funciona de la siguiente manera:

1. Generar un número aleatorio${\displaystyle u}$de la distribución uniforme estándar en el intervalo${\displaystyle [0,1]}$, es decir, de${\displaystyle U\sim \mathrm {Unif} [0,1].}$
2. Hallar la inversa generalizada de la función de distribución acumulada (CDF) deseada, es decir${\displaystyle F_{X}^{-1}(u)}$.
3. Calcular${\displaystyle X'(u)=F_{X}^{-1}(u)}$La variable aleatoria calculada${\displaystyle X'(U)}$tiene distribución${\displaystyle F_{X}}$y por lo tanto la misma ley que${\displaystyle X}$.

Dicho de otra manera, dada una función de distribución acumulativa${\displaystyle F_{X}}$y una variable uniforme${\displaystyle U\in [0,1]}$, la variable aleatoria${\displaystyle X=F_{X}^{-1}(U)}$tiene la distribución${\displaystyle F_{X}}$. ^{[ 3 ]}

En el caso continuo, se puede dar un tratamiento de dichas funciones inversas como objetos que satisfacen ecuaciones diferenciales. ^{[ 4 ]} Algunas de estas ecuaciones diferenciales admiten soluciones explícitas en series de potencias , a pesar de su no linealidad. ^{[ 5 ]}

• Como ejemplo, supongamos que tenemos una variable aleatoria.${\displaystyle U\sim \mathrm {Unif} (0,1)}$y una función de distribución acumulativa

${\displaystyle {\begin{aligned}F(x)=1-\exp(-{\sqrt {x}})\end{aligned}}}$

Para realizar una inversión, queremos resolver${\displaystyle F(F^{-1}(u))=u}$

${\displaystyle {\begin{aligned}F(F^{-1}(u))&=u\\1-\exp \left(-{\sqrt {F^{-1}(u)}}\right)&=u\\F^{-1}(u)&=(-\log(1-u))^{2}\\&=(\log(1-u))^{2}\end{aligned}}}$

Desde aquí realizaríamos los pasos uno, dos y tres.

• Como otro ejemplo, utilizamos la distribución exponencial con${\displaystyle F_{X}(x)=1-e^{-\lambda x}}$para x ≥ 0 (y 0 en caso contrario). Al resolver y=F(x) obtenemos la función inversa.

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(1-y).}$

Significa que si dibujamos algo${\displaystyle y_{0}}$de un${\displaystyle U\sim \mathrm {Unif} (0,1)}$y calcular${\displaystyle x_{0}=F_{X}^{-1}(y_{0})=-{\frac {1}{\lambda }}\ln(1-y_{0}),}$Este${\displaystyle x_{0}}$tiene distribución exponencial.

La idea se ilustra en el siguiente gráfico:

Nótese que la distribución no cambia si comenzamos con 1-y en lugar de y. Por lo tanto, para fines computacionales, basta con generar números aleatorios y en [0, 1] y luego simplemente calcular

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(y).}$

Dejar${\displaystyle F}$Sea una función de distribución acumulativa y sea${\displaystyle F^{-1}}$sea ​​su función inversa generalizada (usando el ínfimo porque las CDF son débilmente monótonas y continuas por la derecha ): ^{[ 6 ]}

${\displaystyle F^{-1}(u)=\inf \;\{x\mid F(x)\geq u\}\qquad (0<u<1).}$

Afirmación: Si${\displaystyle U}$es una variable aleatoria uniforme en${\displaystyle [0,1]}$entonces${\displaystyle F^{-1}(U)}$tiene${\displaystyle F}$como su CDF.

Prueba:

${\displaystyle {\begin{aligned}&\Pr(F^{-1}(U)\leq x)\\&{}=\Pr(U\leq F(x))\quad &(F{\text{ is right-continuous, so }}\{u:F^{-1}(u)\leq x\}=\{u:u\leq F(x)\})\\&{}=F(x)\quad &({\text{because }}\Pr(U\leq u)=u,{\text{ when }}U{\text{ is uniform on }}[0,1])\\\end{aligned}}}$

El muestreo de transformada inversa puede extenderse fácilmente a casos de distribuciones truncadas en el intervalo${\displaystyle (a,b]}$Sin el coste del muestreo por rechazo: se puede seguir el mismo algoritmo, pero en lugar de generar un número aleatorio${\displaystyle u}$distribuidos uniformemente entre 0 y 1, generan${\displaystyle u}$distribuidos uniformemente entre${\displaystyle F(a)}$y${\displaystyle F(b)}$y luego nuevamente tomar${\displaystyle F^{-1}(u)}$.

Para obtener un gran número de muestras, es necesario realizar el mismo número de inversiones de la distribución. Una forma de reducir el número de inversiones y, al mismo tiempo, obtener un gran número de muestras es la aplicación del muestreador de Monte Carlo de colocación estocástica (muestreador SCMC) dentro de un marco de expansión de caos polinomial . Esto permite generar cualquier número de muestras de Monte Carlo con solo unas pocas inversiones de la distribución original, con muestras independientes de una variable cuyas inversiones están disponibles analíticamente, por ejemplo, la variable normal estándar. ^{[ 7 ]}

Existen implementaciones de software para aplicar el método de muestreo inverso mediante aproximaciones numéricas de la inversa, en caso de que no esté disponible en forma cerrada. Por ejemplo, se puede calcular una aproximación de la inversa si el usuario proporciona información sobre las distribuciones, como la función de densidad de probabilidad (PDF) ^{[ 8 ]} o la función de distribución acumulada (CDF).

• Biblioteca C UNU.RAN ^{[ 9 ]}
• Biblioteca R Runuran ^{[ 10 ]}
• Muestreo del subpaquete de Python en scipy.stats ^{[ 11 ] [ 12 ]}

• Transformación integral de probabilidad
• Cópula , definida mediante la transformada integral de probabilidad.
• Función cuantil , para la construcción explícita de funciones de distribución acumulada inversas.
• Función de distribución inversa para una definición matemática precisa de distribuciones con componentes discretas.
• El muestreo por rechazo es otra técnica común para generar variables aleatorias que no depende de la inversión de la función de distribución acumulada (CDF).