El muestreo por importancia es un método de Monte Carlo para evaluar propiedades de una distribución particular , utilizando únicamente muestras generadas a partir de una distribución diferente a la de interés. Su introducción en estadística se atribuye generalmente a un artículo de Teun Kloek y Herman K. van Dijk en 1978, [ 1 ] pero sus precursores se encuentran en la física estadística desde 1949. [ 2 ] [ 3 ] El muestreo por importancia también está relacionado con el muestreo de paraguas en física computacional . Dependiendo de la aplicación, el término puede referirse al proceso de muestreo de esta distribución alternativa, al proceso de inferencia o a ambos.
Teoría básica
Dejarsea una variable aleatoria en algún espacio de probabilidad. Deseamos estimar el valor esperado debajo, denotadoSi tenemos muestras aleatorias estadísticamente independientes, generado según, entonces una estimación empírica dees solo
y la precisión de esta estimación depende de la varianza de:
La idea básica del muestreo por importancia es muestrear de una distribución diferente para reducir la varianza de la estimación deo cuando se toman muestras directamente dees difícil.
Esto se logra eligiendo primero una variable aleatoria.de tal manera quey eso- casi en todas partes. Con la variabledefinimos una probabilidadque satisface
La variablepor lo tanto, se tomarán muestras bajoestimarcomo se indicó anteriormente y esta estimación mejora cuando
Cuandoes de signo constante sobre, la mejor variablesería claramente, de modo quees la constante buscaday una sola muestra bajobasta para dar su valor. Desafortunadamente no podemos tomar esa decisión, porque¡Ese es precisamente el valor que estamos buscando! Sin embargo, este es el mejor caso teórico.nos da una idea de lo que hace el muestreo de importancia: para todos, la densidad deense puede escribir como
A la derecha,es uno de los elementos infinitesimales que suman:
Por lo tanto, un buen cambio de probabilidaden el muestreo de importancia redistribuirá la ley dede modo que las frecuencias de sus muestras se ordenen directamente según sus contribuciones enen contraposición aDe ahí el nombre de "muestreo por importancia".
El muestreo de importancia se utiliza a menudo como integrador de Monte Carlo . Cuandoes la distribución uniforme sobre, la expectativacorresponde a la integral de la función real.
Aplicación a la inferencia probabilística
Estos métodos se utilizan frecuentemente para estimar densidades o expectativas posteriores en problemas de estimación de estado y/o parámetros en modelos probabilísticos que son demasiado difíciles de tratar analíticamente. Algunos ejemplos incluyen redes bayesianas y autoencoders variacionales ponderados por importancia . [ 4 ]
Aplicación a la simulación
El muestreo por importancia es una técnica de reducción de varianza que se puede utilizar en el método de Monte Carlo . La idea detrás del muestreo por importancia es que ciertos valores de las variables aleatorias de entrada en una simulación tienen mayor impacto en el parámetro que se está estimando que otros. Si estos valores " importantes " se enfatizan mediante un muestreo más frecuente, entonces se puede reducir la varianza del estimador . Por lo tanto, la metodología básica del muestreo por importancia consiste en elegir una distribución que "fomente" los valores importantes. El uso de distribuciones "sesgadas" dará como resultado un estimador sesgado si se aplica directamente en la simulación. Sin embargo, los resultados de la simulación se ponderan para corregir el uso de la distribución sesgada, lo que garantiza que el nuevo estimador de muestreo por importancia sea insesgado. La ponderación viene dada por la razón de verosimilitud , es decir, la derivada de Radon-Nikodym de la verdadera distribución subyacente con respecto a la distribución de simulación sesgada.
El problema fundamental en la implementación de la simulación por muestreo de importancia radica en la elección de la distribución sesgada que favorece las regiones importantes de las variables de entrada. Elegir o diseñar una buena distribución sesgada es el "arte" del muestreo de importancia. Las ventajas de una buena distribución pueden traducirse en un ahorro considerable de tiempo de ejecución; las desventajas de una mala distribución pueden ser tiempos de ejecución mayores que los de una simulación de Monte Carlo convencional sin muestreo de importancia.
Considerarser la muestra yser la razón de verosimilitud, dondees la función de densidad de probabilidad (masa) de la distribución deseada yes la función de densidad de probabilidad (masa) de la distribución sesgada/propuesta/muestra. Entonces el problema se puede caracterizar eligiendo la distribución de la muestra.que minimiza la varianza de la muestra escalada:
Se puede demostrar que la siguiente distribución minimiza la varianza anterior: [ 5 ]
Observa que cuando, esta varianza se convierte en 0.
Enfoque matemático
Considere estimar mediante simulación la probabilidadde un evento, dóndees una variable aleatoria con función de distribución acumulativay función de densidad de probabilidad, donde prima denota derivada . A-secuencia independiente de la longitud e idénticamente distribuida (iid)se genera a partir de la distribucióny el númerode variables aleatorias que se encuentran por encima del umbralse cuentan. La variable aleatoriaSe caracteriza por la distribución binomial.
Se puede demostrar que, y, así que en el límitepodemos obtener. Tenga en cuenta que la varianza es baja siEl muestreo por importancia se ocupa de la determinación y el uso de una función de densidad alternativa.(para), generalmente denominada densidad de polarización, para el experimento de simulación. Esta densidad permite el eventopara ocurrir con mayor frecuencia, por lo que las longitudes de las secuenciasse vuelve más pequeño para una varianza de estimador dada . Alternativamente, para una dada, el uso de la densidad de sesgo da como resultado una varianza menor que la de la estimación convencional de Monte Carlo. A partir de la definición de, podemos presentarcomo se indica a continuación.
dónde
es una razón de verosimilitud y se denomina función de ponderación. La última igualdad en la ecuación anterior motiva al estimador.
Este es el estimador de muestreo de importancia dey es imparcial. Es decir, el procedimiento de estimación consiste en generar muestras i.i.d. a partir dey por cada muestra que exceda, la estimación se incrementa por el pesoevaluado en el valor de la muestra. Los resultados se promedian sobreensayos. Se demuestra fácilmente que la varianza del estimador de muestreo de importancia es
Ahora bien, el problema del muestreo de importancia se centra entonces en encontrar una densidad de sesgo.De tal manera que la varianza del estimador de muestreo por importancia sea menor que la varianza de la estimación general de Monte Carlo. Para alguna función de densidad de sesgo que minimiza la varianza y, bajo ciertas condiciones, la reduce a cero, se la denomina función de densidad de sesgo óptima.
Métodos de sesgo convencionales
Aunque existen muchos tipos de métodos de sesgo, los dos siguientes son los más utilizados en las aplicaciones del muestreo por importancia.
Escalada
Desplazamiento de la masa de probabilidad hacia la región del eventomediante escalamiento positivo de la variable aleatoriaUn valor mayor que la unidad tiene el efecto de aumentar la varianza (y también la media) de la función de densidad. Esto resulta en una cola más pesada de la densidad, lo que conlleva un aumento en la probabilidad del evento. El escalado es probablemente uno de los métodos de sesgo más antiguos que se conocen y se ha utilizado ampliamente en la práctica. Es sencillo de implementar y, por lo general, proporciona ganancias de simulación conservadoras en comparación con otros métodos.
En el muestreo de importancia por escalado, la densidad de simulación se elige como la función de densidad de la variable aleatoria escalada.donde normalmentepara la estimación de la probabilidad de cola. Mediante transformación,
y la función de ponderación es
Si bien el escalado desplaza la masa de probabilidad hacia la región de eventos deseada, también empuja la masa hacia la región complementaria.lo cual es indeseable. Sies una suma devariables aleatorias, la propagación de la masa tiene lugar en unespacio dimensional. La consecuencia de esto es una ganancia de muestreo de importancia decreciente para un espacio dimensional creciente.y se denomina efecto de dimensionalidad. Una versión moderna del muestreo de importancia por escalado es, por ejemplo, el llamado muestreo sigma-escalado (SSS), que consiste en realizar múltiples análisis de Monte Carlo (MC) con diferentes factores de escala. A diferencia de muchos otros métodos de estimación de alto rendimiento (como las distancias del peor caso, WCD), el SSS no se ve muy afectado por el problema de la dimensionalidad. Además, el uso de múltiples resultados de MC no degrada la eficiencia. Por otro lado, al igual que WCD, el SSS solo está diseñado para variables estadísticas gaussianas y, a diferencia de WCD, el método SSS no está diseñado para proporcionar esquinas estadísticas precisas. Otra desventaja del SSS es que las ejecuciones de MC con factores de escala grandes pueden volverse difíciles, por ejemplo, debido a problemas de convergencia del modelo y del simulador. Además, en el SSS nos enfrentamos a una fuerte compensación entre sesgo y varianza: utilizando factores de escala grandes, obtenemos resultados de rendimiento bastante estables, pero cuanto mayores sean los factores de escala, mayor será el error de sesgo. Si las ventajas del SSS no son muy importantes en la aplicación de interés, entonces a menudo otros métodos son más eficientes.
Traducción
Otra técnica de sesgo simple y efectiva emplea la traslación de la función de densidad (y por lo tanto de la variable aleatoria) para colocar gran parte de su masa de probabilidad en la región de eventos raros. La traslación no sufre un efecto de dimensionalidad y se ha utilizado con éxito en varias aplicaciones relacionadas con la simulación de sistemas de comunicación digital . A menudo proporciona mejores ganancias de simulación que el escalado. En el sesgo por traslación, la densidad de simulación viene dada por
dóndees la magnitud del desplazamiento y debe elegirse para minimizar la varianza del estimador de muestreo de importancia.
Efectos de la complejidad del sistema
El problema fundamental del muestreo por importancia es que diseñar buenas distribuciones sesgadas se vuelve más complicado a medida que aumenta la complejidad del sistema. Los sistemas complejos son aquellos con memoria a largo plazo, ya que el procesamiento complejo de pocas entradas es mucho más fácil de manejar. Esta dimensionalidad o memoria puede causar problemas de tres maneras:
- Memoria a largo plazo ( interferencia intersimbólica severa (ISI))
- memoria desconocida ( decodificadores Viterbi )
- Posible memoria infinita (ecualizadores adaptativos)
En principio, las ideas del muestreo por importancia se mantienen en estas situaciones, pero el diseño se vuelve mucho más complejo. Un enfoque eficaz para combatir este problema consiste básicamente en dividir la simulación en varios subproblemas más pequeños y mejor definidos. A continuación, se utilizan estrategias de muestreo por importancia para abordar cada uno de estos subproblemas más sencillos. Ejemplos de técnicas para dividir la simulación son el condicionamiento, la simulación de eventos de error (EES) y la simulación regenerativa.
Evaluación del muestreo de importancia
Para identificar técnicas exitosas de muestreo por importancia, es útil poder cuantificar el ahorro de tiempo de ejecución debido al uso del enfoque de muestreo por importancia. La medida de rendimiento comúnmente utilizada esEsto puede interpretarse como el factor de aceleración mediante el cual el estimador de muestreo por importancia alcanza la misma precisión que el estimador MC. Esto debe calcularse empíricamente, ya que es improbable que las varianzas del estimador sean analíticamente posibles cuando su media es intratable. Otros conceptos útiles para cuantificar un estimador de muestreo por importancia son los límites de la varianza y la noción de eficiencia asintótica. Una medida relacionada es el llamado Tamaño Efectivo de la Muestra (ESS) . [ 6 ]
Función de costo de varianza
La varianza no es la única función de coste posible para una simulación, y otras funciones de coste, como la desviación absoluta media, se utilizan en diversas aplicaciones estadísticas. Sin embargo, la varianza es la principal función de coste abordada en la literatura, probablemente debido a su uso en intervalos de confianza y en la medición del rendimiento..
Un problema asociado es el hecho de que la proporciónSe sobreestima el ahorro en tiempo de ejecución debido al muestreo por importancia, ya que no se incluye el tiempo de cálculo adicional necesario para computar la función de ponderación . Por lo tanto, algunas personas evalúan la mejora neta en el tiempo de ejecución mediante diversos métodos. Quizás un inconveniente más importante del muestreo por importancia sea el tiempo que se requiere para diseñar y programar la técnica y derivar analíticamente la función de ponderación deseada.
Muestreo de importancia múltiple y adaptativo
Cuando se presentan diferentes distribuciones de propuestas,,se utilizan conjuntamente para la extracción de las muestrasSe pueden emplear diferentes funciones de ponderación adecuadas (por ejemplo, véase [ 7 ] [ 8 ] [ 9 ] [ 10 ] ). En un entorno adaptativo, las distribuciones de propuesta,,yse actualizan en cada iteracióndel algoritmo de muestreo de importancia adaptativa. Por lo tanto, dado que se utiliza una población de densidades de propuesta, se pueden emplear varias combinaciones adecuadas de esquemas de muestreo y ponderación. [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ]
Véase también
- método de Monte Carlo
- Reducción de la varianza
- Muestreo estratificado
- Muestreo estratificado recursivo
- Algoritmo VEGAS
- Filtro de partículas : un método secuencial de Monte Carlo que utiliza muestreo de importancia.
- Campo auxiliar de Montecarlo
- Muestreo de rechazo
- Tasa de bits variable : una aplicación común del muestreo de importancia en audio.
Notas
- ↑ Kloek, T.; van Dijk, HK (1978). "Estimaciones bayesianas de parámetros de sistemas de ecuaciones: una aplicación de la integración por Monte Carlo" (PDF) . Econometrica . 46 (1): 1– 19. doi : 10.2307/1913641 . JSTOR 1913641 .
- ↑ Goertzle, G. (1949). "Muestreo por cuotas y funciones de importancia en la solución estocástica de problemas de partículas". Informe técnico ORNL-434, Laboratorio Nacional de Oak Ridge . Aecd; 2793. hdl : 2027/mdp.39015086443671 .
- ↑ Kahn, H. ; Harris, TE (1949). "Estimación de la transmisión de partículas mediante muestreo aleatorio". Método de Monte Carlo . Serie de Matemáticas Aplicadas. 12. Oficina Nacional de Estándares: 27–30 .
- ↑ Burda, Yuri; Grosse, Roger; Salakhutdinov, Ruslan (2016). "Autoencoders ponderados por importancia". Actas de la 4.ª Conferencia Internacional sobre Representaciones de Aprendizaje . arXiv : 1509.00519 .
- ↑ Rubinstein, RY, & Kroese, DP (2011). Simulación y el método de Monte Carlo (Vol. 707). John Wiley & Sons.
- ↑ Martino, Luca; Elvira, Víctor; Louzada, Francisco (2017). "Tamaño de muestra efectivo para muestreo de importancia basado en medidas de discrepancia". Procesamiento de señales . 131 : 386–401 . arXiv : 1602.03572 . Bibcode : 2017SigPr.131..386M . doi : 10.1016/j.sigpro.2016.08.025 . S2CID 26317735 .
- ↑ Veach, Eric; Guibas, Leonidas J. (1995-01-01). "Combinación óptima de técnicas de muestreo para la representación Monte Carlo" . Actas de la 22.ª conferencia anual sobre gráficos por computadora y técnicas interactivas - SIGGRAPH '95 . Nueva York, NY, EE. UU.: ACM. págs. 419–428 . CiteSeerX 10.1.1.127.8105 . doi : 10.1145/218380.218498 . ISBN 978-0-89791-701-8. S2CID 207194026 .
- ↑ Owen, Art; Asociado, Yi Zhou (2000-03-01). "Muestreo de importancia seguro y eficaz". Journal of the American Statistical Association . 95 (449): 135– 143. CiteSeerX 10.1.1.36.4536 . doi : 10.1080/01621459.2000.10473909 . ISSN 0162-1459 . S2CID 119761472 .
- ↑ Elvira, V.; Martino, L.; Luengo, D.; Bugallo, MF (2015-10-01). "Estimadores eficientes de muestreo de importancia múltiple". IEEE Signal Processing Letters . 22 (10): 1757– 1761. arXiv : 1505.05391 . Bibcode : 2015ISPL...22.1757E . doi : 10.1109/LSP.2015.2432078 . ISSN 1070-9908 . S2CID 14504598 .
- ↑ Elvira, Víctor; Martín, Luca; Luengo, David; Bugallo, Mónica F. (2017). "Mejora de la población de Montecarlo: esquemas alternativos de ponderación y remuestreo". Procesamiento de señales . 131 : 77– 91. arXiv : 1607.02758 . Código Bib : 2017SigPr.131...77E . doi : 10.1016/j.sigpro.2016.07.012 . S2CID 205171823 .
- ↑ Cappé, O.; Guillin, A.; Marin, JM; Robert, CP (2004-12-01). "Monte Carlo poblacional". Journal of Computational and Graphical Statistics . 13 (4): 907– 929. doi : 10.1198/106186004X12803 . ISSN 1061-8600 . S2CID 119690181 .
- ↑ Martino, L.; Elvira, V.; Luengo, D.; Corander, J. (2017-05-01). "Muestreo de importancia adaptativo por capas". Statistics and Computing . 27 (3): 599– 623. arXiv : 1505.04732 . doi : 10.1007/s11222-016-9642-5 . ISSN 0960-3174 . S2CID 2508031 .
- ↑ Cappé, Olivier; Douc, Randal; Guillin, Arnaud; Marin, Jean-Michel; Robert, Christian P. (2008-04-25). "Muestreo de importancia adaptativo en clases de mezcla generales". Statistics and Computing . 18 (4): 447– 459. arXiv : 0710.4242 . doi : 10.1007/s11222-008-9059-x . ISSN 0960-3174 . S2CID 483916 .
- ^ Cornuet, Jean-Marie; Marín, Jean-Michel; Mira, Antonieta ; Robert, Christian P. (1 de diciembre de 2012). "Muestreo adaptativo de importancia múltiple". Revista escandinava de estadística . 39 (4): 798–812 . arXiv : 0907.1254 . doi : 10.1111/j.1467-9469.2011.00756.x . ISSN 1467-9469 . S2CID 17191248 .
- ↑ Martino, L.; Elvira, V.; Luengo, D.; Corander, J. (2015-08-01). "Un muestreador adaptativo de importancia de población: aprendizaje a partir de la incertidumbre". IEEE Transactions on Signal Processing . 63 (16): 4422– 4437. Bibcode : 2015ITSP...63.4422M . CiteSeerX 10.1.1.464.9395 . doi : 10.1109/TSP.2015.2440215 . ISSN 1053-587X . S2CID 17017431 .
- ↑ Bugallo, Mónica F.; Martino, Luca; Corander, Jukka (1 de diciembre de 2015). "Muestreo de importancia adaptativo en el procesamiento de señales" . Procesamiento digital de señales . Número especial en honor a William J. (Bill) Fitzgerald. 47 : 36–49 . Bibcode : 2015DSP....47...36B . doi : 10.1016/j.dsp.2015.05.014 .
- ↑ Bugallo, MF; Elvira, V.; Martino, L.; Luengo, D.; Miguez, J.; Djuric, PM (julio de 2017). "Muestreo de importancia adaptativo: el pasado, el presente y el futuro". IEEE Signal Processing Magazine . 34 (4): 60– 79. Bibcode : 2017ISPM...34...60B . doi : 10.1109/msp.2017.2699226 . ISSN 1053-5888 . S2CID 5619054 .
Referencias
- Arouna, Bouhari (2004). "Método adaptativo de Monte Carlo, una técnica de reducción de varianza". Métodos de Monte Carlo y sus aplicaciones . 10 (1): 1– 24. doi : 10.1515/156939604323091180 . S2CID 21949573 .
- Bucklew, James Antonio (2004). Introducción a la simulación de eventos raros . Nueva York: Springer-Verlag.
- Doucet, A.; de Freitas, N.; Gordon, N. (2001). Métodos secuenciales de Monte Carlo en la práctica . Saltador. ISBN 978-0-387-95146-1.
- Ferrari, M.; Bellini, S. (2001). "Simulación de muestreo de importancia de códigos de producto turbo". ICC 2001. Conferencia Internacional IEEE sobre Comunicaciones. Actas de la conferencia (Cat. No. 01CH37240) . Vol. 9. pp. 2773–2777 . doi : 10.1109 /ICC.2001.936655 . ISBN 978-0-7803-7097-5. S2CID 5158473 .
- Mazonka, Oleg (2016). "Tan fácil como Pi: El método de muestreo de importancia" . Journal of Reference . 16 .
- Oberg, Tommy (2001). Modulación, detección y codificación . Nueva York: John Wiley & Sons.
- Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). «Sección 7.9.1 Muestreo de importancia» . Numerical Recipes: The Art of Scientific Computing (3.ª ed.). Nueva York: Cambridge University Press. ISBN 978-0-521-88068-8Archivado del original el 11 de agosto de 2011. Consultado el 12 de agosto de 2011 .
- Ripley, BD (1987). Simulación estocástica . Wiley & Sons.
- Smith, PJ; Shafi, M.; Gao, H. (1997). "Simulación rápida: una revisión de las técnicas de muestreo de importancia en sistemas de comunicación". IEEE Journal on Selected Areas in Communications . 15 (4): 597– 613. doi : 10.1109/49.585771 .
- Srinivasan, R. (2002). Muestreo de importancia: aplicaciones en comunicaciones y detección . Berlín: Springer-Verlag.
Enlaces externos
- Página principal de los métodos secuenciales de Monte Carlo (filtrado de partículas) en la Universidad de Cambridge.
- Introducción al muestreo de importancia en simulaciones de eventos raros. Revista Europea de Física. Documento PDF.
- Métodos adaptativos de Monte Carlo para simulaciones de eventos raros. Conferencia de Simulación de Invierno.
- métodos de Monte Carlo
- Reducción de la varianza
- Simulación estocástica