paso de mensajes variacional

El paso de mensajes variacional ( VMP ) es una técnica de inferencia aproximada para redes bayesianas de valores continuos o discretos , con padres exponenciales conjugados , desarrollada por John Winn. VMP se desarrolló como un medio para generalizar los métodos variacionales aproximados utilizados por técnicas como la asignación latente de Dirichlet , y funciona actualizando una distribución aproximada en cada nodo a través de mensajes en la manta de Markov del nodo .

Dado un conjunto de variables ocultas${\displaystyle H}$y variables observadas${\displaystyle V}$El objetivo de la inferencia aproximada es maximizar un límite inferior de la probabilidad de que un modelo gráfico esté en la configuración${\displaystyle V}$. Sobre alguna distribución de probabilidad${\displaystyle Q}$(se definirá más adelante),

${\displaystyle \ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}}$.

Entonces, si definimos nuestro límite inferior como

${\displaystyle L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}}$,

entonces la probabilidad es simplemente este límite más la entropía relativa entre${\displaystyle P}$y${\displaystyle Q}$. Debido a que la entropía relativa no es negativa, la función${\displaystyle L}$La definición anterior es, de hecho, un límite inferior de la verosimilitud logarítmica de nuestra observación.${\displaystyle V}$La distribución${\displaystyle Q}$tendrá un carácter más simple que el de${\displaystyle P}$porque marginar más${\displaystyle P}$es intratable para todos excepto los modelos gráficos más simples . En particular, VMP utiliza una distribución factorizada.

${\displaystyle Q(H)=\prod _{i}Q_{i}(H_{i}),}$

dónde${\displaystyle H_{i}}$es una parte disjunta del modelo gráfico.

La estimación de probabilidad debe ser lo más grande posible; porque es un límite inferior, a medida que nos acercamos${\displaystyle \log P}$mejora la aproximación de la verosimilitud logarítmica. Al sustituir en la versión factorizada de${\displaystyle Q}$,${\displaystyle L(Q)}$, parametrizado sobre los nodos ocultos${\displaystyle H_{i}}$como se indicó anteriormente, es simplemente la entropía relativa negativa entre${\displaystyle Q_{j}}$y${\displaystyle Q_{j}^{*}}$más otros términos independientes de${\displaystyle Q_{j}}$si${\displaystyle Q_{j}^{*}}$se define como

${\displaystyle Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}}$,

dónde${\displaystyle \mathbb {E} _{-j}\{\ln P(H,V)\}}$es la esperanza sobre todas las distribuciones${\displaystyle Q_{i}}$excepto${\displaystyle Q_{j}}$Por lo tanto, si establecemos${\displaystyle Q_{j}}$ser${\displaystyle Q_{j}^{*}}$, el límite${\displaystyle L}$se maximiza.

Los padres envían a sus hijos la expectativa de su estadística suficiente, mientras que los hijos envían a sus padres su parámetro natural , lo que también requiere que se envíen mensajes desde los copadres del nodo.

Debido a que todos los nodos en VMP provienen de familias exponenciales y todos los padres de los nodos son conjugados a sus nodos hijos, la esperanza de la estadística suficiente se puede calcular a partir del factor de normalización .

El algoritmo comienza calculando el valor esperado de las estadísticas suficientes para ese vector. Luego, hasta que la verosimilitud converja a un valor estable (esto generalmente se logra estableciendo un pequeño valor umbral y ejecutando el algoritmo hasta que aumente en menos de ese valor umbral), haga lo siguiente en cada nodo:

1. Recibir todos los mensajes de los padres.
2. Recibir todos los mensajes de los niños (esto podría requerir que los niños reciban mensajes de ambos padres).
3. Calcula el valor esperado de las estadísticas suficientes de los nodos.

Debido a que cada hijo debe ser conjugado a su padre, esto ha limitado los tipos de distribuciones que se pueden usar en el modelo. Por ejemplo, los padres de una distribución gaussiana deben ser una distribución gaussiana (correspondiente a la media ) y una distribución gamma (correspondiente a la precisión, o una sobre${\displaystyle \sigma }$en parametrizaciones más comunes). Las variables discretas pueden tener padres de Dirichlet , y los nodos de Poisson y exponenciales deben tener padres gamma . Más recientemente, VMP se ha extendido para manejar modelos que violan esta restricción de conjugación condicional. ^{[ 1 ]}

• John Winn; Christopher M. Bishop (2005). "Paso de mensajes variacional" (PDF) . Journal of Machine Learning Research . 6 : 661–694 . ISSN 1533-7928 . Wikidata Q139488859 .  
• Beal, MJ (2003). Algoritmos variacionales para inferencia bayesiana aproximada (PDF) (Tesis doctoral). Unidad de Neurociencia Computacional Gatsby, University College London. Archivado del original (PDF) el 28 de abril de 2005. Consultado el 15 de febrero de 2007 .

• Infer.NET : un marco de inferencia que incluye una implementación de VMP con ejemplos.
• dimple Archivado el 6 de enero de 2016 en Wayback Machine : un sistema de inferencia de código abierto compatible con VMP.
• Una implementación anterior de VMP con ejemplos de uso.