Límite inferior de evidencia

En los métodos bayesianos variacionales , el límite inferior de la evidencia (a menudo abreviado ELBO , también llamado a veces límite inferior variacional ^[1] o energía libre variacional negativa ) es un límite inferior útil en la verosimilitud logarítmica de algunos datos observados.

El ELBO es útil porque proporciona una garantía en el peor de los casos para la verosimilitud logarítmica de alguna distribución (p. ej., ) que modela un conjunto de datos. La verosimilitud logarítmica real puede ser mayor (lo que indica un ajuste aún mejor a la distribución) porque el ELBO incluye un término de divergencia de Kullback-Leibler (divergencia KL) que disminuye el ELBO debido a que una parte interna del modelo es inexacta a pesar de un buen ajuste del modelo en general. Por lo tanto, mejorar la puntuación ELBO indica una mejora de la verosimilitud del modelo o del ajuste de un componente interno al modelo, o ambos, y la puntuación ELBO constituye una buena función de pérdida , p. ej., para entrenar una red neuronal profunda para mejorar tanto el modelo en general como el componente interno. (El componente interno es , definido en detalle más adelante en este artículo). ${\estilo de visualización p(X)}$${\estilo de visualización p(X)}$${\displaystyle q_{\phi}(\cdot |x)}$

Sean y variables aleatorias , distribuidas conjuntamente con la distribución . Por ejemplo, es la distribución marginal de , y es la distribución condicional de dado . Entonces, para una muestra , y cualquier distribución , el ELBO se define como El ELBO se puede escribir de manera equivalente como ^[2]${\estilo de visualización X}$${\estilo de visualización Z}$${\displaystyle p_{\theta}}$$estilo de visualización p_{\theta}(X)}$${\estilo de visualización X}$${\displaystyle p_{\theta}(Z\mid X)}$${\estilo de visualización Z}$${\estilo de visualización X}$${\displaystyle x\sim p_{\text{datos}}}$${\displaystyle q_{\phi }}$$${\displaystyle L(\phi ,\theta ;x):=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right].}$$

$${\displaystyle {\begin{aligned}L(\phi ,\theta ;x)=&\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {}p_{\theta }(x,z)\right]+H[q_{\phi }(z|x)]\\=&\mathbb {\ln } {}\,p_{\theta }(x)-D_{KL}(q_{\phi }(z|x)||p_{\theta }(z|x)).\\\end{aligned}}}$$

En la primera línea, es la entropía de , que relaciona el ELBO con la energía libre de Helmholtz . ^[3] En la segunda línea, se denomina evidencia para , y es la divergencia de Kullback-Leibler entre y . Dado que la divergencia de Kullback-Leibler no es negativa, forma un límite inferior en la evidencia ( desigualdad ELBO )${\displaystyle H[q_{\phi }(z|x)]}$${\displaystyle q_{\phi }}$${\displaystyle \ln p_{\theta }(x)}$${\displaystyle x}$${\displaystyle D_{KL}(q_{\phi }(z|x)||p_{\theta }(z|x))}$${\displaystyle q_{\phi }}$${\displaystyle p_{\theta }}$${\displaystyle L(\phi ,\theta ;x)}$$${\displaystyle \ln p_{\theta }(x)\geq \mathbb {\mathbb {E} } _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z\vert x)}}\right].}$$

Supongamos que tenemos una variable aleatoria observable y queremos encontrar su distribución verdadera . Esto nos permitiría generar datos mediante muestreo y estimar probabilidades de eventos futuros. En general, es imposible encontrarla con exactitud, lo que nos obliga a buscar una buena aproximación .${\displaystyle X}$${\displaystyle p^{*}}$${\displaystyle p^{*}}$

Es decir, definimos una familia paramétrica de distribuciones suficientemente grande y luego calculamos para alguna función de pérdida . Una forma posible de resolver esto es considerar una pequeña variación de a , y calcular para . Este es un problema en el cálculo de variaciones , por lo que se denomina método variacional . ${\displaystyle \{p_{\theta }\}_{\theta \in \Theta }}$${\displaystyle \min _{\theta }L(p_{\theta },p^{*})}$${\displaystyle L}$${\displaystyle p_{\theta }}$${\displaystyle p_{\theta +\delta \theta }}$${\displaystyle L(p_{\theta },p^{*})-L(p_{\theta +\delta \theta },p^{*})=0}$

Dado que no hay muchas familias de distribuciones explícitamente parametrizadas (todas las familias de distribuciones clásicas, como la distribución normal, la distribución de Gumbel, etc., son demasiado simplistas para modelar la distribución verdadera), consideramos distribuciones de probabilidad implícitamente parametrizadas :

• En primer lugar, defina una distribución simple sobre una variable aleatoria latente . Por lo general, basta con una distribución normal o uniforme.${\displaystyle p(z)}$${\displaystyle Z}$
• A continuación, defina una familia de funciones complicadas (como una red neuronal profunda ) parametrizadas por .${\displaystyle f_{\theta }}$${\displaystyle \theta }$
• Por último, defina una forma de convertir cualquier distribución en una distribución simple sobre la variable aleatoria observable . Por ejemplo, supongamos que tenemos dos salidas, entonces podemos definir la distribución correspondiente sobre como la distribución normal .${\displaystyle f_{\theta }(z)}$${\displaystyle X}$${\displaystyle f_{\theta }(z)=(f_{1}(z),f_{2}(z))}$${\displaystyle X}$${\displaystyle {\mathcal {N}}(f_{1}(z),e^{f_{2}(z)})}$

Esto define una familia de distribuciones conjuntas sobre . Es muy fácil muestrear : simplemente muestree , luego calcule y finalmente muestree utilizando . ${\displaystyle p_{\theta }}$${\displaystyle (X,Z)}$${\displaystyle (x,z)\sim p_{\theta }}$${\displaystyle z\sim p}$${\displaystyle f_{\theta }(z)}$${\displaystyle x\sim p_{\theta }(\cdot |z)}$${\displaystyle f_{\theta }(z)}$

En otras palabras, tenemos un modelo generativo tanto para lo observable como para lo latente. Ahora, consideramos que una distribución es buena si es una aproximación cercana de : dado que la distribución del lado derecho es solamente sobre , la distribución del lado izquierdo debe marginar la variable latente . En general, es imposible realizar la integral , lo que nos obliga a realizar otra aproximación. ${\displaystyle p_{\theta }}$${\displaystyle p^{*}}$$${\displaystyle p_{\theta }(X)\approx p^{*}(X)}$$${\displaystyle X}$${\displaystyle Z}$
${\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}$

Dado que ( regla de Bayes ), basta con encontrar una buena aproximación de . Por lo tanto, defina otra familia de distribución y utilícela para aproximar . Este es un modelo discriminativo para latente. ${\displaystyle p_{\theta }(x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(z|x)}}}$${\displaystyle p_{\theta }(z|x)}$${\displaystyle q_{\phi }(z|x)}$${\displaystyle p_{\theta }(z|x)}$

La situación completa se resume en el siguiente cuadro:

En lenguaje bayesiano , es la evidencia observada y es la evidencia latente/no observada. La distribución sobre es la distribución previa sobre , es la función de verosimilitud y es la distribución posterior sobre . ${\displaystyle X}$${\displaystyle Z}$${\displaystyle p}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle p_{\theta }(x|z)}$${\displaystyle p_{\theta }(z|x)}$ ${\displaystyle Z}$

Dada una observación , podemos inferir lo que probablemente dio lugar a calculando . El método bayesiano habitual es estimar la integral y luego calcular mediante la regla de Bayes . Esto es costoso de realizar en general, pero si simplemente podemos encontrar una buena aproximación para la mayoría de , entonces podemos inferir de manera económica. Por lo tanto, la búsqueda de un bien también se llama inferencia amortizada . ${\displaystyle x}$${\displaystyle z}$${\displaystyle x}$${\displaystyle p_{\theta }(z|x)}$${\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}$ ${\displaystyle p_{\theta }(z|x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(x)}}}$${\displaystyle q_{\phi }(z|x)\approx p_{\theta }(z|x)}$${\displaystyle x,z}$${\displaystyle z}$${\displaystyle x}$${\displaystyle q_{\phi }}$

En resumen, hemos encontrado un problema de inferencia bayesiana variacional .

Un resultado básico en la inferencia variacional es que minimizar la divergencia de Kullback-Leibler (divergencia KL) es equivalente a maximizar la verosimilitud logarítmica: donde es la entropía de la distribución verdadera. Por lo tanto, si podemos maximizar , podemos minimizar , y en consecuencia encontrar una aproximación precisa . $${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$${\displaystyle H(p^{*})=-\mathbb {\mathbb {E} } _{x\sim p^{*}}[\ln p^{*}(x)]}$${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]}$${\displaystyle D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$${\displaystyle p_{\theta }\approx p^{*}}$

Para maximizar , simplemente tomamos una muestra de muchos , es decir, utilizamos un muestreo de importancia , donde es la cantidad de muestras extraídas de la distribución verdadera. Esta aproximación puede considerarse como sobreajuste. ^{[nota 1]}${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]}$${\displaystyle x_{i}\sim p^{*}(x)}$$${\displaystyle N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]\approx \max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})}$$${\displaystyle N}$

Para maximizar , es necesario encontrar : Esto normalmente no tiene forma cerrada y debe estimarse. La forma habitual de estimar integrales es la integración de Monte Carlo con muestreo de importancia : donde es una distribución de muestreo sobre que usamos para realizar la integración de Monte Carlo. ${\displaystyle \sum _{i}\ln p_{\theta }(x_{i})}$${\displaystyle \ln p_{\theta }(x)}$$${\displaystyle \ln p_{\theta }(x)=\ln \int p_{\theta }(x|z)p(z)dz}$$$${\displaystyle \int p_{\theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$${\displaystyle q_{\phi }(z|x)}$${\displaystyle z}$

Así vemos que si tomamos una muestra de , entonces es un estimador insesgado de . Desafortunadamente, esto no nos da un estimador insesgado de , porque no es lineal. De hecho, tenemos por la desigualdad de Jensen , De hecho, todos los estimadores obvios de están sesgados hacia abajo, porque no importa cuántas muestras de tomemos, tenemos por la desigualdad de Jensen: Restando el lado derecho, vemos que el problema se reduce a un estimador sesgado de cero: En este punto, podríamos derivar hacia el desarrollo de un autocodificador ponderado por importancia ^{[nota 2]} , pero en su lugar continuaremos con el caso más simple con : La estrechez de la desigualdad tiene una forma cerrada: Hemos obtenido así la función ELBO:${\displaystyle z\sim q_{\phi }(\cdot |x)}$${\displaystyle {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}}$${\displaystyle p_{\theta }(x)}$${\displaystyle \ln p_{\theta }(x)}$${\displaystyle \ln }$$${\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$${\displaystyle \ln p_{\theta }(x)}$${\displaystyle z_{i}\sim q_{\phi }(\cdot |x)}$$${\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right]=\ln p_{\theta }(x)}$$$${\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0}$$${\displaystyle N=1}$$${\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$$${\displaystyle \ln p_{\theta }(x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0}$$$${\displaystyle L(\phi ,\theta ;x):=\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}$$

Para , la optimización intenta simultáneamente maximizar y minimizar . Si la parametrización para y es lo suficientemente flexible, obtendremos algún , de modo que tengamos simultáneamente ${\displaystyle x}$${\displaystyle \max _{\theta ,\phi }L(\phi ,\theta ;x)}$${\displaystyle \ln p_{\theta }(x)}$${\displaystyle D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}$${\displaystyle p_{\theta }}$${\displaystyle q_{\phi }}$${\displaystyle {\hat {\phi }},{\hat {\theta }}}$

$${\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }\ln p_{\theta }(x);\quad q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}$$Dado que tenemos y por lo tanto En otras palabras, maximizar el ELBO nos permitiría simultáneamente obtener un modelo generativo preciso y un modelo discriminativo preciso . ^[5]$${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$$${\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$$${\displaystyle {\hat {\theta }}\approx \arg \min D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$${\displaystyle p_{\hat {\theta }}\approx p^{*}}$${\displaystyle q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}$

El ELBO tiene muchas expresiones posibles, cada una con un énfasis diferente.

$${\displaystyle \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=\int q_{\phi }(z|x)\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}dz}$$

Esta forma muestra que si muestreamos , entonces es un estimador imparcial del ELBO. ${\displaystyle z\sim q_{\phi }(\cdot |x)}$${\displaystyle \ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}}$

$${\displaystyle \ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p_{\theta }(\cdot |x))}$$

Esta forma muestra que el ELBO es un límite inferior de la evidencia y que maximizar el ELBO con respecto a es equivalente a minimizar la divergencia KL de a . ${\displaystyle \ln p_{\theta }(x)}$${\displaystyle \phi }$${\displaystyle p_{\theta }(\cdot |x)}$${\displaystyle q_{\phi }(\cdot |x)}$

$${\displaystyle \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}[\ln p_{\theta }(x|z)]-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\;\|\;p)}$$

Esta forma muestra que maximizar el ELBO intenta simultáneamente mantenerse cerca y concentrarse en aquellos que maximizan . Es decir, el posterior aproximado se equilibra entre mantenerse cerca del anterior y avanzar hacia la máxima probabilidad . ${\displaystyle q_{\phi }(\cdot |x)}$${\displaystyle p}$${\displaystyle q_{\phi }(\cdot |x)}$${\displaystyle z}$${\displaystyle \ln p_{\theta }(x|z)}$${\displaystyle q_{\phi }(\cdot |x)}$${\displaystyle p}$${\displaystyle \arg \max _{z}\ln p_{\theta }(x|z)}$

Supongamos que tomamos muestras independientes de y las recopilamos en el conjunto de datos , entonces tenemos una distribución empírica . ${\displaystyle N}$${\displaystyle p^{*}}$${\displaystyle D=\{x_{1},...,x_{N}\}}$ ${\displaystyle q_{D}(x)={\frac {1}{N}}\sum _{i}\delta _{x_{i}}}$

El ajuste a se puede hacer, como de costumbre, maximizando la log-verosimilitud : Ahora, por la desigualdad ELBO, podemos limitar , y por lo tanto El lado derecho se simplifica a una divergencia KL, y así obtenemos: Este resultado se puede interpretar como un caso especial de la desigualdad de procesamiento de datos . ${\displaystyle p_{\theta }(x)}$${\displaystyle q_{D}(x)}$${\displaystyle \ln p_{\theta }(D)}$$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln p_{\theta }(D)-H(q_{D})}$$${\displaystyle \ln p_{\theta }(D)}$$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})}$$$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}$$

En esta interpretación, maximizar es minimizar , lo que limita superiormente la cantidad real de interés a través de la desigualdad de procesamiento de datos. Es decir, agregamos un espacio latente al espacio observable, pagando el precio de una desigualdad más débil en aras de una minimización computacionalmente más eficiente de la divergencia KL. ^[6]${\displaystyle L(\phi ,\theta ;D)=\sum _{i}L(\phi ,\theta ;x_{i})}$${\displaystyle D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}$${\displaystyle D_{\mathit {KL}}(q_{D}(x);p_{\theta }(x))}$