divergencia de Jensen-Shannon

En teoría de la probabilidad y estadística , la divergencia de Jensen-Shannon , que recibe su nombre de Johan Jensen y Claude Shannon , es un método para medir la similitud entre dos distribuciones de probabilidad . También se conoce como radio de información ( IRad ) ^{[ 1 ] [ 2 ]} o divergencia total respecto a la media ^{[ 3 ]} . Se basa en la divergencia de Kullback-Leibler , con algunas diferencias notables (y útiles), como su simetría y su valor finito. La raíz cuadrada de la divergencia de Jensen-Shannon es una métrica que a menudo se denomina distancia de Jensen-Shannon. La similitud entre las distribuciones es mayor cuando la distancia de Jensen-Shannon se acerca a cero ^{[ 4 ] [ 5 ] [ 6 ] .}

Consideremos el conjunto${\displaystyle M_{+}^{1}(A)}$de distribuciones de probabilidad donde${\displaystyle A}$es un conjunto provisto de alguna σ-álgebra de subconjuntos medibles. En particular, podemos tomar${\displaystyle A}$ser un conjunto finito o numerable en el que todos los subconjuntos son medibles.

La divergencia de Jensen-Shannon (JSD) es una versión simetrizada y suavizada de la divergencia de Kullback-Leibler.${\displaystyle D(P\parallel Q)}$Se define por

${\displaystyle {\rm {JSD}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M),}$

dónde${\displaystyle M={\frac {1}{2}}(P+Q)}$es una distribución de mezcla de${\displaystyle P}$y${\displaystyle Q}$.

La divergencia geométrica de Jensen-Shannon ^{[ 7 ]} (o divergencia G-Jensen-Shannon) produce una fórmula de forma cerrada para la divergencia entre dos distribuciones gaussianas tomando la media geométrica.

Una definición más general, que permite la comparación de más de dos distribuciones de probabilidad, es:

${\displaystyle {\begin{aligned}{\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})&=\sum _{i}\pi _{i}D(P_{i}\parallel M)\\&=H\left(M\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})\end{aligned}}}$

dónde

${\displaystyle {\begin{aligned}M&:=\sum _{i=1}^{n}\pi _{i}P_{i}\end{aligned}}}$

y${\displaystyle \pi _{1},\ldots ,\pi _{n}}$son ponderaciones que se seleccionan para las distribuciones de probabilidad${\displaystyle P_{1},P_{2},\ldots ,P_{n}}$, y${\displaystyle H(P)}$es la entropía de Shannon para la distribución${\displaystyle P}$. Para el caso de dos distribuciones descrito anteriormente,

${\displaystyle P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\ }$

Por lo tanto, para esas distribuciones${\displaystyle P,Q}$

${\displaystyle JSD=H(M)-{\frac {1}{2}}{\bigg (}H(P)+H(Q){\bigg )}}$

La divergencia de Jensen-Shannon está acotada por 1 para dos distribuciones de probabilidad discretas, dado que se utiliza el logaritmo en base 2: ^{[ 8 ]}

${\displaystyle 0\leq {\rm {JSD}}(P\parallel Q)\leq 1}$.

Con esta normalización, se obtiene un límite inferior para la distancia de variación total entre P y Q:

${\displaystyle {\rm {JSD}}(P\parallel Q)\leq {\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|}$.

Con el logaritmo en base e, que se usa comúnmente en termodinámica estadística, el límite superior es${\displaystyle \ln(2)}$. En general, el límite en base b es${\displaystyle \log _{b}(2)}$:

${\displaystyle 0\leq {\rm {JSD}}(P\parallel Q)\leq \log _{b}(2)}$.

Una cota más general, la divergencia de Jensen-Shannon está acotada por${\displaystyle \log _{b}(n)}$para más de dos distribuciones de probabilidad: ^{[ 8 ]}

${\displaystyle 0\leq {\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})\leq \log _{b}(n)}$.

La divergencia de Jensen-Shannon es la información mutua entre una variable aleatoria.${\displaystyle X}$asociado a una distribución de mezcla entre${\displaystyle P}$y${\displaystyle Q}$y la variable indicadora binaria${\displaystyle Z}$que se utiliza para cambiar entre${\displaystyle P}$y${\displaystyle Q}$para producir la mezcla. Deje${\displaystyle X}$sea ​​alguna función abstracta sobre el conjunto subyacente de eventos que discrimine bien entre eventos, y elija el valor de${\displaystyle X}$de acuerdo a${\displaystyle P}$si${\displaystyle Z=0}$y según ${\displaystyle Q}$si${\displaystyle Z=1}$, dónde${\displaystyle Z}$es equiprobable. Es decir, estamos eligiendo${\displaystyle X}$según la medida de probabilidad ${\displaystyle M=(P+Q)/2}$y su distribución es la distribución de mezcla. Calculamos

${\displaystyle {\begin{aligned}I(X;Z)&=H(X)-H(X|Z)\\&=-\sum M\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&=-\sum {\frac {P}{2}}\log M-\sum {\frac {Q}{2}}\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&={\frac {1}{2}}\sum P\left(\log P-\log M\right)+{\frac {1}{2}}\sum Q\left(\log Q-\log M\right)\\&={\rm {JSD}}(P\parallel Q)\end{aligned}}}$

De lo anterior se deduce que la divergencia de Jensen-Shannon está acotada por 0 y 1 porque la información mutua es no negativa y está acotada por${\displaystyle H(Z)=1}$en logaritmo de base 2.

Se puede aplicar el mismo principio a una distribución conjunta y al producto de sus dos distribuciones marginales (de forma análoga a la divergencia de Kullback-Leibler y la información mutua) y medir con qué fiabilidad se puede decidir si una respuesta dada proviene de la distribución conjunta o de la distribución del producto, bajo el supuesto de que estas son las únicas dos posibilidades. ^{[ 9 ]}

La generalización de las distribuciones de probabilidad en matrices de densidad permite definir la divergencia cuántica de Jensen-Shannon (QJSD). ^{[ 10 ] [ 11 ]} Se define para un conjunto de matrices de densidad.${\displaystyle (\rho _{1},\ldots ,\rho _{n})}$y una distribución de probabilidad${\displaystyle \pi =(\pi _{1},\ldots ,\pi _{n})}$como

${\displaystyle {\rm {QJSD}}(\rho _{1},\ldots ,\rho _{n})=S\left(\sum _{i=1}^{n}\pi _{i}\rho _{i}\right)-\sum _{i=1}^{n}\pi _{i}S(\rho _{i})}$

dónde${\displaystyle S(\rho )}$es la entropía de von Neumann de${\displaystyle \rho }$Esta cantidad se introdujo en la teoría de la información cuántica , donde se la denomina información de Holevo: proporciona el límite superior para la cantidad de información clásica codificada por los estados cuánticos.${\displaystyle (\rho _{1},\ldots ,\rho _{n})}$bajo la distribución previa${\displaystyle \pi }$(véase el teorema de Holevo ). ^{[ 12 ]} Divergencia cuántica de Jensen-Shannon para${\displaystyle \pi =\left({\frac {1}{2}},{\frac {1}{2}}\right)}$ y dos matrices de densidad es una función simétrica, definida en todas partes, acotada e igual a cero solo si dos matrices de densidad son iguales. Es un cuadrado de una métrica para estados puros , ^{[ 13 ]} y recientemente se demostró que esta propiedad métrica también se cumple para estados mixtos. ^{[ 14 ] [ 15 ]} La métrica de Bures está estrechamente relacionada con la divergencia cuántica de JS; es el análogo cuántico de la métrica de información de Fisher .

El centroide C* de un conjunto finito de distribuciones de probabilidad se puede definir como el minimizador de la suma promedio de las divergencias de Jensen-Shannon entre una distribución de probabilidad y el conjunto de distribuciones prescrito: $${\displaystyle C^{*}=\arg \min _{Q}\sum _{i=1}^{n}{\rm {JSD}}(P_{i}\parallel Q)}$$Se informa de un algoritmo eficiente ^{[ 16 ] (CCCP) basado en la diferencia de funciones convexas para calcular el centroide de Jensen-Shannon de un conjunto de distribuciones discretas (histogramas).}

La divergencia de Jensen-Shannon se ha aplicado en bioinformática y comparación de genomas , ^{[ 17 ] [ 18 ]} en comparación de superficies de proteínas, ^{[ 19 ]} en ciencias sociales, ^{[ 20 ]} en el estudio cuantitativo de la historia, ^{[ 21 ]} en experimentos de fuego, ^{[ 22 ]} y en aprendizaje automático. ^{[ 23 ]}

• Gema de Ruby para calcular la divergencia de JavaScript.
• Función de Python para calcular la distancia JS ( SciPy )
• THOTH: un paquete de Python para la estimación eficiente de cantidades de la teoría de la información a partir de datos empíricos.
• Biblioteca statcomp de R para calcular medidas de complejidad, incluida la divergencia de Jensen-Shannon.