Información mutua condicional

En la teoría de la probabilidad , particularmente en la teoría de la información , la información mutua condicional ^{[ 1 ] [ 2 ]} es, en su forma más básica, el valor esperado de la información mutua de dos variables aleatorias dado el valor de una tercera.

Para variables aleatorias${\displaystyle X}$,${\displaystyle Y}$, y${\displaystyle Z}$con conjuntos de soporte${\displaystyle {\mathcal {X}}}$,${\displaystyle {\mathcal {Y}}}$y${\displaystyle {\mathcal {Z}}}$, definimos la información mutua condicional como

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}}$.

Esto puede escribirse en términos del operador de expectativa:${\displaystyle I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]}$.

De este modo${\displaystyle I(X;Y|Z)}$es lo esperado (con respecto a${\displaystyle Z}$) Divergencia de Kullback-Leibler respecto de la distribución conjunta condicional${\displaystyle P_{(X,Y)|Z}}$al producto de las marginales condicionales${\displaystyle P_{X|Z}}$y${\displaystyle P_{Y|Z}}$. Compárese con la definición de información mutua .

Para variables aleatorias discretas${\displaystyle X}$,${\displaystyle Y}$, y${\displaystyle Z}$con conjuntos de soporte${\displaystyle {\mathcal {X}}}$,${\displaystyle {\mathcal {Y}}}$y${\displaystyle {\mathcal {Z}}}$, la información mutua condicional${\displaystyle I(X;Y|Z)}$es el siguiente

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}}$

donde las funciones de masa de probabilidad marginal, conjunta y/o condicional se denotan por${\displaystyle p}$con el subíndice apropiado. Esto se puede simplificar como

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}}$.

Para variables aleatorias (absolutamente) continuas${\displaystyle X}$,${\displaystyle Y}$, y${\displaystyle Z}$con conjuntos de soporte${\displaystyle {\mathcal {X}}}$,${\displaystyle {\mathcal {Y}}}$y${\displaystyle {\mathcal {Z}}}$, la información mutua condicional${\displaystyle I(X;Y|Z)}$es el siguiente

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z}(z)dz}$

donde las funciones de densidad de probabilidad marginal, conjunta y/o condicional se denotan por${\displaystyle p}$con el subíndice apropiado. Esto se puede simplificar como

${\displaystyle I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\right)p_{X,Y,Z}(x,y,z)dxdydz}$.

Alternativamente, podemos escribir en términos de entropías conjuntas y condicionales como ^{[ 3 ].}

${\displaystyle {\begin{aligned}I(X;Y|Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&=H(X|Z)-H(X|Y,Z)\\&=H(X|Z)+H(Y|Z)-H(X,Y|Z).\end{aligned}}}$

Esto se puede reescribir para mostrar su relación con la información mutua.

${\displaystyle I(X;Y|Z)=I(X;Y,Z)-I(X;Z)}$

generalmente reordenado como la regla de la cadena para la información mutua

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y|Z)}$

o

${\displaystyle I(X;Y|Z)=I(X;Y)-(I(X;Z)-I(X;Z|Y))\,.}$

Otra forma equivalente de lo anterior es

${\displaystyle {\begin{aligned}I(X;Y|Z)&=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y)-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z)\end{aligned}}\,.}$

Al igual que la información mutua, la información mutua condicional puede expresarse como una divergencia de Kullback-Leibler :

${\displaystyle I(X;Y|Z)=D_{\mathrm {KL} }[p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].}$

O como valor esperado de divergencias de Kullback-Leibler más simples:

${\displaystyle I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y|z)\|p(X|z)p(Y|z)]}$,

${\displaystyle I(X;Y|Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z|y)\|p(X|Z)p(Z|y)]}$.

Una definición más general de información mutua condicional, aplicable a variables aleatorias con distribuciones continuas u otras distribuciones arbitrarias, dependerá del concepto de probabilidad condicional regular . ^{[ 4 ]}

Dejar${\displaystyle (\Omega ,{\mathcal {F}},{\mathfrak {P}})}$Sea un espacio de probabilidad y sean las variables aleatorias${\displaystyle X}$,${\displaystyle Y}$, y${\displaystyle Z}$cada una se define como una función medible de Borel a partir de${\displaystyle \Omega }$a algún espacio de estados dotado de una estructura topológica.

Consideremos la medida de Borel (sobre el σ-álgebra generada por los conjuntos abiertos) en el espacio de estados de cada variable aleatoria definida asignando a cada conjunto de Borel la${\displaystyle {\mathfrak {P}}}$-medida de su preimagen en${\displaystyle {\mathcal {F}}}$Esto se denomina medida de impulso .${\displaystyle X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.}$ El soporte de una variable aleatoria se define como el soporte topológico de esta medida, es decir${\displaystyle \mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.}$

Ahora podemos definir formalmente la medida de probabilidad condicional dado el valor de una (o, mediante la topología de producto , más) de las variables aleatorias. Sea${\displaystyle M}$ser un subconjunto medible de${\displaystyle \Omega ,}$(es decir${\displaystyle M\in {\mathcal {F}},}$) y deja${\displaystyle x\in \mathrm {supp} \,X.}$ Luego, utilizando el teorema de desintegración :

${\displaystyle {\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M|X)=\int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},}$

donde el límite se toma sobre los vecindarios abiertos${\displaystyle U}$de${\displaystyle x}$, ya que se les permite volverse arbitrariamente más pequeños con respecto a la inclusión de conjuntos .

Finalmente, podemos definir la información mutua condicional mediante la integración de Lebesgue :

${\displaystyle I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),}$

donde el integrando es el logaritmo de una derivada de Radon-Nikodym que involucra algunas de las medidas de probabilidad condicional que acabamos de definir.

En una expresión como${\displaystyle I(A;B|C),}$${\displaystyle A,}$${\displaystyle B,}$y${\displaystyle C}$No necesariamente tiene que limitarse a representar variables aleatorias individuales, sino que también podría representar la distribución conjunta de cualquier conjunto de variables aleatorias definidas en el mismo espacio de probabilidad . Como es común en la teoría de la probabilidad , podemos usar la coma para denotar dicha distribución conjunta, por ejemplo${\displaystyle I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).}$ De ahí el uso del punto y coma (o en ocasiones de dos puntos o incluso de cuña)${\displaystyle \wedge }$) para separar los argumentos principales del símbolo de información mutua. (Tal distinción no es necesaria en el símbolo de entropía conjunta , puesto que la entropía conjunta de cualquier número de variables aleatorias es la misma que la entropía de su distribución conjunta).

La información mutua condicional se utiliza para definir inductivamente la información de interacción , una generalización de la información mutua, de la siguiente manera:

${\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}|X_{n+1}),}$

dónde

${\displaystyle I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\bigl [}I(X_{1};\,...\,;X_{n-1})|X_{n}{\bigr ]}.}$

Debido a que la información mutua condicional puede ser mayor o menor que su contraparte incondicional, la información de interacción puede ser positiva, negativa o cero, lo que dificulta su interpretación.