Entropía condicional

Diagrama de Venn que muestra relaciones aditivas y sustractivas de diversas medidas de información asociadas con variables correlacionadas $X$ y $Y$ El área contenida por ambos círculos es la entropía conjunta . $\mathrm {H} (X,Y)$ El círculo de la izquierda (rojo y violeta) es la entropía individual . $\mathrm {H} (X)$ donde el rojo representa la entropía condicional $\mathrm {H} (X|Y)$ . El círculo de la derecha (azul y violeta) es $\mathrm {H} (Y)$ , siendo el azul el $\mathrm {H} (Y|X)$ La violeta es la información mutua $\operatorname {I} (X;Y)$ .

{\displaystyle X} — Diagrama de Venn que muestra relaciones aditivas y sustractivas de diversas medidas de información asociadas con variables correlacionadas $X$ y $Y$ El área contenida por ambos círculos es la entropía conjunta . $\mathrm {H} (X,Y)$ El círculo de la izquierda (rojo y violeta) es la entropía individual . $\mathrm {H} (X)$ donde el rojo representa la entropía condicional $\mathrm {H} (X|Y)$ . El círculo de la derecha (azul y violeta) es $\mathrm {H} (Y)$ , siendo el azul el $\mathrm {H} (Y|X)$ La violeta es la información mutua $\operatorname {I} (X;Y)$ .

En teoría de la información , la entropía condicional cuantifica la cantidad de información necesaria para describir el resultado de una variable aleatoria. $Y$ dado que el valor de otra variable aleatoria $X$ es conocido. Aquí, la información se mide en shannons , nats o hartleys . La "entropía de $Y$ condicionado a $X$ " se denota como $\mathrm {H} (Y|X)$ .

Definición

La entropía condicional de $Y$ dado $X$ se define como

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

dónde ${\mathcal {X}}$ y ${\mathcal {Y}}$ denotamos los conjuntos de soporte de $X$ y $Y$ .

Nota: Aquí, la convención es que la expresión $0\log 0$ debe tratarse como igual a cero. Esto se debe a que $\lim _{\theta \to 0^{+}}\theta \,\log \theta =0$ . ^{[ 1 ]}

Intuitivamente, observe que por definición de valor esperado y de probabilidad condicional , $\displaystyle H(Y|X)$ se puede escribir como $H(Y|X)=\mathbb {E} [f(X,Y)]$ , dónde $f$ se define como $\displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))$ Uno puede pensar en $\displaystyle f$ como asociando cada par $\displaystyle (x,y)$ con una cantidad que mide el contenido de información de $\displaystyle (Y=y)$ dado $\displaystyle (X=x)$ Esta cantidad está directamente relacionada con la cantidad de información necesaria para describir el evento. $\displaystyle (Y=y)$ dado $(X=x)$ . Por lo tanto, al calcular el valor esperado de $\displaystyle f$ sobre todos los pares de valores $(x,y)\in {\mathcal {X}}\times {\mathcal {Y}}$ , la entropía condicional $\displaystyle H(Y|X)$ mide cuánta información, en promedio, la variable $X$ codifica sobre $Y$ .

Motivación

Dejar $\mathrm {H} (Y|X=x)$ sea la entropía de la variable aleatoria discreta $Y$ condicionado a la variable aleatoria discreta $X$ tomando cierto valor $x$ . Denotemos los conjuntos de soporte de $X$ y $Y$ por ${\mathcal {X}}$ y ${\mathcal {Y}}$ . Dejar $Y$ tienen función de masa de probabilidad $p_{Y}{(y)}$ . La entropía incondicional de $Y$ se calcula como $\mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]$ , es decir

\mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},

dónde $\operatorname {I} (y_{i})$ es el contenido informativo del resultado de $Y$ tomando el valor $y_{i}$ . La entropía de $Y$ condicionado a $X$ tomando el valor $x$ se define por:

\mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.

Tenga en cuenta que $\mathrm {H} (Y|X)$ es el resultado de promediar $\mathrm {H} (Y|X=x)$ sobre todos los valores posibles $x$ eso $X$ puede tomar. Además, si la suma anterior se toma sobre una muestra $y_{1},\dots ,y_{n}$ , el valor esperado $E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]$ es conocido en algunos dominios comoequivocación .^{[ 2 ]}

Dadas variables aleatorias discretas $X$ con imagen ${\mathcal {X}}$ y $Y$ con imagen ${\mathcal {Y}}$ , la entropía condicional de $Y$ dado $X$ se define como la suma ponderada de $\mathrm {H} (Y|X=x)$ para cada posible valor de $x$ , usando $p(x)$ como los pesos: ^{[ 3 ]}^{: 15}

{\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}\,p(x)p(y|x)\,\log _{2}\,\left(p(y|x){\frac {p(x)}{p(x)}}\right)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{aligned}}

Propiedades

La entropía condicional es igual a cero.

\mathrm {H} (Y|X)=0

si y solo si el valor de

Y

está completamente determinado por el valor de

X

.

Entropía condicional de variables aleatorias independientes

En cambio, $\mathrm {H} (Y|X)=\mathrm {H} (Y)$ si y solo si $Y$ y $X$ son variables aleatorias independientes .

Regla de la cadena

Supongamos que el sistema combinado está determinado por dos variables aleatorias. $X$ y $Y$ tiene entropía conjunta $\mathrm {H} (X,Y)$ , es decir, necesitamos $\mathrm {H} (X,Y)$ bits de información en promedio para describir su estado exacto. Ahora bien, si primero aprendemos el valor de $X$ , hemos ganado $\mathrm {H} (X)$ fragmentos de información. Una vez $X$ Se sabe, solo necesitamos $\mathrm {H} (X,Y)-\mathrm {H} (X)$ bits para describir el estado de todo el sistema. Esta cantidad es exactamente $\mathrm {H} (Y|X)$ , lo que da como resultado la regla de la cadena de la entropía condicional:

\mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).

^{[ 3 ]}^{: 17}

La regla de la cadena se deduce de la definición anterior de entropía condicional:

{\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}

En general, se cumple la regla de la cadena para múltiples variables aleatorias:

\mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})

^{[ 3 ]}^{: 22}

Tiene una forma similar a la regla de la cadena en la teoría de la probabilidad , excepto que se utiliza la suma en lugar de la multiplicación.

Regla de Bayes

Regla de Bayes para estados de entropía condicional

\mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).

Prueba. $\mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)$ y $\mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)$ La simetría implica $\mathrm {H} (X,Y)=\mathrm {H} (Y,X)$ Al restar las dos ecuaciones se cumple la regla de Bayes.

Si $Y$ es condicionalmente independiente de $Z$ dado $X$ tenemos:

\mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).

Otras propiedades

Para cualquier $X$ y $Y$ :

{\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}

dónde $\operatorname {I} (X;Y)$ es la información mutua entre $X$ y $Y$ .

Para independientes $X$ y $Y$ :

\mathrm {H} (Y|X)=\mathrm {H} (Y)

y

\mathrm {H} (X|Y)=\mathrm {H} (X)\,

Aunque la entropía específica-condicional $\mathrm {H} (X|Y=y)$ puede ser menor o mayor que $\mathrm {H} (X)$ para una variable aleatoria dada $y$ de $Y$ , $\mathrm {H} (X|Y)$ nunca puede exceder $\mathrm {H} (X)$ .

Entropía diferencial condicional

Definición

La definición anterior es para variables aleatorias discretas. La versión continua de la entropía condicional discreta se llama entropía diferencial condicional (o continua) . Sea $X$ y $Y$ sea una variable aleatoria continua con una función de densidad de probabilidad conjunta. $f(x,y)$ . La entropía condicional diferencial $h(X|Y)$ se define como ^{[ 3 ]}^{: 249}

h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy

.

Propiedades

A diferencia de la entropía condicional para variables aleatorias discretas, la entropía diferencial condicional puede ser negativa.

Al igual que en el caso discreto, existe una regla de la cadena para la entropía diferencial:

h(Y|X)\,=\,h(X,Y)-h(X)

^{[ 3 ]}^{: 253}

Sin embargo, tenga en cuenta que esta regla puede no ser cierta si las entropías diferenciales involucradas no existen o son infinitas.

La entropía diferencial conjunta también se utiliza en la definición de la información mutua entre variables aleatorias continuas:

\operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)

h(X|Y)\leq h(X)

con igualdad si y solo si

X

y

Y

son independientes. ^{[ 3 ]}^{: 253}

Relación con el error del estimador

La entropía diferencial condicional proporciona una cota inferior para el error cuadrático esperado de un estimador . Para cualquier variable aleatoria gaussiana $X$ , observación $Y$ y estimador ${\widehat {X}}$ Se cumple lo siguiente: ^{[ 3 ]}^{: 255}

\mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}

Esto está relacionado con el principio de incertidumbre de la mecánica cuántica .

Generalización a la teoría cuántica

En la teoría de la información cuántica , la entropía condicional se generaliza a la entropía cuántica condicional . Esta última puede tomar valores negativos, a diferencia de su contraparte clásica.

Véase también

Referencias

↑ "David MacKay: Teoría de la información, reconocimiento de patrones y redes neuronales: El libro" . www.inference.org.uk . Consultado el 25 de octubre de 2019 .
↑ Hellman, M.; Raviv, J. (1970). "Probabilidad de error, equivocación y el límite de Chernoff". IEEE Transactions on Information Theory . 16 (4): 368– 372. CiteSeerX 10.1.1.131.2865 . doi : 10.1109/TIT.1970.1054466 .
1 2 3 4 5 6 7 T. Cover ; J. Thomas (1991). Elementos de la teoría de la información . Wiley. ISBN 0-471-06259-6.

[1] "David MacKay: Teoría de la información, reconocimiento de patrones y redes neuronales: El libro" . www.inference.org.uk . Consultado el 25 de octubre de 2019 .

[2] Hellman, M.; Raviv, J. (1970). "Probabilidad de error, equivocación y el límite de Chernoff". IEEE Transactions on Information Theory . 16 (4): 368– 372. CiteSeerX 10.1.1.131.2865 . doi : 10.1109/TIT.1970.1054466 .

[cover1991-3] 1 2 3 4 5 6 7 T. Cover ; J. Thomas (1991). Elementos de la teoría de la información . Wiley. ISBN 0-471-06259-6.

[ 1 ]

[ 2 ]

[ 3 ]