Entropía condicional

En la teoría de la información , la entropía condicional cuantifica la cantidad de información necesaria para describir el resultado de una variable aleatoria dado que se conoce el valor de otra variable aleatoria . Aquí, la información se mide en shannons , nats o hartleys . La entropía de condicionado se escribe como . ${\estilo de visualización Y}$${\estilo de visualización X}$${\estilo de visualización Y}$${\estilo de visualización X}$${\displaystyle \mathrm {H} (Y|X)}$

La entropía condicional de un dato se define como ${\estilo de visualización Y}$${\estilo de visualización X}$

donde y denotan los conjuntos de soporte de y . ${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\estilo de visualización X}$${\estilo de visualización Y}$

Nota: Aquí, la convención es que la expresión debe considerarse igual a cero. Esto se debe a que . ^[1]${\estilo de visualización 0\log 0}$${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \theta =0}$

Intuitivamente, observe que por definición de valor esperado y de probabilidad condicional , se puede escribir como , donde se define como . Se puede pensar en asociar cada par con una cantidad que mide el contenido de información de dado . Esta cantidad está directamente relacionada con la cantidad de información necesaria para describir el evento dado . Por lo tanto, al calcular el valor esperado de sobre todos los pares de valores , la entropía condicional mide cuánta información, en promedio, codifica la variable sobre . ${\displaystyle \displaystyle H(Y|X)}$${\displaystyle H(Y|X)=\mathbb {E}[f(X,Y)]}$${\estilo de visualización f}$${\displaystyle \displaystyle f(x,y):=-\log \left({\frac {p(x,y)}{p(x)}}\right)=-\log(p(y|x))}$${\displaystyle \displaystyle f}$${\displaystyle \displaystyle (x,y)}$${\displaystyle \displaystyle (Y=y)}$${\displaystyle \displaystyle (X=x)}$${\displaystyle \displaystyle (Y=y)}$${\estilo de visualización (X=x)}$${\displaystyle \displaystyle f}$${\displaystyle (x,y)\en {\mathcal {X}}\times {\mathcal {Y}}}$${\displaystyle \displaystyle H(Y|X)}$${\estilo de visualización X}$${\estilo de visualización Y}$

Sea la entropía de la variable aleatoria discreta condicionada a que la variable aleatoria discreta tome un cierto valor . Denotemos los conjuntos de soporte de y por y . Sea la función de masa de probabilidad . La entropía incondicional de se calcula como , es decir ${\displaystyle \mathrm {H} (Y|X=x)}$${\estilo de visualización Y}$${\estilo de visualización X}$${\estilo de visualización x}$${\estilo de visualización X}$${\estilo de visualización Y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\estilo de visualización Y}$ ${\displaystyle p_{Y}{(y)}}$${\estilo de visualización Y}$${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$

${\displaystyle \mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}= -\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},}$

donde es el contenido de información del resultado de tomar el valor . La entropía de condicionado a tomar el valor se define de manera análoga por la expectativa condicional : ${\displaystyle \operatorname {I} (y_ {i})}$${\estilo de visualización Y}$${\displaystyle y_{i}}$${\estilo de visualización Y}$${\estilo de visualización X}$${\estilo de visualización x}$

${\displaystyle \mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2} {\Pr(Y=y|X=x)}}.}$

Tenga en cuenta que es el resultado de promediar todos los valores posibles que pueden tomarse. Además, si la suma anterior se toma sobre una muestra , el valor esperado se conoce en algunos dominios como${\displaystyle \mathrm {H} (Y|X)}$${\displaystyle \mathrm {H} (Y|X=x)}$${\estilo de visualización x}$${\estilo de visualización X}$${\displaystyle y_{1},\puntos ,y_{n}}$${\displaystyle E_{X}[\mathrm {H} (y_{1},\puntos ,y_{n}\mid X=x)]}$equivocación .^[2]

Dadas variables aleatorias discretas con imagen y con imagen , la entropía condicional de dada se define como la suma ponderada de para cada valor posible de , utilizando como pesos: ^{[3] : 15}${\estilo de visualización X}$${\displaystyle {\mathcal {X}}}$${\estilo de visualización Y}$${\displaystyle {\mathcal {Y}}}$${\estilo de visualización Y}$${\estilo de visualización X}$${\displaystyle \mathrm {H} (Y|X=x)}$${\estilo de visualización x}$${\estilo de visualización p(x)}$

${\displaystyle {\begin{alineado}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H } (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p (y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y} }}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}, y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{alineado}}}$

${\displaystyle \mathrm {H} (Y|X)=0}$si y sólo si el valor de está completamente determinado por el valor de . ${\estilo de visualización Y}$${\estilo de visualización X}$

Por el contrario, si y sólo si y son variables aleatorias independientes . ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$${\displaystyle Y}$${\displaystyle X}$

Supongamos que el sistema combinado determinado por dos variables aleatorias y tiene entropía conjunta , es decir, necesitamos bits de información en promedio para describir su estado exacto. Ahora bien, si primero conocemos el valor de , hemos obtenido bits de información. Una vez que se conoce , solo necesitamos bits para describir el estado de todo el sistema. Esta cantidad es exactamente , lo que da la regla de la cadena de la entropía condicional: ${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle \mathrm {H} (X,Y)}$${\displaystyle \mathrm {H} (X,Y)}$${\displaystyle X}$${\displaystyle \mathrm {H} (X)}$${\displaystyle X}$${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$${\displaystyle \mathrm {H} (Y|X)}$

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^{[3] : 17}

La regla de la cadena se desprende de la definición anterior de entropía condicional:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

En general, se cumple una regla de cadena para múltiples variables aleatorias:

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^{[3] : 22}

Tiene una forma similar a la regla de la cadena en la teoría de probabilidad, excepto que se utiliza la suma en lugar de la multiplicación.

Regla de Bayes para estados de entropía condicional

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Demostración. y . La simetría implica . Restar las dos ecuaciones implica la regla de Bayes. ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$

Si es condicionalmente independiente de lo dado tenemos: ${\displaystyle Y}$${\displaystyle Z}$${\displaystyle X}$

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

Para cualquier y : ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

¿Dónde está la información mutua entre y ? ${\displaystyle \operatorname {I} (X;Y)}$${\displaystyle X}$${\displaystyle Y}$

Para independientes y : ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$y${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

Aunque la entropía condicional específica puede ser menor o mayor que para una variable aleatoria dada de , nunca puede exceder de . ${\displaystyle \mathrm {H} (X|Y=y)}$${\displaystyle \mathrm {H} (X)}$ ${\displaystyle y}$${\displaystyle Y}$${\displaystyle \mathrm {H} (X|Y)}$${\displaystyle \mathrm {H} (X)}$

La definición anterior es para variables aleatorias discretas. La versión continua de la entropía condicional discreta se denomina entropía diferencial condicional (o continua) . Sean y variables aleatorias continuas con una función de densidad de probabilidad conjunta . La entropía condicional diferencial se define como ^{[3] : 249}${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle f(x,y)}$${\displaystyle h(X|Y)}$

A diferencia de la entropía condicional para variables aleatorias discretas, la entropía diferencial condicional puede ser negativa.

Como en el caso discreto, existe una regla de cadena para la entropía diferencial:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^{[3] : 253}

Sin embargo, tenga en cuenta que esta regla puede no ser verdadera si las entropías diferenciales involucradas no existen o son infinitas.

La entropía diferencial conjunta también se utiliza en la definición de la información mutua entre variables aleatorias continuas:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$con igualdad si y sólo si y son independientes. ^{[3] : 253}${\displaystyle X}$${\displaystyle Y}$

La entropía diferencial condicional produce un límite inferior para el error cuadrático esperado de un estimador . Para cualquier variable aleatoria , observación y estimador, se cumple lo siguiente: ^{[3] : 255}${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\widehat {X}}}$

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

Esto está relacionado con el principio de incertidumbre de la mecánica cuántica .

En la teoría de la información cuántica , la entropía condicional se generaliza a la entropía cuántica condicional . Esta última puede tomar valores negativos, a diferencia de su contraparte clásica.

• Entropía (teoría de la información)
• Información mutua
• Entropía cuántica condicional
• Variación de la información
• Desigualdad de potencia de entropía
• Función de verosimilitud