Desigualdad de poder de entropía

En teoría de la información , la desigualdad de potencia de entropía ( EPI ) es un resultado relacionado con la denominada "potencia de entropía" de variables aleatorias . Demuestra que la potencia de entropía de variables aleatorias con un comportamiento adecuado es una función superaditiva . La desigualdad de potencia de entropía fue demostrada en 1948 por Claude Shannon en su influyente artículo " Una teoría matemática de la comunicación ". Shannon también proporcionó una condición suficiente para que se cumpliera la igualdad; Stam (1959) demostró que, de hecho, dicha condición es necesaria.

Para un vector aleatorio${\displaystyle X:\Omega \to \mathbb {R} ^{n}}$con función de densidad de probabilidad${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$, la entropía diferencial de${\displaystyle X}$, denotado${\displaystyle h(X)}$, se define como

${\displaystyle h(X)=-\int _{\mathbb {R} ^{n}}f(x)\log f(x)\,dx}$

y el poder de entropía de${\displaystyle X}$, denotado${\displaystyle N(X)}$, se define como

${\displaystyle N(X)={\frac {1}{2\pi e}}e^{{\frac {2}{n}}h(X)}.}$

En particular,${\displaystyle N(X)=|K|^{1/n}}$cuando${\displaystyle X}$se distribuye normalmente con matriz de covarianza${\displaystyle K}$.

Dejar${\displaystyle X}$y${\displaystyle Y}$sean variables aleatorias independientes con funciones de densidad de probabilidad en el${\displaystyle L^{p}}$espacio${\displaystyle L^{p}(\mathbb {R} ^{n})}$para algunos${\displaystyle p>1}$. Entonces

${\displaystyle N(X+Y)\geq N(X)+N(Y).}$

Además, la igualdad se cumple si y solo si${\displaystyle X}$y${\displaystyle Y}$son variables aleatorias normales multivariadas con matrices de covarianza proporcionales .

La desigualdad de potencia de entropía se puede reescribir en una forma equivalente que no dependa explícitamente de la definición de potencia de entropía (véase la referencia de Costa y Cover más abajo).

Dejar${\displaystyle X}$y${\displaystyle Y}$sean variables aleatorias independientes , como se indicó anteriormente. Entonces, sea${\displaystyle X'}$y${\displaystyle Y'}$sean variables aleatorias independientes con distribuciones gaussianas y matrices de covarianza proporcionales tales que

${\displaystyle h(X')=h(X)}$y${\displaystyle h(Y')=h(Y)}$

Entonces,

${\displaystyle h(X+Y)\geq h(X'+Y')}$

• entropía de la información
• teoría de la información
• Densidad límite de puntos discretos
• Autoinformación
• Divergencia de Kullback-Leibler
• Estimación de la entropía

• Dembo, Amir; Cover, Thomas M.; Thomas, Joy A. (1991). "Desigualdades teóricas de la información". IEEE Trans. Inf. Theory . 37 (6): 1501– 1518. doi : 10.1109/18.104312 . MR 1134291 . S2CID 845669 .  
• Costa, Max HM; Cover, Thomas M. (1984). "Sobre la similitud de la desigualdad entropía-potencia y la desigualdad de Brunn-Minkowski". IEEE Trans. Inf. Theory . 30 (6): 837– 839. doi : 10.1109/TIT.1984.1056983 .
• Gardner, Richard J. (2002). "La desigualdad de Brunn-Minkowski" . Bull. Amer. Math. Soc. (NS) . 39 (3): 355–405 (electrónico). doi : 10.1090/S0273-0979-02-00941-2 .
• Shannon, Claude E. (1948). "Una teoría matemática de la comunicación". Bell System Tech. J. 27 (3): 379– 423, 623– 656. doi : 10.1002/j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz/101429 .
• Stam, AJ (1959). "Algunas desigualdades satisfechas por las cantidades de información de Fisher y Shannon" . Information and Control . 2 (2): 101– 112. doi : 10.1016/S0019-9958(59)90348-1 .