Función de entropía binaria

En la teoría de la información , la función de entropía binaria , denotada $\operatorname {H} (p)$ o $\operatorname {H} _{\text{b}}(p)$ , se define como la entropía de un proceso de Bernoulli ( variable binaria i.i.d. ) $X$ con probabilidad $p$ de uno de dos valores, y viene dado por la fórmula:

\operatorname {H} (X)=-p\log p-(1-p)\log(1-p).

La base del logaritmo corresponde a la elección de unidades de información ; la base e ( logaritmo natural ) corresponde a nats y es matemáticamente conveniente, mientras que la base 2 ( logaritmo binario ) corresponde a shannons y es convencional (como se muestra en el gráfico); explícitamente:

\operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).

Nótese que los valores en 0 y 1 vienen dados por el límite. $\textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0$ (según la regla de L'Hôpital ); y que "binario" se refiere a dos valores posibles para la variable, no a las unidades de información.

Cuando $p=1/2$ , la función de entropía binaria alcanza su valor máximo de 1 shannon (1 unidad binaria de información); este es el caso de un lanzamiento de moneda imparcial . Cuando $p=0$ o $p=1$ La entropía binaria es 0 (independientemente de la unidad), lo que corresponde a la ausencia de información, ya que no hay incertidumbre en la variable.

Notación

Entropía binaria $\operatorname {H} _{\mathrm {b} }(p)$ es un caso especial de $\mathrm {H} (X)$ , la función de entropía . $\operatorname {H} _{\mathrm {b} }(p)$ se distingue de la función de entropía general $\mathrm {H} (X)$ en que el primero toma un único número real como parámetro , mientras que el segundo toma una distribución o variable aleatoria como parámetro. Por lo tanto, la entropía binaria (de p ) es la entropía de la distribución particular. $X\sim \operatorname {Ber} (p)$ , entonces $\operatorname {H} _{\mathrm {b} }(p)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}$ .

Escribiendo la probabilidad de que cada uno de los dos valores sea p y q , entonces $p+q=1$ y $q=1-p$ , esto corresponde a

\operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log pq\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}.

A veces, la función de entropía binaria también se escribe como $\operatorname {H} _{2}(p)$ Sin embargo, es diferente de y no debe confundirse con la entropía de Rényi , que también se denota como $\mathrm {H} _ {2}(X)$ .

Explicación

En términos de teoría de la información, la entropía se considera una medida de la incertidumbre en un mensaje. Para expresarlo intuitivamente, supongamos que... $p=0$ . Con esta probabilidad, es seguro que el evento nunca ocurrirá, por lo que no hay incertidumbre alguna, lo que lleva a una entropía de 0. Si $p=1$ , el resultado es nuevamente cierto, por lo que la entropía también es 0 aquí. Cuando $p=1/2$ , la incertidumbre es máxima; si uno hiciera una apuesta justa sobre el resultado en este caso, no hay ninguna ventaja que obtener con conocimiento previo de las probabilidades. En este caso, la entropía es máxima en un valor de 1 bit. Los valores intermedios se encuentran entre estos casos; por ejemplo, si $p=1/4$ Aún existe cierto grado de incertidumbre sobre el resultado, pero se puede predecir correctamente la mayoría de las veces, por lo que la medida de incertidumbre, o entropía, es menor que 1 bit completo.

Propiedades

Derivado

La derivada de la función de entropía binaria puede expresarse como el negativo de la función logit :

{d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{a}(p)=-\log _{a}\left({\frac {p}{1-p}}\right)

.

{d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln a}}\,,

donde a denota la base dada del logaritmo.

conjugado convexo

La conjugada convexa (específicamente, la transformada de Legendre ) de la entropía binaria (con base e ) es la función softplus negativa . Esto se debe a que (siguiendo la definición de la transformada de Legendre: las derivadas son funciones inversas) la derivada de la entropía binaria negativa es el logit, cuya función inversa es la función logística , que es la derivada de softplus.

Softplus puede interpretarse como una pérdida logística , por lo que, por dualidad , minimizar la pérdida logística equivale a maximizar la entropía. Esto justifica el principio de máxima entropía como minimización de pérdidas.

Serie Taylor

La serie de Taylor de la función de entropía binaria en 1/2 es

\operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}

que converge a la función de entropía binaria para todos los valores $0\leq p\leq 1$ .

Límites

Se cumplen los siguientes límites para $0<p<1$ : ^{[ 1 ]}

\ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)

y

4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}

dónde $\ln$ denota el logaritmo natural.

Véase también

Referencias

↑ Topsøe, Flemming (2001). "Límites para la entropía y la divergencia para distribuciones sobre un conjunto de dos elementos" . JIPAM. Journal of Inequalities in Pure & Applied Mathematics . 2 (2): Artículo n.° 25, 13 págs.