Densidad límite de puntos discretos

En teoría de la información , la densidad límite de puntos discretos es un ajuste a la fórmula de Claude Shannon para la entropía diferencial .

Fue formulada por Edwin Thompson Jaynes para corregir deficiencias en la definición inicial de entropía diferencial.

Shannon escribió originalmente la siguiente fórmula para la entropía de una distribución continua, conocida como entropía diferencial :

${\displaystyle h(X)=-\int p(x)\log p(x)\,dx.}$

Sin embargo, a diferencia de la fórmula de Shannon para la entropía discreta, esta no es el resultado de ninguna derivación (Shannon simplemente reemplazó el símbolo de sumatoria en la versión discreta con una integral), y carece de muchas de las propiedades que hacen de la entropía discreta una medida útil de incertidumbre. En particular, no es invariante ante un cambio de variables y puede volverse negativa. Además, ni siquiera es dimensionalmente correcta. Dado que${\displaystyle h(X)}$sería adimensional,${\displaystyle p(x)}$debe tener unidades de${\displaystyle {\frac {1}{dx}}}$, lo que significa que el argumento del logaritmo no es adimensional como se requiere.

Jaynes argumentó que la fórmula para la entropía continua debería derivarse tomando el límite de distribuciones discretas cada vez más densas. ^{[ 1 ] [ 2 ]} Supongamos que tenemos un conjunto de${\displaystyle N}$puntos discretos${\displaystyle \{x_{i}\}}$, de tal manera que en el límite${\displaystyle N\to \infty }$Su densidad se aproxima a una función${\displaystyle m(x)}$denominada "medida invariante":

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\,({\mbox{número de puntos en }}a<x<b)=\int _{a}^{b}m(x)\,dx.}$

Jaynes derivó de esto la siguiente fórmula para la entropía continua, la cual, según él, debería tomarse como la fórmula correcta:

${\displaystyle \lim _{N\rightarrow \infty }H_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Normalmente, cuando se escribe esto, el término${\displaystyle \log(N)}$se omite, ya que normalmente no sería finito. Por lo tanto, la definición común real es

${\displaystyle H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

Cuando no está claro si o no el${\displaystyle \log(N)}$El término debería omitirse, uno podría escribir

${\displaystyle H_{N}(X)\sim \log(N)+H(X).}$

Observe que en la fórmula de Jaynes,${\displaystyle m(x)}$es una densidad de probabilidad. Para cualquier finito${\displaystyle N}$,${\displaystyle m(x)}$representa una densidad uniforme sobre el espacio continuo cuantizado utilizado en la suma de Riemann. En el límite,${\displaystyle m(x)}$es la densidad límite continua de puntos en la cuantización utilizada para representar la variable continua.${\displaystyle x}$.

Supongamos que uno tuviera un formato de número que adoptara${\displaystyle N}$valores posibles, distribuidos según${\displaystyle m(x)}$. Entonces${\displaystyle H_{N}(X)}$(si${\displaystyle N}$es lo suficientemente grande como para que la aproximación continua sea válida) es la entropía discreta de la variable${\displaystyle x}$en esta codificación. Esto es igual al número promedio de bits necesarios para transmitir esta información, y no es más que${\displaystyle \log(N)}$. Por lo tanto,${\displaystyle H(X)}$puede pensarse como la cantidad de información obtenida al saber que la variable${\displaystyle x}$sigue la distribución${\displaystyle p(x)}$y no se distribuye uniformemente sobre los posibles valores cuantificados, como ocurriría si siguiera${\displaystyle m(x)}$.${\displaystyle H(X)}$es en realidad la divergencia de Kullback-Leibler (negativa) de${\displaystyle m(x)}$a${\displaystyle p(x)}$, que se considera como la información obtenida al aprender que una variable previamente se creía distribuida como${\displaystyle m(x)}$en realidad se distribuye como${\displaystyle p(x)}$.

La fórmula de entropía continua de Jaynes tiene la propiedad de ser invariante bajo un cambio de variables, siempre que${\displaystyle m(x)}$y${\displaystyle p(x)}$se transforman de la misma manera. (Esto motiva el nombre de "medida invariante" para m ). Esto resuelve muchas de las dificultades que surgen al aplicar la fórmula de entropía continua de Shannon. El propio Jaynes dejó de lado el${\displaystyle \log(N)}$término ya que no era relevante para su trabajo (distribuciones de entropía máxima), y es algo incómodo tener un término infinito en el cálculo. Desafortunadamente, esto no se puede evitar si la cuantización se hace arbitrariamente fina, como sería el caso en el límite continuo. Nótese que${\displaystyle H(X)}$como se define aquí (sin el${\displaystyle \log(N)}$término) siempre sería no positivo, porque una divergencia KL siempre sería no negativa.

Si es el caso que${\displaystyle m(x)}$es constante en algún intervalo de tamaño${\displaystyle r}$, y${\displaystyle p(x)}$Si es esencialmente cero fuera de ese intervalo, entonces la densidad límite de puntos discretos (LDDP) está estrechamente relacionada con la entropía diferencial.${\displaystyle h(X)}$:

${\displaystyle H_{N}(X)\approx \log(N)-\log(r)+h(X).}$

• Jaynes, ET (2003). Teoría de la probabilidad: La lógica de la ciencia . Cambridge University Press. ISBN 978-0521592710.