Tasa de entropía

En la teoría matemática de la probabilidad , la tasa de entropía o tasa de información de la fuente de un proceso estocástico es, informalmente, la densidad temporal de la información promedio en un proceso estocástico. Para procesos estocásticos con un índice contable , la tasa de entropía $H(X)$ es el límite de la entropía conjunta de $n$ miembros del proceso $X_{k}$ dividido por $n$ , como $n$ tiende al infinito :

H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})

cuando existe el límite. Una cantidad alternativa relacionada es:

H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})

Para procesos estocásticos fuertemente estacionarios , $H(X)=H'(X)$ . La tasa de entropía puede considerarse una propiedad general de las fuentes estocásticas; esta es la propiedad de equipartición asintótica .

La tasa de entropía puede utilizarse para estimar la complejidad de procesos estocásticos. Se emplea en diversas aplicaciones, desde la caracterización de la complejidad de lenguajes y la separación ciega de fuentes, hasta la optimización de cuantificadores y algoritmos de compresión de datos . Por ejemplo, se puede utilizar un criterio de tasa de entropía máxima para la selección de características en el aprendizaje automático . ^{[ 1 ]}

Definición

Un proceso $X$ con un índice contable da lugar a la secuencia de sus entropías conjuntas $H_{n}(X_{1},X_{2},\dots X_{n})$ . Si existe el límite, la tasa de entropía se define como

H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.

Tenga en cuenta que dada cualquier secuencia $(a_{n})_{n}$ con $a_{0}=0$ y dejar $\Delta a_{k}:=a_{k}-a_{k-1}$ , al extender un telescopio se tiene $a_{n}={\textstyle \sum _ {k=1}^{n}}\Delta a_{k}$ La tasa de entropía calcula así la media de la primera $n$ tales cambios de entropía, con $n$ yendo al infinito . El $n$ El cambio de entropía es en sí mismo la entropía condicional. $H(X_{n}|X_{n-1},X_{n-2},...)$ . La tasa de entropía es, por lo tanto, la entropía promedio de la distribución de la $n$ la variable th una vez que se conocen las anteriores. El comportamiento de las entropías conjuntas de un índice al siguiente también es objeto explícito en algunas caracterizaciones de la entropía .

Discusión

Mientras $X$ puede entenderse como una secuencia de variables aleatorias, la tasa de entropía $H(X)$ representa el cambio de entropía promedio por variable aleatoria, a largo plazo.

Puede considerarse como una propiedad general de las fuentes estocásticas; este es el tema de la propiedad de equipartición asintótica .

Para procesos fuertemente estacionarios

Un proceso estocástico también da lugar a una secuencia de entropías condicionales, que comprende cada vez más variables aleatorias. Para procesos estocásticos fuertemente estacionarios, la tasa de entropía es igual al límite de esa secuencia.

H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})

La cantidad dada por el límite de la derecha también se denota $H'(X)$ , lo cual está motivado en la medida en que aquí se trata nuevamente de una tasa asociada con el proceso, en el sentido antes mencionado.

Para cadenas de Markov

Dado que un proceso estocástico definido por una cadena de Markov irreducible y aperiódica tiene una distribución estacionaria , la tasa de entropía es independiente de la distribución inicial. ^{[ 2 ]}

Por ejemplo, consideremos una cadena de Markov definida en un número contable de estados. Dada su matriz de transición estocástica derecha $P_{ij}$ y una entropía

h_{i}:=-\sum _{j}P_{ij}\log P_{ij}

asociado con cada estado, uno encuentra

\displaystyle H(X)=\sum _{i}\mu _{i}h_{i},

dónde $\mu _{i}$ es la distribución asintótica de la cadena.

En particular, se deduce que la tasa de entropía de un proceso estocástico i.i.d. es la misma que la entropía de cualquier miembro individual del proceso.

Para modelos ocultos de Markov

La tasa de entropía de los modelos ocultos de Markov (HMM) no tiene una solución analítica conocida. Sin embargo, tiene límites superiores e inferiores conocidos. Sea la cadena de Markov subyacente $X_{1:\infty }$ permanecer estacionarios y dejar $Y_{1:\infty }$ sean los estados observables, entonces tenemos $H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})$ y en el límite de $n\to \infty$ , ambos lados convergen hacia el medio. ^{[ 3 ]}

Véase también

Fuente de información (matemáticas)
Fuente de información de Markov
Propiedad de equipartición asintótica
Paseo aleatorio de entropía máxima : elegido para maximizar la tasa de entropía.

Referencias

↑ Einicke, GA (2018). "Selección de características mediante tasa de entropía máxima para clasificar cambios en la dinámica de la rodilla y el tobillo durante la carrera". IEEE Journal of Biomedical and Health Informatics . 28 (4): 1097– 1103. arXiv : 2501.13750 . doi : 10.1109/JBHI.2017.2711487 . PMID 29969403. S2CID 49555941 .
↑ Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Hoboken, NJ: Wiley-Interscience. pág. 78. ISBN 978-0-471-24195-9.
↑ Cover, Thomas M.; Thomas, Joy A. (2006). "4.5. Funciones de las cadenas de Markov". Elementos de la teoría de la información (2.ª ed.). Hoboken, NJ: Wiley-Interscience. ISBN 978-0-471-24195-9.

Enlaces externos

Cover, T. y Thomas, J. Elementos de la teoría de la información. John Wiley and Sons, Inc. Segunda edición, 2006.

[1] Einicke, GA (2018). "Selección de características mediante tasa de entropía máxima para clasificar cambios en la dinámica de la rodilla y el tobillo durante la carrera". IEEE Journal of Biomedical and Health Informatics . 28 (4): 1097– 1103. arXiv : 2501.13750 . doi : 10.1109/JBHI.2017.2711487 . PMID 29969403. S2CID 49555941 .

[2] Cover, Thomas M.; Thomas, Joy A. (2006). Elementos de la teoría de la información (2.ª ed.). Hoboken, NJ: Wiley-Interscience. pág. 78. ISBN 978-0-471-24195-9.

[3] Cover, Thomas M.; Thomas, Joy A. (2006). "4.5. Funciones de las cadenas de Markov". Elementos de la teoría de la información (2.ª ed.). Hoboken, NJ: Wiley-Interscience. ISBN 978-0-471-24195-9.

[ 1 ]

[ 2 ]

[ 3 ]