Entropía aproximada

En estadística , la entropía aproximada ( ApEn ) es una técnica utilizada para cuantificar la regularidad y la imprevisibilidad de las fluctuaciones en datos de series temporales . ^{[ 1 ]} Por ejemplo, consideremos dos series de datos:

Serie A: (0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, ...), que alterna 0 y 1.

Serie B: (0, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 1, 1, 0, 0, 1, ...), que tienen un valor de 0 o 1, elegidos al azar, cada uno con una probabilidad de 1/2.

Las estadísticas de momentos , como la media y la varianza , no permiten distinguir entre estas dos series. Tampoco las estadísticas de orden de rango . Sin embargo, la serie A es perfectamente regular: saber que un término tiene el valor de 1 permite predecir con certeza que el siguiente término tendrá el valor de 0. En cambio, la serie B tiene valores aleatorios: saber que un término tiene el valor de 1 no proporciona ninguna información sobre el valor que tendrá el siguiente término.

La regularidad se medía originalmente mediante estadísticas de regularidad exactas, que se han centrado principalmente en diversas medidas de entropía. ^{[ 1 ]} Sin embargo, el cálculo preciso de la entropía requiere grandes cantidades de datos, y los resultados se verán muy influenciados por el ruido del sistema, ^{[ 2 ]} por lo que no es práctico aplicar estos métodos a datos experimentales. ApEn fue propuesto por primera vez (con otro nombre) por Aviad Cohen e Itamar Procaccia , ^{[ 3 ]} como un algoritmo aproximado para calcular una estadística de regularidad exacta, la entropía de Kolmogorov-Sinai , y posteriormente popularizado por Steve M. Pincus . ApEn se utilizó inicialmente para analizar dinámicas caóticas y datos médicos, como la frecuencia cardíaca, ^{[ 1 ]} y posteriormente extendió sus aplicaciones a las finanzas , ^{[ 4 ]} la fisiología , ^{[ 5 ]} la ingeniería de factores humanos , ^{[ 6 ]} y las ciencias climáticas. ^{[ 7 ]}

Se encuentra disponible un tutorial completo paso a paso con una explicación de los fundamentos teóricos de la entropía aproximada. ^{[ 8 ]} El algoritmo es:

Paso 1

Supongamos una serie temporal de datos.${\displaystyle u(1),u(2),\ldots ,u(N)}$Estos son${\displaystyle N}$Valores de datos brutos obtenidos a partir de mediciones realizadas a intervalos de tiempo iguales.

Paso 2

Dejar${\displaystyle m\in \mathbb {Z} ^{+}}$sea ​​un entero positivo , con${\displaystyle m\leq N}$, que representa la longitud de una secuencia de datos (esencialmente una ventana ) .${\displaystyle r\in \mathbb {R} ^{+}}$Sea un número real positivo , que especifica un nivel de filtrado .${\displaystyle n=N-m+1}$.

Paso 3

Definir${\displaystyle \mathbf {x} (i)={\big [}u(i),u(i+1),\ldots ,u(i+m-1){\big ]}}$para cada${\displaystyle i}$dónde${\displaystyle 1\leq i\leq n}$. En otras palabras,${\displaystyle \mathbf {x} (i)}$es un${\displaystyle m}$Vector de dimensión que contiene la secuencia de datos que comienza con${\displaystyle u(i)}$. Definir la distancia entre dos vectores${\displaystyle \mathbf {x} (i)}$y${\displaystyle \mathbf {x} (j)}$como el máximo de las distancias entre sus componentes respectivas, dadas por

${\displaystyle {\begin{aligned}d[\mathbf {x} (i),\mathbf {x} (j)]&=\max _{k}{\big (}|\mathbf {x} (i)_{k}-\mathbf {x} (j)_{k}|{\big )}\\&=\max _{k}{\big (}|u(i+k-1)-u(j+k-1)|{\big )}\\\end{aligned}}}$

para${\displaystyle 1\leq k\leq m}$.

Paso 4

Defina un recuento${\displaystyle C_{i}^{m}}$como

${\displaystyle C_{i}^{m}(r)={({\text{número de }}j{\text{ tales que }}d[\mathbf {x} (i),\mathbf {x} (j)]\leq r) \over n}}$

para cada${\displaystyle i}$dónde${\displaystyle 1\leq i,j\leq n}$. Tenga en cuenta que desde${\displaystyle j}$toma todos los valores entre 1 y${\displaystyle n}$, el partido se contará cuando${\displaystyle j=i}$(es decir, cuando la subsecuencia de prueba,${\displaystyle \mathbf {x} (j)}$, se compara consigo mismo,${\displaystyle \mathbf {x} (i)}$).

Paso 5

Definir

${\displaystyle \phi ^{m}(r)={1 \over n}\sum _{i=1}^{n}\log(C_{i}^{m}(r))}$

dónde${\displaystyle \log }$es el logaritmo natural , y para un fijo${\displaystyle m}$,${\displaystyle r}$, y${\displaystyle n}$como se establece en el paso 2.

Paso 6

Definir entropía aproximada (${\displaystyle \mathrm {ApEn} }$) como

${\displaystyle \mathrm {ApEn} (m,r,N)(u)=\phi ^{m}(r)-\phi ^{m+1}(r)}$

Selección de parámetros

Normalmente, elige${\displaystyle m=2}$o${\displaystyle m=3}$, mientras${\displaystyle r}$Depende en gran medida de la aplicación.

Una implementación en Physionet, ^{[ 9 ]} que se basa en Pincus, ^{[ 2 ]} utiliza${\displaystyle d[\mathbf {x} (i),\mathbf {x} (j)]<r}$en lugar de${\displaystyle d[\mathbf {x} (i),\mathbf {x} (j)]\leq r}$en el paso 4. Si bien esto puede ser un problema en el caso de ejemplos construidos artificialmente, en la práctica no suele serlo.

Consideremos una secuencia de${\displaystyle N=51}$muestras de frecuencia cardíaca espaciadas uniformemente en el tiempo:

${\displaystyle \ S_{N}=\{85,80,89,85,80,89,\ldots \}}$

Nótese que la secuencia es periódica con un período de 3. Elegimos${\displaystyle m=2}$y${\displaystyle r=3}$(los valores de${\displaystyle m}$y${\displaystyle r}$puede variar sin afectar el resultado).

Formar una secuencia de vectores:

${\displaystyle {\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)]=[85\ 80]\\\mathbf {x} (2)&=[u(2)\ u(3)]=[80\ 89]\\\mathbf {x} (3)&=[u(3)\ u(4)]=[89\ 85]\\\mathbf {x} (4)&=[u(4)\ u(5)]=[85\ 80]\\&\ \ \vdots \end{aligned}}}$

La distancia se calcula repetidamente de la siguiente manera. En el primer cálculo,

${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (1)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (1)_{k}|=0}$lo cual es menor que${\displaystyle r}$.

En el segundo cálculo, observe que${\displaystyle |u(2)-u(3)|>|u(1)-u(2)|}$, entonces

${\displaystyle \ d[\mathbf {x} (1),\mathbf {x} (2)]=\max _{k}|\mathbf {x} (1)_{k}-\mathbf {x} (2)_{k}|=|u(2)-u(3)|=9}$que es mayor que${\displaystyle r}$.

Similarmente,

${\displaystyle {\begin{aligned}d[\mathbf {x} (1)&,\mathbf {x} (3)]=|u(2)-u(4)|=5>r\\d[\mathbf {x} (1)&,\mathbf {x} (4)]=|u(1)-u(4)|=|u(2)-u(5)|=0<r\\&\vdots \\d[\mathbf {x} (1)&,\mathbf {x} (j)]=\cdots \\&\vdots \\\end{aligned}}}$

El resultado es un total de 17 términos.${\displaystyle \mathbf {x} (j)}$de tal manera que${\displaystyle d[\mathbf {x} (1),\mathbf {x} (j)]\leq r}$Estos incluyen${\displaystyle \mathbf {x} (1),\mathbf {x} (4),\mathbf {x} (7),\ldots ,\mathbf {x} (49)}$En estos casos,${\displaystyle C_{i}^{m}(r)}$es

${\displaystyle \ C_{1}^{2}(3)={\frac {17}{50}}}$

${\displaystyle \ C_{2}^{2}(3)={\frac {17}{50}}}$

${\displaystyle \ C_{3}^{2}(3)={\frac {16}{50}}}$

${\displaystyle \ C_{4}^{2}(3)={\frac {17}{50}}\ \cdots }$

Nota en el paso 4,${\displaystyle 1\leq i\leq n}$para${\displaystyle \mathbf {x} (i)}$. Entonces los términos${\displaystyle \mathbf {x} (j)}$de tal manera que${\displaystyle d[\mathbf {x} (3),\mathbf {x} (j)]\leq r}$incluir${\displaystyle \mathbf {x} (3),\mathbf {x} (6),\mathbf {x} (9),\ldots ,\mathbf {x} (48)}$y el número total es 16.

Al final de estos cálculos, tenemos

${\displaystyle \phi ^{2}(3)={1 \over 50}\sum _{i=1}^{50}\log(C_{i}^{2}(3))\approx -1.0982}$

Luego repetimos los pasos anteriores para${\displaystyle m=3}$Primero, forme una secuencia de vectores:

${\displaystyle {\begin{aligned}\mathbf {x} (1)&=[u(1)\ u(2)\ u(3)]=[85\ 80\ 89]\\\mathbf {x} (2)&=[u(2)\ u(3)\ u(4)]=[80\ 89\ 85]\\\mathbf {x} (3)&=[u(3)\ u(4)\ u(5)]=[89\ 85\ 80]\\\mathbf {x} (4)&=[u(4)\ u(5)\ u(6)]=[85\ 80\ 89]\\&\ \ \vdots \end{aligned}}}$

Calculando las distancias entre vectores${\displaystyle \mathbf {x} (i),\mathbf {x} (j),1\leq i\leq 49}$, encontramos que los vectores que satisfacen el nivel de filtrado tienen la siguiente característica:

${\displaystyle d[\mathbf {x} (i),\mathbf {x} (i+3)]=0<r}$

Por lo tanto,

${\displaystyle \ C_{1}^{3}(3)={\frac {17}{49}}}$

${\displaystyle \ C_{2}^{3}(3)={\frac {16}{49}}}$

${\displaystyle \ C_{3}^{3}(3)={\frac {16}{49}}}$

${\displaystyle \ C_{4}^{3}(3)={\frac {17}{49}}\ \cdots }$

Al final de estos cálculos, tenemos

${\displaystyle \phi ^{3}(3)={1 \over 49}\sum _{i=1}^{49}\log(C_{i}^{3}(3))\approx -1.0982}$

Finalmente,

${\displaystyle \mathrm {ApEn} =\phi ^{2}(3)-\phi ^{3}(3)\approx 0.000010997}$

El valor es muy pequeño, lo que implica que la secuencia es regular y predecible, lo cual es consistente con la observación.

• Entropía aproximada rápida de MatLab Central
• entropía aproximada

La presencia de patrones repetitivos de fluctuación en una serie temporal la hace más predecible que una serie temporal en la que tales patrones están ausentes. ApEn refleja la probabilidad de que patrones de observaciones similares no sean seguidos por observaciones similares adicionales . ^{[ 10 ]} Una serie temporal que contiene muchos patrones repetitivos tiene un ApEn relativamente pequeño; un proceso menos predecible tiene un ApEn más alto. En la predicción, la entropía aproximada también se ha discutido como un diagnóstico de la predictibilidad o pronosticabilidad de las series temporales. ^{[ 11 ] [ 12 ]}

Las ventajas de ApEn incluyen: ^{[ 2 ]}

• Menor demanda computacional. ApEn puede diseñarse para funcionar con pequeñas muestras de datos (${\displaystyle N<50}$puntos) y se pueden aplicar en tiempo real.
• Menor influencia del ruido. Si los datos son ruidosos, la medida ApEn se puede comparar con el nivel de ruido en los datos para determinar qué calidad de información verdadera puede estar presente en ellos.

El algoritmo ApEn cuenta cada secuencia como si coincidiera consigo misma para evitar la ocurrencia de${\displaystyle \log(0)}$en los cálculos. Este paso podría introducir sesgos en ApEn, lo que hace que ApEn tenga dos propiedades deficientes en la práctica: ^{[ 13 ]}

1. ApEn depende en gran medida de la longitud del registro y es uniformemente inferior a lo esperado para registros cortos.
2. Carece de consistencia relativa. Es decir, si el ApEn de un conjunto de datos es mayor que el de otro, debería seguir siendo mayor para todas las condiciones analizadas, pero no lo hace.

ApEn se ha aplicado para clasificar la electroencefalografía (EEG) en enfermedades psiquiátricas, como la esquizofrenia, ^{[ 14 ]} la epilepsia , ^{[ 15 ]} y la adicción. ^{[ 16 ]}

• Análisis de cuantificación de recurrencia
• entropía de muestra