Correlación total dual

En teoría de la información, la correlación total dual , ^{[ 1 ]} la tasa de información , ^{[ 2 ]} la entropía en exceso , ^{[ 3 ] [ 4 ]} o la información vinculante ^{[ 5 ]} es una de las varias generalizaciones no negativas conocidas de la información mutua. Mientras que la correlación total está limitada por la suma de las entropías de los n elementos, la correlación total dual está limitada por la entropía conjunta de los n elementos. Aunque se comporta bien, la correlación total dual ha recibido mucha menos atención que la correlación total. Una medida conocida como "complejidad TSE" define un continuo entre la correlación total y la correlación total dual. ^{[ 3 ]}

Para un conjunto de n variables aleatorias${\displaystyle \{X_{1},\ldots ,X_{n}\}}$, la correlación total dual${\displaystyle D(X_{1},\ldots ,X_{n})}$es dado por

${\displaystyle D(X_{1},\ldots ,X_{n})=H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right),}$

dónde${\displaystyle H(X_{1},\ldots ,X_{n})}$es la entropía conjunta del conjunto de variables${\displaystyle \{X_{1},\ldots ,X_{n}\}}$y${\displaystyle H(X_{i}\mid \cdots )}$es la entropía condicional de la variable${\displaystyle X_{i}}$, teniendo en cuenta el resto.

La correlación total dual normalizada entre [0,1] es simplemente la correlación total dual dividida por su valor máximo.${\displaystyle H(X_{1},\ldots ,X_{n})}$,

${\displaystyle ND(X_{1},\ldots ,X_{n})={\frac {D(X_{1},\ldots ,X_{n})}{H(X_{1},\ldots ,X_{n})}}.}$

La correlación total dual es no negativa y está limitada superiormente por la entropía conjunta.${\displaystyle H(X_{1},\ldots ,X_{n})}$.

${\displaystyle 0\leq D(X_{1},\ldots ,X_{n})\leq H(X_{1},\ldots ,X_{n}).}$

En segundo lugar, la correlación total dual tiene una estrecha relación con la correlación total,${\displaystyle C(X_{1},\ldots ,X_{n})}$y se puede escribir en términos de diferencias entre la correlación total del todo y todos los subconjuntos de tamaño${\displaystyle N-1}$: ^{[ 6 ]}

${\displaystyle D({\textbf {X}})=(N-1)C({\textbf {X}})-\sum _{i=1}^{N}C({\textbf {X}}^{-i})}$

dónde${\displaystyle {\textbf {X}}=\{X_{1},\ldots ,X_{n}\}}$y${\displaystyle {\textbf {X}}^{-i}=\{X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\}}$

Además, la correlación total y la correlación total dual están relacionadas por los siguientes límites:

${\displaystyle {\frac {C(X_{1},\ldots ,X_{n})}{n-1}}\leq D(X_{1},\ldots ,X_{n})\leq (n-1)\;C(X_{1},\ldots ,X_{n}).}$

Finalmente, la diferencia entre la correlación total y la correlación total dual define una nueva medida de intercambio de información de orden superior: la información O: ^{[ 7 ]}

${\displaystyle \Omega ({\textbf {X}})=C({\textbf {X}})-D({\textbf {X}})}$.

La información O (introducida por primera vez como la "información enigmática" por James y Crutchfield ^{[ 8 ]} es una medida con signo que cuantifica el grado en que la información en una variable aleatoria multivariada está dominada por interacciones sinérgicas (en cuyo caso${\displaystyle \Omega ({\textbf {X}})<0}$) o interacciones redundantes (en cuyo caso${\displaystyle \Omega ({\textbf {X}})>0}$y han encontrado múltiples aplicaciones en neurociencia. ^{[ 9 ]}

Han (1978) definió originalmente la correlación total dual como,

${\displaystyle {\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\;.\end{aligned}}}$

Sin embargo, Abdallah y Plumbley (2010) demostraron su equivalencia con la forma más fácil de entender de la entropía conjunta menos la suma de las entropías condicionales mediante lo siguiente:

${\displaystyle {\begin{aligned}&D(X_{1},\ldots ,X_{n})\\[10pt]\equiv {}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]-(n-1)\;H(X_{1},\ldots ,X_{n})\\={}&\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})\right]+(1-n)\;H(X_{1},\ldots ,X_{n})\\={}&H(X_{1},\ldots ,X_{n})+\left[\sum _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})-H(X_{1},\ldots ,X_{n})\right]\\={}&H\left(X_{1},\ldots ,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\right)\;.\end{aligned}}}$

• Información de interacción : generalización de la información mutua para más de dos variables. 
• Información mutua : medida de dependencia entre dos variables. 
• Correlación total
• Hipótesis de Hilberg : crecimiento de la entropía del lenguaje según una ley de potencias o un proceso estocástico.