Descomposición de información parcial

La descomposición parcial de la información es una extensión de la teoría de la información que tiene como objetivo generalizar las relaciones por pares descritas por la teoría de la información a la interacción de múltiples variables. ^{[ 1 ]}

Sin embargo, se ha demostrado que la descomposición parcial de la información no es matemáticamente una extensión de la teoría clásica de la información, ya que las propiedades/axiomas centrales de la teoría clásica de la información generalmente no se pueden cumplir simultáneamente para la descomposición parcial de la información. ^{[ 2 ]}

La teoría de la información puede cuantificar la cantidad de información que contiene una única variable fuente.${\displaystyle X_{1}}$tiene aproximadamente una variable objetivo${\displaystyle Y}$a través de la información mutua${\displaystyle I(X_{1};Y)}$Si ahora consideramos una segunda variable fuente${\displaystyle X_{2}}$La teoría clásica de la información solo puede describir la información mutua de la variable conjunta.${\displaystyle \{X_{1},X_{2}\}}$con${\displaystyle Y}$, dado por${\displaystyle I(X_{1},X_{2};Y)}$En general, sin embargo, sería interesante saber exactamente cómo las variables individuales${\displaystyle X_{1}}$y${\displaystyle X_{2}}$y sus interacciones se relacionan con${\displaystyle Y}$.

Consideremos que se nos dan dos variables fuente.${\displaystyle X_{1},X_{2}\in \{0,1\}}$y una variable objetivo${\displaystyle Y=XOR(X_{1},X_{2})}$En este caso, la información mutua total${\displaystyle I(X_{1},X_{2};Y)=1}$mientras que la información mutua individual${\displaystyle I(X_{1};Y)=I(X_{2};Y)=0}$. Es decir, existe información sinérgica que surge de la interacción de${\displaystyle X_{1},X_{2}}$acerca de${\displaystyle Y}$, que no se pueden capturar fácilmente con cantidades de la teoría de la información clásica.

Dado que la información mutua es capaz de capturar relaciones estadísticas no lineales y no monótonas entre variables, el marco PID podría cuantificar dependencias estadísticas multivariadas en sistemas complejos arbitrarios de una manera mucho más general que, por ejemplo, el coeficiente de correlación, y es especialmente capaz de distinguir entre diferentes tipos de interacción entre variables.

La descomposición de información parcial descompone aún más la información mutua entre las variables fuente.${\displaystyle \{X_{1},X_{2}\}}$con la variable objetivo${\displaystyle Y}$como

${\displaystyle I(X_{1},X_{2};Y)={\text{Unq}}(X_{1};Y\setminus X_{2})+{\text{Unq}}(X_{2};Y\setminus X_{1})+{\text{Syn}}(X_{1},X_{2};Y)+{\text{Red}}(X_{1},X_{2};Y)}$

Aquí los átomos de información individuales se definen como

• ${\displaystyle {\text{Unq}}(X_{1};Y\setminus X_{2})}$es la información única que${\displaystyle X_{1}}$tiene aproximadamente${\displaystyle Y}$, que no está en${\displaystyle X_{2}}$
• ${\displaystyle {\text{Syn}}(X_{1},X_{2};Y)}$es la información sinérgica que se encuentra en la interacción de${\displaystyle X_{1}}$y${\displaystyle X_{2}}$acerca de${\displaystyle Y}$
• ${\displaystyle {\text{Rojo}}(X_{1},X_{2};Y)}$es la información redundante que está en ambos${\displaystyle X_{1}}$o${\displaystyle X_{2}}$acerca de${\displaystyle Y}$

Hasta el momento, no existe un acuerdo universal sobre cómo deben definirse estos términos, y en la literatura aparecen diferentes enfoques que descomponen la información en componentes redundantes, únicos y sinérgicos. ^{[ 1 ] [ 3 ] [ 4 ] [ 5 ]}

Sin embargo, una vez que se ha elegido una definición apropiada de información redundante, la descomposición se reduce a una inversión de Möbius ^{[ 6 ]} y se puede calcular utilizando la Transformada Rápida de Möbius. ^{[ 7 ]}

A pesar de la falta de acuerdo universal, la descomposición parcial de la información se ha aplicado a diversos campos, incluyendo la climatología , ^{[ 8 ]} la neurociencia ^{[ 9 ] [ 10 ] [ 11 ]} la sociología, ^{[ 12 ]} y el aprendizaje automático . ^{[ 13 ]} La descomposición parcial de la información también se ha propuesto como una posible base sobre la cual construir una definición matemáticamente robusta de emergencia en sistemas complejos ^{[ 14 ]} y puede ser relevante para las teorías formales de la conciencia. ^{[ 15 ]}

• Información mutua
• Correlación total
• Correlación total dual
• Información de interacción