Información de interacción

En la teoría de la probabilidad y la teoría de la información , la información de interacción es una generalización de la información mutua para más de dos variables .

Existen muchos nombres para la información de interacción, incluyendo cantidad de información , ^{[ 1 ]} correlación de información , ^{[ 2 ]} coinformación , ^{[ 3 ]} y simplemente información mutua . ^{[ 4 ]} La información de interacción expresa la cantidad de información (redundancia o sinergia) ligada a un conjunto de variables, más allá de la presente en cualquier subconjunto de dichas variables. A diferencia de la información mutua, la información de interacción puede ser positiva o negativa. Estas funciones, su negatividad y sus mínimos tienen una interpretación directa en topología algebraica . ^{[ 5 ]}

La información mutua condicional se puede utilizar para definir inductivamente la información de interacción para cualquier número finito de variables de la siguiente manera:

${\displaystyle I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}\mid X_{n+1}),}$

dónde

${\displaystyle I(X_{1};\ldots ;X_{n}\mid X_{n+1})=\mathbb {E} _{X_{n+1}}{\big (}I(X_{1};\ldots ;X_{n})\mid X_{n+1}{\big )}.}$

Algunos autores ^{[ 6 ]} definen la información de interacción de manera diferente, intercambiando los dos términos que se restan en la ecuación anterior. Esto tiene el efecto de invertir el signo para un número impar de variables.

Para tres variables${\displaystyle \{X,Y,Z\}}$la información de interacción${\displaystyle I(X;Y;Z)}$es dado por

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

dónde${\displaystyle I(X;Y)}$es la información mutua entre variables${\displaystyle X}$y${\displaystyle Y}$, y${\displaystyle I(X;Y\mid Z)}$es la información mutua condicional entre variables${\displaystyle X}$y${\displaystyle Y}$dado${\displaystyle Z}$La información de interacción es simétrica , por lo que no importa sobre qué variable se condicione. Esto se ve fácilmente cuando la información de interacción se escribe en términos de entropía y entropía conjunta , como sigue:

${\displaystyle {\begin{alignedat}{3}I(X;Y;Z)&=&&\;{\bigl (}H(X)+H(Y)+H(Z){\bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\end{alignedat}}}$

En general, para el conjunto de variables${\displaystyle {\mathcal {V}}=\{X_{1},X_{2},\ldots ,X_{n}\}}$La información de interacción se puede escribir de la siguiente forma (compárese con la aproximación de Kirkwood ):

${\displaystyle I({\mathcal {V}})=\sum _{{\mathcal {T}}\subseteq {\mathcal {V}}}(-1)^{\left\vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})}$

Para tres variables, la información de interacción mide la influencia de una variable.${\displaystyle Z}$sobre la cantidad de información compartida entre${\displaystyle X}$y${\displaystyle Y}$. Porque el término${\displaystyle I(X;Y\mid Z)}$puede ser más grande que${\displaystyle I(X;Y)}$La información de interacción puede ser tanto negativa como positiva. Esto sucederá, por ejemplo, cuando${\displaystyle X}$y${\displaystyle Y}$son independientes pero no condicionalmente independientes dado${\displaystyle Z}$La información de interacción positiva indica que la variable${\displaystyle Z}$inhibe (es decir, da cuenta o explica parte de) la correlación entre${\displaystyle X}$y${\displaystyle Y}$, mientras que la información de interacción negativa indica que la variable${\displaystyle Z}$facilita o mejora la correlación.

La posible negatividad de la información de interacción puede ser fuente de cierta confusión. ^{[ 3 ]} Muchos autores han tomado la información de interacción cero como una señal de que tres o más variables aleatorias no interactúan, pero esta interpretación es errónea. ^{[ 7 ]}

Para ver lo difícil que puede ser la interpretación, consideremos un conjunto de ocho variables binarias independientes.${\displaystyle \{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}$Agrupe estas variables de la siguiente manera:

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}}$

Porque el${\displaystyle Y_{i}}$Las se superponen entre sí (son redundantes) en las tres variables binarias.${\displaystyle \{X_{5},X_{6},X_{7}\}}$, esperaríamos la información de interacción${\displaystyle I(Y_{1};Y_{2};Y_{3})}$igualar${\displaystyle 3}$bits, lo cual hace. Sin embargo, consideremos ahora las variables aglomeradas.

${\displaystyle {\begin{aligned}Y_{1}&=\{X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\}\end{aligned}}}$

Estas son las mismas variables que antes con la adición de${\displaystyle Y_{4}=\{X_{7},X_{8}\}}$. Sin embargo,${\displaystyle I(Y_{1};Y_{2};Y_{3};Y_{4})}$en este caso en realidad es igual a${\displaystyle +1}$bit, lo que indica menos redundancia. Esto es correcto en el sentido de que

${\displaystyle {\begin{aligned}I(Y_{1};Y_{2};Y_{3};Y_{4})&=I(Y_{1};Y_{2};Y_{3})-I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{aligned}}}$

pero sigue siendo difícil de interpretar.

• Jakulin y Bratko (2003b) proporcionan un algoritmo de aprendizaje automático que utiliza información de interacción.
• Killian, Kravitz y Gilson (2007) utilizan la expansión de información mutua para extraer estimaciones de entropía de simulaciones moleculares. ^{[ 8 ]}
• LeVine y Weinstein (2014) utilizan información de interacción y otras medidas de información de N cuerpos para cuantificar los acoplamientos alostéricos en simulaciones moleculares. ^{[ 9 ]}
• Moore et al. (2006), Chanda P, Zhang A, Brazeau D, Sucheston L, Freudenheim JL, Ambrosone C, Ramanathan M. (2007) y Chanda P, Sucheston L, Zhang A, Brazeau D, Freudenheim JL, Ambrosone C, Ramanathan M. (2008) demuestran el uso de información de interacción para analizar interacciones gen-gen y gen-ambiente asociadas con enfermedades complejas.
• Pandey y Sarkar (2017) utilizan información sobre interacciones en cosmología para estudiar la influencia de los entornos a gran escala en las propiedades de las galaxias.
• Existe un paquete de Python para calcular todas las interacciones multivariadas o información mutua, información mutua condicional, entropías conjuntas, correlaciones totales y distancia de información en un conjunto de datos de n variables. ^{[ 10 ]}

• Información mutua
• Correlación total
• Correlación total dual
• Descomposición de información parcial

• Baudot, P.; Bennequin, D. (2015). "La naturaleza homológica de la entropía" (PDF) . Entropía . 17 (5): 1– 66. Bibcode : 2015Entrp..17.3253B . doi : 10.3390/e17053253 .
• Bell, AJ (2003), La red de co-información
• Fano, RM (1961), Transmisión de información: una teoría estadística de las comunicaciones , MIT Press, Cambridge, MA.
• Garner WR (1962). Incertidumbre y estructura como conceptos psicológicos , JohnWiley & Sons, Nueva York.
• Han, TS (1978). "Medidas de entropía no negativa de correlaciones simétricas multivariadas" . Information and Control . 36 (2): 133– 156. doi : 10.1016/s0019-9958(78)90275-9 .
• Han, TS (1980). "Información mutua múltiple e interacciones múltiples en datos de frecuencia" . Information and Control . 46 : 26–45 . doi : 10.1016/s0019-9958(80)90478-7 .
• Hu Kuo Tin (1962), Sobre la cantidad de información. Theory Probab. Appl., 7(4), 439–44. PDF
• Jakulin A y Bratko I (2003a). Analyzing Attribute Dependencies, en N Lavra\quad{c}, D Gamberger, L Todorovski y H Blockeel, eds, Proceedings of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases , Springer, Cavtat-Dubrovnik, Croacia, pp.  229–240.
• Jakulin A y Bratko I (2003b). Cuantificación y visualización de las interacciones de atributos..
• Margolin, A; Wang, K; Califano, A; Nemenman, I (2010). "Dependencia multivariada e inferencia de redes genéticas". IET Syst Biol . 4 (6): 428– 440. arXiv : 1001.1681 . doi : 10.1049/iet-syb.2010.0009 . PMID 21073241. S2CID 14280921 .  
• McGill, WJ (1954). "Transmisión de información multivariada". Psychometrika . 19 (2): 97– 116. doi : 10.1007/bf02289159 . S2CID 126431489 . 
• Moore JH, Gilbert JC, Tsai CT, Chiang FT, Holden T, Barney N, White BC (2006). Un marco computacional flexible para detectar, caracterizar e interpretar patrones estadísticos de epistasis en estudios genéticos de susceptibilidad a enfermedades humanas, Journal of Theoretical Biology 241 , 252–261.
• Nemenman I (2004). Teoría de la información, dependencia multivariada e inferencia de redes genéticas..
• Pearl, J (1988), Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible , Morgan Kaufmann, San Mateo, CA.
• Tsujishita, T (1995), Sobre la información mutua triple, Avances en matemáticas aplicadas 16 , 269–274.
• Chanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2007). "Métricas basadas en la teoría de la información para visualizar las interacciones gen-ambiente" . American Journal of Human Genetics . 81 (5): 939– 63. doi : 10.1086/521878 . PMC 2265645. PMID 17924337 .  
• Chanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2008). " AMBIENCE: un enfoque novedoso y un algoritmo eficiente para identificar asociaciones genéticas y ambientales informativas con fenotipos complejos" . Genetics . 180 (2): 1191– 210. doi : 10.1534/genetics.108.088542 . PMC 2567367. PMID 18780753 .  
• Killian, BJ; Kravitz, JY; Gilson, MK (2007). "Extracción de entropía configuracional a partir de simulaciones moleculares mediante una aproximación de expansión" . J. Chem. Phys . 127 (2): 024107. Bibcode : 2007JChPh.127b4107K . doi : 10.1063/1.2746329 . PMC 2707031. PMID 17640119 .  
• LeVine MV, Weinstein H (2014), NbIT - Un nuevo análisis basado en la teoría de la información de los mecanismos alostéricos revela residuos que subyacen a la función en el transportador de leucina LeuT. PLoS Computational Biology .
• Pandey, Biswajit; Sarkar, Suman (2017). "¿Cuánto sabe una galaxia sobre su entorno a gran escala?: Una perspectiva de la teoría de la información" . Monthly Notices of the Royal Astronomical Society Letters . 467 (1): L6. arXiv : 1611.00283 . Bibcode : 2017MNRAS.467L...6P . doi : 10.1093/mnrasl/slw250 . S2CID 119095496 . 
• https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
• Yeung RW (1992). Una nueva perspectiva sobre las medidas de información de Shannon. En IEEE Transactions on Information Theory.