Correlación total

En teoría de la probabilidad , y en particular en teoría de la información , la correlación total (Watanabe, 1960) es una de las generalizaciones de la información mutua . También se la conoce como restricción multivariada (Garner, 1962) o multiinformación (Studený y Vejnarová, 1999). Cuantifica la redundancia o dependencia entre un conjunto de n variables aleatorias.

Para un conjunto dado de n variables aleatorias${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$, la correlación total${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})}$se define como la divergencia de Kullback-Leibler de la distribución conjunta${\displaystyle p(X_{1},\ldots ,X_{n})}$a la distribución independiente de${\displaystyle p(X_{1})p(X_{2})\cdots p(X_{n})}$,

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})\equiv \operatorname {D_{KL}} \left[p(X_{1},\ldots ,X_{n})\|p(X_{1})p(X_{2})\cdots p(X_{n})\right]\;.}$

Esta divergencia se reduce a la diferencia más simple de entropías,

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})=\left[\sum _{i=1}^{n}H(X_{i})\right]-H(X_{1},X_{2},\ldots ,X_{n})}$

dónde${\displaystyle H(X_{i})}$es la entropía de información de la variable${\displaystyle X_{i}\,}$, y${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})}$es la entropía conjunta del conjunto de variables${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$En términos de las distribuciones de probabilidad discretas sobre las variables${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$, la correlación total viene dada por

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})=\sum _{x_{1}\in {\mathcal {X}}_{1}}\sum _{x_{2}\in {\mathcal {X}}_{2}}\ldots \sum _{x_{n}\in {\mathcal {X}}_{n}}p(x_{1},x_{2},\ldots ,x_{n})\log {\frac {p(x_{1},x_{2},\ldots ,x_{n})}{p(x_{1})p(x_{2})\cdots p(x_{n})}}.}$

La correlación total es la cantidad de información compartida entre las variables del conjunto. La suma${\displaystyle {\begin{matrix}\sum _{i=1}^{n}H(X_{i})\end{matrix}}}$representa la cantidad de información en bits (suponiendo logaritmos en base 2) que poseerían las variables si fueran totalmente independientes entre sí (no redundantes), o, equivalentemente, la longitud promedio del código para transmitir los valores de todas las variables si cada variable se codificara (óptimamente) de forma independiente. El término${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})}$es la cantidad real de información que contiene el conjunto de variables, o equivalentemente, la longitud promedio del código para transmitir los valores de todas las variables si el conjunto de variables se codificara (óptimamente) en conjunto. La diferencia entre estos términos representa, por lo tanto, la redundancia absoluta (en bits) presente en el conjunto de variables dado, y proporciona así una medida cuantitativa general de la estructura u organización incorporada en el conjunto de variables (Rothstein 1952). La correlación total es también la divergencia de Kullback-Leibler entre la distribución real${\displaystyle p(X_{1},X_{2},\ldots ,X_{n})}$y su aproximación de producto de entropía máxima${\displaystyle p(X_{1})p(X_{2})\cdots p(X_{n})}$.

La correlación total cuantifica el grado de dependencia entre un grupo de variables. Una correlación total cercana a cero indica que las variables del grupo son esencialmente independientes desde el punto de vista estadístico; no están relacionadas en absoluto, en el sentido de que conocer el valor de una variable no proporciona ninguna pista sobre los valores de las demás variables. Por otro lado, la correlación total máxima (para un conjunto fijo de entropías individuales)${\displaystyle H(X_{1}),...,H(X_{n})}$) viene dado por

${\displaystyle C_{\max }=\sum _{i=1}^{n}H(X_{i})-\max \limits _{X_{i}}H(X_{i}),}$

Esto ocurre cuando una de las variables determina todas las demás. En ese caso, las variables están máximamente relacionadas, de modo que conocer el valor de una variable proporciona información completa sobre los valores de todas las demás. Las variables pueden considerarse figurativamente como engranajes, donde la posición de uno determina la posición de todos los demás (Rothstein, 1952).

Es importante señalar que la correlación total contabiliza todas las redundancias entre un conjunto de variables, pero que estas redundancias pueden distribuirse a lo largo del conjunto de variables de diversas maneras complejas (Garner 1962). Por ejemplo, algunas variables del conjunto pueden ser totalmente interredundantes, mientras que otras son completamente independientes. Quizás más importante aún, la redundancia puede manifestarse en interacciones de diversos grados: un grupo de variables puede no poseer ninguna redundancia por pares, pero puede poseer redundancias de interacción de orden superior del tipo ejemplificado por la función de paridad . La descomposición de la correlación total en sus redundancias constituyentes se explora en varias fuentes (Mcgill 1954, Watanabe 1960, Garner 1962, Studeny & Vejnarova 1999, Jakulin & Bratko 2003a, Jakulin & Bratko 2003b, Nemenman 2004, Margolin et al. 2008, Han 1978, Han 1980).

La correlación total condicional se define de forma análoga a la correlación total, pero añadiendo una condición a cada término. La correlación total condicional se define de manera similar como una divergencia de Kullback-Leibler entre dos distribuciones de probabilidad condicionales.

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n}|Y=y)\equiv \operatorname {D_{KL}} \left[p(X_{1},\ldots ,X_{n}|Y=y)\|p(X_{1}|Y=y)p(X_{2}|Y=y)\cdots p(X_{n}|Y=y)\right]\;.}$

De forma análoga a lo anterior, la correlación total condicional se reduce a una diferencia de entropías condicionales,

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n}|Y=y)=\sum _{i=1}^{n}H(X_{i}|Y=y)-H(X_{1},X_{2},\ldots ,X_{n}|Y=y)}$

Watanabe exploró algoritmos de agrupamiento y selección de características basados ​​en la correlación total. Alfonso et al. (2010) aplicaron el concepto de correlación total a la optimización de redes de monitoreo de agua.

• Información mutua
• Correlación total dual
• Información de interacción

• Alfonso, L., Lobbrecht, A., y Price, R. (2010). Optimización de la red de monitoreo del nivel del agua en sistemas de pólderes utilizando la teoría de la información , Water Resources Research , 46, W12553, 13 PP., 2010, doi : 10.1029/2009WR008953 .
• Garner WR (1962). Incertidumbre y estructura como conceptos psicológicos , JohnWiley & Sons, Nueva York.
• Han TS (1978). Medidas de entropía no negativa de correlaciones simétricas multivariadas, Information and Control 36 , 133 – 156.
• Han TS (1980). Información mutua múltiple e interacciones múltiples en datos de frecuencia, Information and Control 46 , 26 – 45.
• Jakulin A y Bratko I (2003a). Analyzing Attribute Dependencies, en N Lavra\quad{c}, D Gamberger, L Todorovski y H Blockeel, eds, Proceedings of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases , Springer, Cavtat-Dubrovnik, Croacia, pp.  229 – 240.
• Jakulin A y Bratko I (2003b). Cuantificación y visualización de las interacciones de atributos..
• Margolin A, Wang K, Califano A, & Nemenman I (2010). Dependencia multivariada e inferencia de redes genéticas. IET Syst Biol 4 , 428.
• McGill WJ (1954). Transmisión de información multivariada, Psychometrika 19 , 97 – 116.
• Nemenman I (2004). Teoría de la información, dependencia multivariada e inferencia de redes genéticas..
• Rothstein J (1952). Organización y entropía, Journal of Applied Physics 23 , 1281 – 1282.
• Studený M y Vejnarová J (1999). La función multiinformación como herramienta para medir la dependencia estocástica, en MI Jordan, ed., Aprendizaje en modelos gráficos , MIT Press, Cambridge, MA, pp.  261 – 296.
• Watanabe S (1960). Análisis teórico de la información de la correlación multivariada, IBM Journal of Research and Development 4 , 66 – 82.