Correlación canónica

En estadística , el análisis de correlación canónica ( CCA ), también llamado análisis _de variables canónicas , es una forma de inferir información a partir de matrices _de covarianza cruzada . Si tenemos dos vectores X  =  ( X₁ , ..., Xₙ ) e Y = ( Y₁ , _... , Yₙ ₎ de variables aleatorias , y existen correlaciones entre las variables, entonces el análisis de correlación canónica encontrará combinaciones lineales de X e Y que tengan una correlación máxima entre sí. ^{[ 1 ]} TR Knapp señala que "prácticamente todas las pruebas paramétricas de significancia que se encuentran comúnmente pueden tratarse como casos especiales del análisis de correlación canónica, que es el procedimiento general para investigar las relaciones entre dos conjuntos de variables". ^{[ 2 ]} El método fue introducido por primera vez por Harold Hotelling en 1936, ^{[ 3 ]} aunque en el contexto de ángulos entre planos el concepto matemático fue publicado por Camille Jordan en 1875. ^{[ 4 ]}      

El análisis de correspondencia canónica (CCA) es ahora un pilar fundamental de la estadística multivariante y el aprendizaje multivista, y se han propuesto numerosas interpretaciones y extensiones, como el CCA probabilístico, el CCA disperso, el CCA multivista, el CCA profundo ^{[ 5 ]} y el DeepGeoCCA ^{[ 6 ]} . Desafortunadamente, quizás debido a su popularidad, la literatura puede presentar inconsistencias en la notación. En este artículo, intentamos destacar dichas inconsistencias para ayudar al lector a aprovechar al máximo la literatura y las técnicas disponibles.

Al igual que su método hermano PCA , CCA puede verse en forma de población (correspondiente a vectores aleatorios y sus matrices de covarianza) o en forma de muestra (correspondiente a conjuntos de datos y sus matrices de covarianza de muestra). Estas dos formas son casi análogas entre sí, razón por la cual su distinción a menudo se pasa por alto, pero pueden comportarse de manera muy diferente en entornos de alta dimensionalidad. ^{[ 7 ]} A continuación, proporcionamos definiciones matemáticas explícitas para el problema de población y destacamos los diferentes objetos en la llamada descomposición canónica ; comprender las diferencias entre estos objetos es crucial para la interpretación de la técnica.

Dados dos vectores columna${\displaystyle X=(x_{1},\dots ,x_{n})^{T}}$y${\displaystyle Y=(y_{1},\dots,y_{m})^{T}}$de variables aleatorias con segundos momentos finitos , se puede definir la covarianza cruzada${\displaystyle \Sigma _{XY}=\operatorname {cov} (X,Y)}$ser el${\displaystyle n\times m}$matriz cuyo${\displaystyle (i,j)}$La entrada es la covarianza${\displaystyle \operatorname {cov} (x_ {i}, y_ {j})}$En la práctica, estimaríamos la matriz de covarianza basándonos en datos muestreados de${\displaystyle X}$y${\displaystyle Y}$(es decir, a partir de un par de matrices de datos).

El análisis de correlación canónica busca una secuencia de vectores${\displaystyle a_{k}}$ (${\displaystyle a_{k}\in \mathbb {R} ^{n}}$) y${\displaystyle b_{k}}$(${\displaystyle b_{k}\in \mathbb {R} ^{m}}$) de tal manera que las variables aleatorias${\displaystyle a_{k}^{T}X}$y${\displaystyle b_{k}^{T}Y}$maximizar la correlación${\displaystyle \rho =\operatorname {corr} (a_{k}^{T}X,b_{k}^{T}Y)}$Las variables aleatorias (escalares)${\displaystyle U=a_{1}^{T}X}$y${\displaystyle V=b_{1}^{T}Y}$son el primer par de variables canónicas . Luego se buscan vectores que maximicen la misma correlación, sujetos a la restricción de que no estén correlacionados con el primer par de variables canónicas; esto da el segundo par de variables canónicas . Este procedimiento puede continuarse hasta${\displaystyle \min\{m,n\}}$veces.

$${\displaystyle (a_{k},b_{k})={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)\quad {\text{ sujeto a }}\operatorname {cov} (a^{T}X,a_{j}^{T}X)=\operatorname {cov} (b^{T}Y,b_{j}^{T}Y)=0{\text{ para }}j=1,\dots ,k-1}$$

Los conjuntos de vectores${\displaystyle a_{k},b_{k}}$se denominan direcciones canónicas o vectores de peso o simplemente pesos . Los conjuntos 'duales' de vectores${\displaystyle \Sigma _{XX}a_{k},\Sigma _{YY}b_{k}}$se denominan vectores de carga canónicos o simplemente cargas ; estos suelen ser más fáciles de interpretar que los pesos. ^{[ 8 ]}

Cada fila puede ser probada para determinar su significancia con el siguiente método. Dado que las correlaciones están ordenadas, decir que la fila${\displaystyle i}$es cero implica que todas las correlaciones posteriores también son cero. Si tenemos${\displaystyle p}$observaciones independientes en una muestra y${\displaystyle {\widehat {\rho }}_{i}}$es la correlación estimada para${\displaystyle i=1,\dots ,\min\{m,n\}}$. Para el${\displaystyle i}$En la fila n, el estadístico de prueba es:

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

que se distribuye asintóticamente como una chi-cuadrado con${\displaystyle (m-i+1)(n-i+1)}$grados de libertad para grandes${\displaystyle p}$. ^{[ 13 ]} Dado que todas las correlaciones de${\displaystyle \min\{m,n\}}$a${\displaystyle p}$son lógicamente cero (y se estiman de esa manera también) el producto para los términos después de este punto es irrelevante.

Tenga en cuenta que en el límite de tamaño de muestra pequeño con${\displaystyle p<n+m}$entonces tenemos la garantía de que lo mejor${\displaystyle m+n-p}$Las correlaciones serán idénticamente 1 y, por lo tanto, la prueba carece de sentido. ^{[ 14 ]}

Un uso típico de la correlación canónica en el contexto experimental es tomar dos conjuntos de variables y ver qué tienen en común. ^{[ 15 ]} Por ejemplo, en las pruebas psicológicas, se podrían tomar dos pruebas de personalidad multidimensionales bien establecidas , como el Inventario Multifásico de Personalidad de Minnesota (MMPI-2) y el NEO . Al ver cómo se relacionan los factores del MMPI-2 con los factores del NEO, se podría obtener información sobre qué dimensiones eran comunes entre las pruebas y cuánta varianza se compartía. Por ejemplo, se podría encontrar que una dimensión de extraversión o neuroticismo explicaba una cantidad sustancial de varianza compartida entre las dos pruebas.

También se puede utilizar el análisis de correlación canónica para generar una ecuación modelo que relacione dos conjuntos de variables, por ejemplo, un conjunto de medidas de rendimiento y un conjunto de variables explicativas, o un conjunto de salidas y un conjunto de entradas. Se pueden imponer restricciones a dicho modelo para asegurar que refleje los requisitos teóricos o condiciones intuitivamente obvias. Este tipo de modelo se conoce como modelo de correlación máxima. ^{[ 16 ]}

La visualización de los resultados de la correlación canónica se realiza generalmente mediante gráficos de barras de los coeficientes de los dos conjuntos de variables para los pares de variables canónicas que muestran una correlación significativa. Algunos autores sugieren que la mejor manera de visualizarlos es representándolos como heliógrafos, un formato circular con barras en forma de rayos, donde cada mitad representa los dos conjuntos de variables. ^{[ 17 ]}

Dejar${\displaystyle X=x_{1}}$con valor esperado cero , es decir,${\displaystyle \operatorname {E} (X)=0}$.

1. Si${\displaystyle Y=X}$, es decir,${\displaystyle X}$y${\displaystyle Y}$están perfectamente correlacionados, entonces, por ejemplo,${\displaystyle a=1}$y${\displaystyle b=1}$, de modo que el primer (y único en este ejemplo) par de variables canónicas es${\displaystyle U=X}$y${\displaystyle V=Y=X}$.
2. Si${\displaystyle Y=-X}$, es decir,${\displaystyle X}$y${\displaystyle Y}$están perfectamente anticorrelacionados, entonces, por ejemplo,${\displaystyle a=1}$y${\displaystyle b=-1}$, de modo que el primer (y único en este ejemplo) par de variables canónicas es${\displaystyle U=X}$y${\displaystyle V=-Y=X}$.

Observamos que en ambos casos${\displaystyle U=V}$, lo que demuestra que el análisis de correlación canónica trata las variables correlacionadas y anticorrelacionadas de manera similar.

Suponiendo que${\displaystyle X=(x_{1},\dots ,x_{n})^{T}}$y${\displaystyle Y=(y_{1},\dots ,y_{m})^{T}}$tienen valores esperados cero , es decir,${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=0}$, sus matrices de covarianza${\displaystyle \Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX^{T}]}$y${\displaystyle \Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY^{T}]}$pueden verse como matrices de Gram en un producto interno para las entradas de ${\displaystyle X}$y${\displaystyle Y}$, correspondientemente. En esta interpretación, las variables aleatorias, entradas${\displaystyle x_{i}}$de ${\displaystyle X}$y${\displaystyle y_{j}}$de${\displaystyle Y}$se tratan como elementos de un espacio vectorial con un producto interno dado por la covarianza${\displaystyle \operatorname {cov} (x_{i},y_{j})}$; véase Covarianza#Relación con productos internos .

La definición de las variables canónicas${\displaystyle U}$y${\displaystyle V}$es entonces equivalente a la definición de vectores principales para el par de subespacios generados por las entradas de ${\displaystyle X}$y${\displaystyle Y}$con respecto a este producto interno . Las correlaciones canónicas${\displaystyle \operatorname {corr} (U,V)}$es igual al coseno de los ángulos principales .

CCA también puede considerarse una transformación de blanqueamiento especial donde los vectores aleatorios${\displaystyle X}$y${\displaystyle Y}$se transforman simultáneamente de tal manera que la correlación cruzada entre los vectores blanqueados${\displaystyle X^{CCA}}$y${\displaystyle Y^{CCA}}$es diagonal. ^{[ 18 ]} Las correlaciones canónicas se interpretan entonces como coeficientes de regresión que vinculan${\displaystyle X^{CCA}}$y${\displaystyle Y^{CCA}}$y también puede ser negativo. La perspectiva de regresión del CCA también proporciona una forma de construir un modelo generativo probabilístico de variables latentes para el CCA, con variables ocultas no correlacionadas que representan la variabilidad compartida y no compartida. ^{[ 19 ]}

• Correlación canónica generalizada
• coeficiente RV
• Ángulos entre caras planas
• Análisis de componentes principales
• Análisis discriminante lineal
• Análisis de correlación canónica regularizada
• Descomposición en valores singulares
• Regresión de mínimos cuadrados parciales

• Análisis de correlación discriminante (DCA) ^{[ 20 ]} ( MATLAB )
• Hardoon, DR; Szedmak, S.; Shawe-Taylor, J. (2004). "Análisis de correlación canónica: una visión general con aplicación a métodos de aprendizaje". Neural Computation . 16 (12): 2639– 2664. CiteSeerX 10.1.1.14.6452 . doi : 10.1162/0899766042321814 . PMID 15516276 . S2CID 202473 .   
• Una nota sobre el análisis de correlación canónica ordinal de dos conjuntos de puntuaciones de clasificación (también proporciona un programa FORTRAN ) - en Journal of Quantitative Economics 7(2), 2009, pp.  173–199
• Análisis de correlación canónica con restricciones de representación: una hibridación de la correlación canónica y el análisis de componentes principales (también incluye un programa en FORTRAN ) - en Journal of Applied Economic Sciences 4(1), 2009, pp.  115–124