Hispanopedia Wiki
Articulo de referencia

Correlación

Varios conjuntos de puntos ( x , y ), con el coeficiente de correlación de Pearson de x e y para cada conjunto. La correlación refleja la variabilidad y la dirección de una rela...

Hispanopedia WikiContenido en espanolLectura gratuita
Varios conjuntos de puntos ( x , y ), con el coeficiente de correlación de Pearson de x e y para cada conjunto. La correlación refleja la variabilidad y la dirección de una relación lineal (fila superior), pero no la pendiente de dicha relación (fila central), ni muchos aspectos de las relaciones no lineales (fila inferior). Nota: la figura central tiene una pendiente de 0, pero en ese caso, el coeficiente de correlación no está definido porque la varianza de Y es cero. 

En estadística , la correlación es un tipo de relación estadística entre dos variables aleatorias o datos bivariados . Generalmente se refiere al grado en que un par de cantidades están relacionadas linealmente . De manera más general, una relación arbitraria entre variables se denomina asociación , lo que significa el grado en que la variabilidad de una puede explicarse por la otra. [ 1 ] [ 2 ]

La mera existencia de una correlación no es suficiente para inferir una relación causal , y esto se suele expresar como « la correlación no implica causalidad ». Además, el concepto de correlación no es lo mismo que el de dependencia : si dos variables son independientes, no están correlacionadas, pero lo contrario no es necesariamente cierto ; incluso si dos variables no están correlacionadas, pueden ser dependientes entre sí. 

Las correlaciones son útiles porque pueden indicar una relación predictiva que puede aprovecharse en la práctica. Por ejemplo, una compañía eléctrica podría producir menos energía en un día templado basándose en la correlación entre la demanda de electricidad y las condiciones climáticas. En este ejemplo, existe una relación causal, ya que las condiciones climáticas extremas provocan un mayor consumo de electricidad para calefacción o refrigeración.

Existen varios coeficientes de correlación que pueden utilizarse para medir la correlación, a menudo denotadosρ{\displaystyle \rho }or{\displaystyle r}El más común de estos es el coeficiente de correlación de Pearson , que solo es sensible a una relación lineal entre dos variables (la cual, a su vez, puede existir incluso cuando una variable es una función no lineal de la otra). Se han desarrollado otros coeficientes de correlación, como el coeficiente de correlación de rangos de Spearman , para ser más robustos que el de Pearson y detectar relaciones menos estructuradas entre variables. [ 3 ] [ 4 ] [ 5 ]

El concepto se ha generalizado a otras formas de asociación entre dos variables, como la información mutua y la covarianza de distancia .

Coeficientes

Coeficiente de correlación producto-momento de Pearson

Ejemplos de diagramas de dispersión de varios conjuntos de datos con diferentes coeficientes de correlación.

La medida más conocida de dependencia entre dos cantidades es el coeficiente de correlación de Pearson, comúnmente llamado «coeficiente de correlación de Pearson» o simplemente «coeficiente de correlación» (ya que es la variante más común). Se obtiene calculando la razón entre la covarianza de dos variables de un conjunto de datos numéricos normalizada por la raíz cuadrada de sus varianzas. De forma equivalente, el coeficiente de correlación de Pearson se puede calcular dividiendo la covarianza de las dos variables por el producto de sus desviaciones estándar . Karl Pearson desarrolló el coeficiente a partir de una idea similar de Francis Galton . [ 6 ]

El coeficiente de correlación de Pearson intenta establecer una línea de mejor ajuste a través de un conjunto de datos de dos variables, estableciendo esencialmente los valores esperados. El coeficiente de correlación de Pearson resultante indica qué tan lejos se encuentra el conjunto de datos real de los valores esperados. Dependiendo del signo del coeficiente de correlación de Pearson, el resultado puede ser una correlación negativa o positiva si existe algún tipo de relación entre las variables del conjunto de datos.

El coeficiente de correlación poblacionalρincógnita,Y{\displaystyle \rho _{X,Y}}entre dos variables aleatoriasincógnita{\displaystyle X}yY{\displaystyle Y}con valores esperadosμincógnita{\displaystyle \mu _{X}}yμY{\displaystyle \mu _{Y}}y desviaciones estándarσincógnita{\displaystyle \sigma _{X}}yσY{\displaystyle \sigma _{Y}}se define como:

ρincógnita,Y=corr⁡(incógnita,Y)=cobertura⁡(incógnita,Y)σincógnitaσY=mi⁡[(incógnita−μincógnita)(Y−μY)]σincógnitaσY,si σincógnitaσY>0.{\displaystyle \rho _{X,Y}=\operatorname {corr} (X,Y)={\operatorname {cov} (X,Y) \over \sigma _{X}\sigma _{Y}}={\operatorname {E} [(X-\mu _{X})(Y-\mu _{Y})] \over \sigma _{X}\sigma _{Y}},\quad {\text{si}}\ \sigma _{X}\sigma _{Y}>0.}

dóndemi{\displaystyle \operatorname {E} }es el operador de valor esperado ,cobertura{\displaystyle \operatorname {cov} }significa covarianza ycorr{\displaystyle \operatorname {corr} }es una notación alternativa ampliamente utilizada para el coeficiente de correlación. La correlación de Pearson se define solo si ambas desviaciones estándar son finitas y positivas. Una fórmula alternativa expresada únicamente en términos de momentos es:

ρincógnita,Y=mi⁡(incógnitaY)−mi⁡(incógnita)mi⁡(Y)mi⁡(incógnita2)−mi⁡(incógnita)2⋅mi⁡(Y2)−mi⁡(Y)2{\displaystyle \rho _{X,Y}={\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y) \over {\sqrt {\operatorname {E} (X^{2})-\operatorname {E} (X)^{2}}}\cdot {\sqrt {\operatorname {E} (Y^{2})-\operatorname {E} (Y)^{2}}}}}

Correlación e independencia

Es corolario de la desigualdad de Cauchy-Schwarz que el valor absoluto del coeficiente de correlación de Pearson no sea mayor que 1. Por lo tanto, el valor de un coeficiente de correlación oscila entre −1 y +1. El coeficiente de correlación es +1 en el caso de una relación lineal directa (creciente) perfecta (correlación), −1 en el caso de una relación lineal inversa (decreciente) perfecta ( anticorrelación ), [ 7 ] y algún valor en el intervalo abierto.(−1,1){\displaystyle (-1,1)}En todos los demás casos, indica el grado de dependencia lineal entre las variables. A medida que se acerca a cero, la relación es menor (más cercana a la ausencia de correlación). Cuanto más cerca esté el coeficiente de -1 o 1, mayor será la correlación entre las variables.

Si las variables son independientes , el coeficiente de correlación de Pearson es 0. Sin embargo, dado que el coeficiente de correlación solo detecta dependencias lineales entre dos variables, lo contrario no es necesariamente cierto. Un coeficiente de correlación de 0 no implica que las variables sean independientes .

incógnita,Y independiente⇒ρincógnita,Y=0(incógnita,Y no correlacionado)ρincógnita,Y=0(incógnita,Y no correlacionado)⇏incógnita,Y independiente{\displaystyle {\begin{aligned}X,Y{\text{independientes}}\quad &\Rightarrow \quad \rho _{X,Y}=0\quad (X,Y{\text{no correlacionados}})\\\rho _{X,Y}=0\quad (X,Y{\text{no correlacionados}})\quad &\nRightarrow \quad X,Y{\text{independientes}}\end{aligned}}}

Por ejemplo, supongamos que la variable aleatoriaincógnita{\displaystyle X}está distribuida simétricamente alrededor de cero, yY=incógnita2{\displaystyle Y=X^{2}}. EntoncesY{\displaystyle Y}está completamente determinado porincógnita{\displaystyle X}, de modo queincógnita{\displaystyle X}yY{\displaystyle Y}son perfectamente dependientes, pero su correlación es cero; no están correlacionadas . Sin embargo, en el caso especial cuandoincógnita{\displaystyle X}yY{\displaystyle Y}son conjuntamente normales , la falta de correlación es equivalente a la independencia.

Aunque la falta de correlación entre los datos no implica necesariamente independencia, se puede comprobar si las variables aleatorias son independientes si su información mutua es cero.

coeficiente de correlación muestral

Dada una serie denorte{\displaystyle n}medidas del par(incógnitai,Yi){\displaystyle (X_{i},Y_{i})}indexado pori=1,…,norte{\displaystyle i=1,\ldots ,n}El coeficiente de correlación muestral se puede utilizar para estimar la correlación de Pearson poblacional.ρincógnita,Y{\displaystyle \rho _{X,Y}}entreincógnita{\displaystyle X}yY{\displaystyle Y}El coeficiente de correlación muestral se define como

rincógnitay=dmiF∑i=1norte(incógnitai−incógnita¯)(yi−y¯)(norte−1)sincógnitasy=∑i=1norte(incógnitai−incógnita¯)(yi−y¯)∑i=1norte(incógnitai−incógnita¯)2∑i=1norte(yi−y¯)2,{\displaystyle r_{xy}\quad {\overset {\underset {\mathrm {def} }{}}{=}}\quad {\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{(n-1)s_{x}s_{y}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}},}

dóndeincógnita¯{\displaystyle {\overline {x}}}yy¯{\displaystyle {\overline {y}}}son las medias de muestra deincógnita{\displaystyle X}yY{\displaystyle Y}, ysincógnita{\displaystyle s_{x}}ysy{\displaystyle s_{y}}son las desviaciones estándar de muestra corregidas deincógnita{\displaystyle X}yY{\displaystyle Y}.

Expresiones equivalentes pararincógnitay{\displaystyle r_{xy}}son

rincógnitay=∑incógnitaiyi−norteincógnita¯y¯nortesincógnita′sy′=norte∑incógnitaiyi−∑incógnitai∑yinorte∑incógnitai2−(∑incógnitai)2 norte∑yi2−(∑yi)2.{\displaystyle {\begin{aligned}r_{xy}&={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{ns'_{x}s'_{y}}}\\[5pt]&={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-(\sum x_{i})^{2}}}~{\sqrt {n\sum y_{i}^{2}-(\sum y_{i})^{2}}}}}.\end{aligned}}}

dóndesincógnita′{\displaystyle s'_{x}}ysy′{\displaystyle s'_{y}}son las desviaciones estándar de muestra no corregidas deincógnita{\displaystyle X}yY{\displaystyle Y}.

Siincógnita{\displaystyle x}yy{\displaystyle y}son resultados de mediciones que contienen error de medición, los límites realistas del coeficiente de correlación no son de −1 a +1 sino un rango menor. [ 8 ] Para el caso de un modelo lineal con una sola variable independiente, el coeficiente de determinación (R cuadrado) es el cuadrado derincógnitay{\displaystyle r_{xy}}, coeficiente de correlación producto-momento de Pearson.

Ejemplo

Considere la distribución de probabilidad conjunta de X e Y que se muestra en la tabla a continuación.

Para esta distribución conjunta, las distribuciones marginales son:

PAG(incógnita=incógnita)={13para incógnita=023para incógnita=1{\displaystyle \mathrm {P} (X=x)={\begin{cases}{\frac {1}{3}}&\quad {\text{para }}x=0\\{\frac {2}{3}}&\quad {\text{para }}x=1\end{cases}}}
PAG(Y=y)={13para y=−113para y=013para y=1{\displaystyle \mathrm {P} (Y=y)={\begin{cases}{\frac {1}{3}}&\quad {\text{para }}y=-1\\{\frac {1}{3}}&\quad {\text{para }}y=0\\{\frac {1}{3}}&\quad {\text{para }}y=1\end{cases}}}

Esto da como resultado las siguientes expectativas y variaciones:

μincógnita=23{\displaystyle \mu _{X}={\frac {2}{3}}}
μY=0{\displaystyle \mu _{Y}=0}
σincógnita2=29{\displaystyle \sigma _{X}^{2}={\frac {2}{9}}}
σY2=23{\displaystyle \sigma _{Y}^{2}={\frac {2}{3}}}

Por lo tanto:

ρincógnita,Y=1σincógnitaσYmi[(incógnita−μincógnita)(Y−μY)]=1σincógnitaσY∑incógnita,y(incógnita−μincógnita)(y−μY)PAG(incógnita=incógnita,Y=y)=332((1−23)(−1−0)13+(0−23)(0−0)13+(1−23)(1−0)13)=0.{\displaystyle {\begin{aligned}\rho _{X,Y}&={\frac {1}{\sigma _{X}\sigma _{Y}}}\mathrm {E} [(X-\mu _{X})(Y-\mu _{Y})]\\[5pt]&={\frac {1}{\sigma _{X}\sigma _{Y}}}\sum _{x,y}{(x-\mu _{X})(y-\mu _{Y})\mathrm {P} (X=x,Y=y)}\\[5pt]&={\frac {3{\sqrt {3}}}{2}}\left(\left(1-{\frac {2}{3}}\right)(-1-0){\frac {1}{3}}+\left(0-{\frac {2}{3}}\right)(0-0){\frac {1}{3}}+\left(1-{\frac {2}{3}}\right)(1-0){\frac {1}{3}}\right)=0.\end{aligned}}}

Coeficientes de correlación de rangos

Los coeficientes de correlación de rangos , como el coeficiente de correlación de rangos de Spearman y el coeficiente de correlación de rangos de Kendall (τ), miden hasta qué punto, a medida que una variable aumenta, la otra tiende a aumentar, sin requerir que dicho aumento se represente mediante una relación lineal. Si, a medida que una variable aumenta, la otra disminuye , los coeficientes de correlación de rangos serán negativos. Es común considerar estos coeficientes de correlación de rangos como alternativas al coeficiente de Pearson, ya sea para reducir la cantidad de cálculos o para que el coeficiente sea menos sensible a la falta de normalidad en las distribuciones. Sin embargo, esta visión tiene poca base matemática, ya que los coeficientes de correlación de rangos miden un tipo de relación diferente al coeficiente de correlación producto-momento de Pearson , y se entienden mejor como medidas de un tipo diferente de asociación, en lugar de como una medida alternativa del coeficiente de correlación poblacional. [ 9 ] [ 10 ]

Para ilustrar la naturaleza de la correlación de rangos y su diferencia con la correlación lineal, consideremos los siguientes cuatro pares de números.(incógnita,y){\displaystyle (x,y)}:

(0,  1), (10,  100), (101,  500), (102,  2000).

A medida que pasamos de cada par al siguiente par,incógnita{\displaystyle x}aumenta, y tambiény{\displaystyle y}Esta relación es perfecta, en el sentido de que un aumento enincógnita{\displaystyle x}siempre va acompañado de un aumento eny{\displaystyle y}Esto significa que tenemos una correlación de rangos perfecta, y tanto el coeficiente de correlación de Spearman como el de Kendall son 1, mientras que en este ejemplo el coeficiente de correlación producto-momento de Pearson es 0,7544, lo que indica que los puntos están lejos de estar sobre una línea recta. De la misma manera siy{\displaystyle y}siempre disminuye cuandoincógnita{\displaystyle x}a medida que aumenta , los coeficientes de correlación de rangos serán −1, mientras que el coeficiente de correlación de momento producto de Pearson puede o no estar cerca de −1, dependiendo de qué tan cerca estén los puntos de una línea recta. Aunque en los casos extremos de correlación de rangos perfecta los dos coeficientes son iguales (ambos +1 o ambos −1), este no es el caso generalmente, por lo que los valores de los dos coeficientes no se pueden comparar de manera significativa. [ 9 ] Por ejemplo, para los tres pares (1,  1) (2,  3) (3,  2) el coeficiente de Spearman es 1/2, mientras que el coeficiente de Kendall es  1/3.

conceptos erróneos comunes

Correlación y causalidad

El aforismo convencional de que « la correlación no implica causalidad » significa que la correlación no puede utilizarse por sí sola para inferir una relación causal entre las variables. [ 11 ] Este aforismo no debe interpretarse como que las correlaciones no puedan indicar la posible existencia de relaciones causales. Sin embargo, las causas subyacentes a la correlación, si las hay, pueden ser indirectas y desconocidas, y las correlaciones elevadas también se solapan con relaciones de identidad ( tautologías ), donde no existe un proceso causal (por ejemplo, entre dos variables que miden el mismo constructo). En consecuencia, una correlación entre dos variables no es una condición suficiente para establecer una relación causal (en ninguna dirección).

La correlación entre edad y estatura en niños es bastante evidente desde el punto de vista causal, pero la correlación entre estado de ánimo y salud en adultos no lo es tanto. ¿Un mejor estado de ánimo conlleva una mejor salud, o una buena salud conduce a un buen estado de ánimo, o ambas cosas? ¿O existe algún otro factor subyacente? En otras palabras, una correlación puede considerarse evidencia de una posible relación causal, pero no puede indicar cuál es dicha relación, si es que existe.

correlaciones lineales simples

El cuarteto de Anscombe : cuatro conjuntos de datos con la misma correlación de 0,816.

El coeficiente de correlación de Pearson indica la fuerza de una relación lineal entre dos variables, pero su valor generalmente no caracteriza completamente su relación. En particular, si la media condicional deY{\displaystyle Y}dadoincógnita{\displaystyle X}, denotadomi⁡(Y∣incógnita){\displaystyle \operatorname {E} (Y\mid X)}, no es lineal enincógnita{\displaystyle X}, el coeficiente de correlación no determinará completamente la forma demi⁡(Y∣incógnita){\displaystyle \operatorname {E} (Y\mid X)}.

La imagen adyacente muestra diagramas de dispersión del cuarteto de Anscombe , un conjunto de cuatro pares diferentes de variables creados por Francis Anscombe . [ 12 ] Los cuatroy{\displaystyle y}Las variables tienen la misma media (7,5), varianza (4,12), correlación (0,816) y línea de regresión (y=3+0,5incógnita{\textstyle y=3+0.5x}Sin embargo, como se puede observar en los gráficos, la distribución de las variables es muy diferente. El primero (arriba a la izquierda) parece tener una distribución normal, lo que corresponde a lo que se esperaría al considerar dos variables correlacionadas y siguiendo el supuesto de normalidad. El segundo (arriba a la derecha) no tiene una distribución normal; si bien se observa una relación evidente entre las dos variables, esta no es lineal. En este caso, el coeficiente de correlación de Pearson no indica que exista una relación funcional exacta, sino solo el grado en que dicha relación puede aproximarse mediante una relación lineal. En el tercer caso (abajo a la izquierda), la relación lineal es perfecta, salvo por un valor atípico que ejerce suficiente influencia como para reducir el coeficiente de correlación de 1 a 0,816. Finalmente, el cuarto ejemplo (abajo a la derecha) muestra otro caso en el que un valor atípico es suficiente para producir un coeficiente de correlación elevado, aunque la relación entre las dos variables no sea lineal.

Estos ejemplos indican que el coeficiente de correlación, como estadístico resumen , no puede reemplazar el examen visual de los datos. A veces se dice que los ejemplos demuestran que la correlación de Pearson presupone que los datos siguen una distribución normal , pero esto es solo parcialmente correcto. [ 6 ] La correlación de Pearson se puede calcular con precisión para cualquier distribución que tenga una matriz de covarianza finita , lo que incluye la mayoría de las distribuciones que se encuentran en la práctica. Sin embargo, el coeficiente de correlación de Pearson (junto con la media y la varianza de la muestra) solo es un estadístico suficiente si los datos se extraen de una distribución normal multivariada . En consecuencia, el coeficiente de correlación de Pearson caracteriza completamente la relación entre variables si y solo si los datos se extraen de una distribución normal multivariada.

Correlaciones entre 4 variables visualizadas mediante elipses de confianza del 50% y del 95%.

Propiedades

Descorrelación e independencia de los procesos estocásticos

De forma similar para dos procesos estocásticos{incógnitat}t∈T{\displaystyle \left\{X_{t}\right\}_{t\in {\mathcal {T}}}}y{Yt}t∈T{\displaystyle \left\{Y_{t}\right\}_{t\in {\mathcal {T}}}}: Si son independientes, entonces no están correlacionadas. [ 13 ] : pág. 151 Lo contrario de esta afirmación podría no ser cierto. Incluso si dos variables no están correlacionadas, podrían no ser independientes entre sí.

Sensibilidad a la distribución de los datos

El grado de dependencia entre las variables X e Y no depende de la escala en la que se expresan. Es decir, si analizamos la relación entre X e Y , la mayoría de las medidas de correlación no se ven afectadas al transformar X en a + bX e Y en c + dY , donde a , b , c y d son constantes ( siendo b y d positivas). Esto se aplica a algunas estadísticas de correlación , así como a sus análogos poblacionales . Algunas estadísticas de correlación, como el coeficiente de correlación de rangos, también son invariantes a las transformaciones monótonas de las distribuciones marginales de X y/o Y.

Se muestran los coeficientes de correlación de Pearson / Spearman entre X e Y cuando los rangos de las dos variables no están restringidos, y cuando el rango de X está restringido al intervalo (0,1).

La mayoría de las medidas de correlación son sensibles a la forma en que se muestrean X e Y. Las dependencias tienden a ser más fuertes si se consideran en un rango más amplio de valores. Por lo tanto, si consideramos el coeficiente de correlación entre las alturas de los padres y sus hijos en todos los hombres adultos, y lo comparamos con el mismo coeficiente de correlación calculado cuando los padres se seleccionan con una altura comprendida entre 165 cm y 170 cm, la correlación será más débil en este último caso. Se han desarrollado varias técnicas que intentan corregir la restricción de rango en una o ambas variables, y se utilizan comúnmente en metaanálisis; las más comunes son las ecuaciones de caso II y caso III de Thorndike. [ 14 ]

Diversas medidas de correlación utilizadas pueden no estar definidas para ciertas distribuciones conjuntas de X e Y. Por ejemplo, el coeficiente de correlación de Pearson se define en términos de momentos y, por lo tanto, no estará definido si los momentos no lo están. Las medidas de dependencia basadas en cuantiles siempre están definidas. Las estadísticas basadas en muestras, destinadas a estimar medidas de dependencia poblacional, pueden o no tener propiedades estadísticas deseables, como ser insesgadas o asintóticamente consistentes , según la estructura espacial de la población de la que se extrajeron los datos.

La sensibilidad a la distribución de los datos puede aprovecharse. Por ejemplo, la correlación escalada está diseñada para utilizar la sensibilidad al rango con el fin de identificar correlaciones entre componentes rápidos de series temporales . [ 15 ] Al reducir el rango de valores de forma controlada, se filtran las correlaciones en escalas de tiempo largas y solo se revelan las correlaciones en escalas de tiempo cortas.

Matrices de correlación

La matriz de correlación denorte{\displaystyle n}variables aleatoriasincógnita1,…,incógnitanorte{\displaystyle X_{1},\ldots ,X_{n}}es elnorte×norte{\displaystyle n\times n}matrizdo{\displaystyle C}cuyo(i,j){\displaystyle (i,j)}La entrada es

doij:=corr⁡(incógnitai,incógnitaj)=cobertura⁡(incógnitai,incógnitaj)σincógnitaiσincógnitaj,si σincógnitaiσincógnitaj>0.{\displaystyle c_{ij}:=\operatorname {corr} (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sigma _{X_{i}}\sigma _{X_{j}}}},\quad {\text{if}}\ \sigma _{X_{i}}\sigma _{X_{j}}>0.}

Por lo tanto, las entradas diagonales son todas idénticas a uno . Si las medidas de correlación utilizadas son los coeficientes de momento producto, la matriz de correlación es la misma que la matriz de covarianza de las variables aleatorias estandarizadas.incógnitai/σ(incógnitai){\displaystyle X_{i}/\sigma (X_{i})}parai=1,…,norte{\displaystyle i=1,\dots ,n}. Esto se aplica tanto a la matriz de correlaciones poblacionales (en cuyo casoσ{\displaystyle \sigma }es la desviación estándar de la población), y a la matriz de correlaciones de la muestra (en cuyo casoσ{\displaystyle \sigma }(denota la desviación estándar de la muestra). En consecuencia, cada una es necesariamente una matriz semidefinida positiva . Además, la matriz de correlación es estrictamente definida positiva si ninguna variable puede tener todos sus valores generados exactamente como una función lineal de los valores de las demás.

La matriz de correlación es simétrica porque la correlación entreincógnitai{\displaystyle X_{i}}yincógnitaj{\displaystyle X_{j}}es lo mismo que la correlación entreincógnitaj{\displaystyle X_{j}}yincógnitai{\displaystyle X_{i}}.

Una matriz de correlación aparece, por ejemplo, en una fórmula para el coeficiente de determinación múltiple , una medida de bondad de ajuste en la regresión múltiple .

En el modelado estadístico , las matrices de correlación que representan las relaciones entre variables se clasifican en diferentes estructuras de correlación, que se distinguen por factores como el número de parámetros necesarios para estimarlas. Por ejemplo, en una matriz de correlación intercambiable , todos los pares de variables se modelan con la misma correlación, por lo que todos los elementos no diagonales de la matriz son iguales entre sí. Por otro lado, una matriz autorregresiva se usa a menudo cuando las variables representan una serie temporal, ya que es probable que las correlaciones sean mayores cuando las mediciones están más próximas en el tiempo. Otros ejemplos incluyen matrices independientes, no estructuradas, M-dependientes y de Toeplitz .

En el análisis exploratorio de datos , la iconografía de las correlaciones consiste en reemplazar una matriz de correlación por un diagrama donde las correlaciones "destacadas" están representadas por una línea continua (correlación positiva) o una línea punteada (correlación negativa).

Matriz de correlación válida más cercana

En algunas aplicaciones (por ejemplo, al construir modelos de datos a partir de datos observados solo parcialmente), se busca encontrar la matriz de correlación "más cercana" a una matriz de correlación "aproximada" (por ejemplo, una matriz que normalmente carece de semidefinición positiva debido a la forma en que se ha calculado).

En 2002, Higham [ 16 ] formalizó la noción de cercanía utilizando la norma de Frobenius y proporcionó un método para calcular la matriz de correlación más cercana utilizando el algoritmo de proyección de Dykstra .

Esto despertó interés en el tema, y ​​en los años siguientes se obtuvieron nuevos resultados teóricos (por ejemplo, el cálculo de la matriz de correlación más cercana con estructura factorial [ 17 ] ) y numéricos (por ejemplo, el uso del método de Newton para calcular la matriz de correlación más cercana [ 18 ] ).

Distribución normal bivariada

Si un par (incógnita,Y) {\displaystyle \ (X,Y)\ }de variables aleatorias sigue una distribución normal bivariada , la media condicionalmi⁡(incógnita∣Y){\displaystyle \operatorname {\boldsymbol {\mathcal {E}}} (X\mid Y)}es una función lineal deY{\displaystyle Y}y la media condicionalmi⁡(Y∣incógnita){\displaystyle \operatorname {\boldsymbol {\mathcal {E}}} (Y\mid X)}es una función lineal de incógnita .{\displaystyle \ X~.}El coeficiente de correlación ρincógnita,Y {\displaystyle \ \rho _{X,Y}\ }entre incógnita {\displaystyle \ X\ }y Y ,{\displaystyle \ Y\ ,}y las medias marginales y las varianzas de incógnita {\displaystyle \ X\ }y Y {\displaystyle \ Y\ }determinar esta relación lineal:

mi⁡(Y∣incógnita)=mi⁡(Y)+ρincógnita,Y⋅σY⋅ incógnita−mi⁡(incógnita) σincógnita ,{\displaystyle \operatorname {\boldsymbol {\mathcal {E}}} (Y\mid X)=\operatorname {\boldsymbol {\mathcal {E}}} (Y)+\rho _{X,Y}\cdot \sigma _{Y}\cdot {\frac {\ X-\operatorname {\boldsymbol {\mathcal {E}}} (X)\ }{\sigma _{X}}}\ ,}

dóndemi⁡(incógnita){\displaystyle \operatorname {\boldsymbol {\mathcal {E}}} (X)}ymi⁡(Y){\displaystyle \operatorname {\boldsymbol {\mathcal {E}}} (Y)}son los valores esperados de incógnita {\displaystyle \ X\ }y Y ,{\displaystyle \ Y\ ,}respectivamente y σincógnita {\displaystyle \ \sigma _{X}\ }y σY {\displaystyle \ \sigma _{Y}\ }son las desviaciones estándar de incógnita {\displaystyle \ X\ }y Y ,{\displaystyle \ Y\ ,}respectivamente.

La correlación empíricar{\displaystyle r}es una estimación del coeficiente de correlación ρ .{\displaystyle \ \rho ~.}Una estimación de distribución para ρ {\displaystyle \ \rho \ }es dado por

π(ρ∣r)= Γ(norte)  2π ⋅Γ(norte− 1 2) ⋅(1−r2) norte −2 2⋅(1−ρ2) norte−3 2⋅(1−rρ)−norte+ 3 2⋅FHypag(  3 2,− 1 2;norte− 1 2; 1+rρ 2 ) {\displaystyle \pi (\rho \mid r)={\frac {\ \Gamma (N)\ }{\ {\sqrt {2\pi \ }}\cdot \Gamma (N-{\tfrac {\ 1\ }{2}})\ }}\cdot {\bigl (}1-r^{2}{\bigr )}^{\frac {\ N\ -2\ }{2}}\cdot {\bigl (}1-\rho ^{2}{\bigr )}^{\frac {\ N-3\ }{2}}\cdot {\bigl (}1-r\rho {\bigr )}^{-N+{\frac {\ 3\ }{2}}}\cdot F_{\mathsf {Hyp}}\left(\ {\tfrac {\ 3\ }{2}},-{\tfrac {\ 1\ }{2}};N-{\tfrac {\ 1\ }{2}};{\frac {\ 1+r\rho \ }{2}}\ \right)\ }

dónde FHypag {\displaystyle \ F_{Hyp}\ }es la función hipergeométrica gaussiana .

Esta densidad es a la vez una densidad posterior bayesiana y una densidad de distribución de confianza óptima exacta . [ 19 ] [ 20 ]

Otras medidas de asociación entre variables aleatorias

La información proporcionada por un coeficiente de correlación no es suficiente para definir la estructura de dependencia entre variables aleatorias. El coeficiente de correlación define completamente la estructura de dependencia solo en casos muy particulares, por ejemplo, cuando la distribución es una distribución normal multivariada . (Véase el diagrama anterior). En el caso de distribuciones elípticas, caracteriza las (hiper)elipses de igual densidad; sin embargo, no caracteriza completamente la estructura de dependencia (por ejemplo, los grados de libertad de una distribución t multivariada determinan el nivel de dependencia de la cola).

Para variables continuas, se introdujeron múltiples medidas alternativas de dependencia para abordar la deficiencia de la correlación de Pearson, que puede ser cero para variables aleatorias dependientes (véase [ 21 ] y las referencias allí citadas para una visión general). Todas comparten la importante propiedad de que un valor de cero implica independencia. Esto llevó a algunos autores [ 21 ] [ 22 ] a recomendar su uso rutinario, en particular de la correlación de distancia . [ 23 ] [ 24 ] Otra medida alternativa es el Coeficiente de Dependencia Aleatorizado. [ 25 ] El RDC es una medida de dependencia computacionalmente eficiente, basada en cópulas , entre variables aleatorias multivariadas y es invariante con respecto a escalas no lineales de variables aleatorias.

Una desventaja importante de las medidas alternativas, más generales, es que, cuando se utilizan para probar si dos variables están asociadas, tienden a tener menor potencia en comparación con la correlación de Pearson cuando los datos siguen una distribución normal multivariada. [ 21 ] Esto es una implicación del teorema de la no existencia de almuerzo gratis . Para detectar todo tipo de relaciones, estas medidas tienen que sacrificar potencia en otras relaciones, particularmente para el importante caso especial de una relación lineal con marginales gaussianas, para la cual la correlación de Pearson es óptima. Otro problema se refiere a la interpretación. Mientras que la correlación de Pearson puede interpretarse para todos los valores, las medidas alternativas generalmente solo pueden interpretarse de manera significativa en los extremos. [ 26 ]

Para dos variables binarias , la razón de probabilidades mide su dependencia y toma un rango de números no negativos, posiblemente infinito :[0,+∞]{\displaystyle [0,+\infty ]}. Las estadísticas relacionadas, como la Y de Yule y la Q de Yule , normalizan esto al rango similar a la correlación .[−1,1]{\displaystyle [-1,1]}⁠ . El odds ratio se generaliza mediante el modelo logístico para modelar casos en los que las variables dependientes son discretas y puede haber una o más variables independientes.

La razón de correlación , la información mutua basada en la entropía , la correlación total , la correlación total dual y la correlación policórica también son capaces de detectar dependencias más generales, al igual que la consideración de la cópula entre ellas, mientras que el coeficiente de determinación generaliza el coeficiente de correlación a la regresión múltiple .

Véase también

Referencias

  1. ↑ Upton, G., Cook, I. (2006) Oxford Dictionary of Statistics , 2.ª edición, OUP. ISBN 978-0-19-954145-4
  2. ↑ "Glosario de términos estadísticos" . SticiGui . 2019-09-02 . Consultado el 2025-12-18 .
  3. ↑ Croxton, Frederick Emory; Cowden, Dudley Johnstone; Klein, Sidney (1968) Applied General Statistics , Pitman. ISBN 9780273403159(página 625)
  4. ↑ Dietrich, Cornelius Frank (1991) Incertidumbre, calibración y probabilidad: La estadística de la medición científica e industrial, 2.ª edición, A. Higler. ISBN 9780750300605(Página 331)
  5. ↑ Aitken, Alexander Craig (1957) Matemáticas estadísticas, 8.ª edición. Oliver & Boyd. ISBN 9780050013007 (Página 95)
  6. 1 2 Rodgers, JL; Nicewander, WA (1988). "Trece maneras de ver el coeficiente de correlación". The American Statistician . 42 (1): 59– 66. doi : 10.1080/00031305.1988.10475524 . JSTOR 2685263 . 
  7. ↑ Dowdy, S. y Wearden, S. (1983). «Estadística para la investigación», Wiley. ISBN 0-471-08602-9págs. 230
  8. ↑ Francis, DP; Coats AJ; Gibson D (1999). "¿Qué tan alto puede ser un coeficiente de correlación?". Int J Cardiol . 69 (2): 185– 199. doi : 10.1016/S0167-5273(99)00028-5 . PMID 10549842 . 
  9. 1 2 Yule, GU y Kendall, MG (1950), "Introducción a la teoría de la estadística", 14.ª edición (5.ª reimpresión, 1968). Charles Griffin & Co. págs. 258-270
  10. ↑ Kendall, MG (1955) "Métodos de correlación de rangos", Charles Griffin & Co.
  11. ↑ Aldrich, John (1995). "Correlaciones genuinas y espurias en Pearson y Yule" . Statistical Science . 10 (4): 364– 376. doi : 10.1214/ss/1177009870 . JSTOR 2246135 . 
  12. ↑ Anscombe, Francis J. (1973). "Gráficos en el análisis estadístico". The American Statistician . 27 (1): 17– 21. doi : 10.2307/2682899 . JSTOR 2682899 . 
  13. ↑ Park, Kun Il (2018). Fundamentos de probabilidad y procesos estocásticos con aplicaciones a las comunicaciones . Springer. ISBN 978-3-319-68074-3.
  14. ↑ Thorndike, Robert Ladd (1947). Problemas y técnicas de investigación (Informe n.º 3) . Washington D.C.: Imprenta del Gobierno de EE. UU.
  15. ↑ Nikolić, D; Muresan, RC; Feng, W; Singer, W (2012). "Análisis de correlación escalada: una mejor manera de calcular un correlograma cruzado". European Journal of Neuroscience . 35 (5): 1– 21. doi : 10.1111/j.1460-9568.2011.07987.x . PMID 22324876 . S2CID 4694570 .  
  16. ↑ Higham, Nicholas J. (2002). "Cálculo de la matriz de correlación más cercana: un problema de finanzas". IMA Journal of Numerical Analysis . 22 (3): 329– 343. CiteSeerX 10.1.1.661.2180 . doi : 10.1093/imanum/22.3.329 . 
  17. ↑ Borsdorf, Rudiger; Higham, Nicholas J.; Raydan, Marcos (2010). "Cálculo de una matriz de correlación más cercana con estructura factorial" (PDF) . SIAM J. Matrix Anal. Appl . 31 (5): 2603– 2622. doi : 10.1137/090776718 .
  18. ↑ Qi, HOUDUO; Sun, DEFENG (2006). "Un método de Newton de convergencia cuadrática para calcular la matriz de correlación más cercana" . SIAM J. Matrix Anal. Appl . 28 (2): 360– 385. doi : 10.1137/050624509 .
  19. ↑ Taraldsen, Gunnar (2021). "La densidad de confianza para la correlación" . Sankhya A. 85 : 600–616 . doi : 10.1007 /s13171-021-00267-y . hdl : 11250/3133125 . ISSN 0976-8378 . S2CID 244594067 .  
  20. ^ Taraldsen, Gunnar (2020). Confianza en la correlación . researchgate.net (preimpresión). doi : 10.13140/RG.2.2.23673.49769 .
  21. 1 2 3 Karch, Julian D.; Perez-Alonso, Andres F.; Bergsma, Wicher P. (2024-08-04). "Más allá de la correlación de Pearson: pruebas de independencia no paramétricas modernas para la investigación psicológica". Multivariate Behavioral Research . 59 (5): 957– 977. doi : 10.1080/00273171.2024.2347960 . hdl : 1887/4108931 . PMID 39097830 . 
  22. ↑ Simon, Noah; Tibshirani, Robert (2014). "Comentario sobre "Detección de nuevas asociaciones en grandes conjuntos de datos" de Reshef et al., Science, 16 de diciembre de 2011". pág. 3. arXiv : 1401.7645 [ stat.ME ]. 
  23. ↑ Székely, GJ Rizzo; Bakirov, NK (2007). "Medición y prueba de independencia mediante correlación de distancias". Annals of Statistics . 35 (6): 2769– 2794. arXiv : 0803.4101 . doi : 10.1214/009053607000000505 . S2CID 5661488 . 
  24. ↑ Székely, GJ; Rizzo, ML (2009). "Covarianza de distancia browniana" . Annals of Applied Statistics . 3 (4): 1233– 1303. arXiv : 1010.0297 . doi : 10.1214/09-AOAS312 . PMC 2889501. PMID 20574547 .  
  25. ↑ Lopez-Paz D., Hennig P. y Schölkopf B. (2013). "El coeficiente de dependencia aleatorio", " Reimpresión de la Conferencia sobre Sistemas de Procesamiento de Información Neuronal ".
  26. ↑ Reimherr, Matthew; Nicolae, Dan L. (2013). "Sobre la cuantificación de la dependencia: un marco para el desarrollo de medidas interpretables". Statistical Science . 28 (1): 116– 130. arXiv : 1302.5233 . doi : 10.1214/12-STS405 .

Lecturas adicionales

  • John Nicholas Zorich (2024). La historia de la correlación . Taylor & Francis. doi : 10.1201/9781003527893 . ISBN 9781003527893.
  • "Correlación (en estadística)" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
  • Oestreicher, J. y DR (26 de febrero de 2015). Plague of Equals: Un thriller científico sobre enfermedades internacionales, política y descubrimiento de fármacos . California: Omega Cat Press. pág.  408. ISBN 978-0963175540.
  • Página de MathWorld sobre el/los coeficiente/s de correlación (cruzada) de una muestra.
  • Calcular la significancia entre dos correlaciones , para la comparación de dos valores de correlación.
  • "Una caja de herramientas de MATLAB para calcular coeficientes de correlación ponderados" . Archivado del original el 24 de abril de 2021.
  • Prueba de que la correlación bivariada muestral tiene límites más o menos 1.
  • Simulación interactiva en Flash sobre la correlación de dos variables con distribución normal, realizada por Juha Puranen.
  • Análisis de correlación. Estadística biomédica.
  • R-Psychologist Visualización de la correlación entre dos variables numéricas
Lecturas relacionadas
6 articulos
Coeficiente de correlación de PearsonCoeficiente de correlación de PearsonEn estadística , el coeficiente de correlación de Pearson ( PCC ) [a] es un coeficiente de correlación que mide la correlación lineal entre dos con...EstadísticaEstadísticaLa distribución normal , una densidad de probabilidad muy común , se utiliza ampliamente en estadística inferencial . Los diagramas de dispersión y...Variable aleatoriaUna variable aleatoria (también llamada cantidad aleatoria , variable aleatoria o variable estocástica ) es una formalización matemática de una can...Datos bivariadosDatos bivariadosEn estadística , los datos bivariados son datos sobre cada una de dos variables , donde cada valor de una de las variables se empareja con un valor...Función lineal (cálculo)Función lineal (cálculo)En cálculo y áreas relacionadas de las matemáticas, una función lineal de los números reales a los números reales es una función cuyo gráfico (en c...Variables latentes y observablesVariables latentes y observablesEn estadística , las variables latentes (del latín : participio presente de lateo , “estar ocultas” [1] ) son variables que solo se pueden inferir ...