Distribución de probabilidad conjunta

Cada una de las dos urnas contiene el doble de bolas rojas que de bolas azules, y ninguna otra, y se selecciona una bola al azar de cada urna, siendo las dos extracciones independientes entre sí.${\displaystyle A}$y${\displaystyle B}$Sean variables aleatorias discretas asociadas con los resultados de la extracción de la primera y la segunda urna, respectivamente. La probabilidad de extraer una bola roja de cualquiera de las urnas es ⁠ 2 / 3 ⁠ , y la probabilidad de extraer una bola azul es ⁠ 1 / 3 ⁠ . La distribución de probabilidad conjunta se presenta en la siguiente tabla:

Cada una de las cuatro celdas internas muestra la probabilidad de una combinación específica de resultados de las dos extracciones; estas probabilidades constituyen la distribución conjunta. En cualquier celda, la probabilidad de que ocurra una combinación específica es (dado que las extracciones son independientes) el producto de la probabilidad del resultado especificado para A y la probabilidad del resultado especificado para B. La suma de las probabilidades en estas cuatro celdas es igual a 1, como en todas las distribuciones de probabilidad.

Además, la última fila y la última columna dan la distribución de probabilidad marginal para A y la distribución de probabilidad marginal para B respectivamente. Por ejemplo, para A la primera de estas celdas da la suma de las probabilidades de que A sea rojo, independientemente de qué posibilidad para B en la columna anterior a la celda ocurra, como ⁠ 2 / 3 ⁠ . Por lo tanto, la distribución de probabilidad marginal para${\displaystyle A}$da${\displaystyle A}$las probabilidades incondicionales de${\displaystyle B}$, en un margen de la tabla.

Consideremos el lanzamiento de dos monedas justas ; sea${\displaystyle A}$y${\displaystyle B}$Sean variables aleatorias discretas asociadas con los resultados del primer y segundo lanzamiento de moneda, respectivamente. Cada lanzamiento de moneda es un ensayo de Bernoulli y tiene una distribución de Bernoulli . Si una moneda muestra "cara", la variable aleatoria asociada toma el valor 1, y toma el valor 0 en caso contrario. La probabilidad de cada uno de estos resultados es 1/2 , por lo que las funciones de densidad marginales ( incondicionales) son :

$${\displaystyle {\begin{aligned}P(A)&=1/2\quad {\text{para}}\quad A\in \{0,1\};\\P(B)&=1/2\quad {\text{para}}\quad B\in \{0,1\}.\end{aligned}}}$$

La función de masa de probabilidad conjunta de${\displaystyle A}$y${\displaystyle B}$define probabilidades para cada par de resultados. Todos los resultados posibles son $${\displaystyle (A,B)\in \{(0,0),(0,1),(1,0),(1,1)\}.}$$ Dado que cada resultado es igualmente probable, la función de masa de probabilidad conjunta se convierte en: $${\displaystyle P(A,B)=1/4\quad {\text{para}}\quad A,B\in \{0,1\}.}$$

Dado que los lanzamientos de moneda son independientes, la función de probabilidad conjunta es el producto de las distribuciones marginales: $${\displaystyle P(A,B)=P(A)P(B)\quad {\text{para}}\quad A,B\in \{0,1\}.}$$

Consideremos el lanzamiento de un dado justo y dejemos que${\displaystyle A=1}$si el número es par (es decir, 2, 4 o 6) y${\displaystyle A=0}$de lo contrario. Además, deje que${\displaystyle B=1}$si el número es primo (es decir, 2, 3 o 5) y${\displaystyle B=0}$de lo contrario.

Luego, la distribución conjunta de${\displaystyle A}$y${\displaystyle B}$, expresada como una función de masa de probabilidad, es $${\displaystyle {\begin{aligned}\mathrm {P} (A=0,B=0)&=P\{1\}={\frac {1}{6}},&\mathrm {P} (A=1,B=0)&=P\{4,6\}={\frac {2}{6}},\\\mathrm {P} (A=0,B=1)&=P\{3,5\}={\frac {2}{6}},&\mathrm {P} (A=1,B=1)&=P\{2\}={\frac {1}{6}}.\end{aligned}}}$$

Estas probabilidades necesariamente suman 1, ya que la probabilidad de alguna combinación de${\displaystyle A}$y${\displaystyle B}$ocurre 1.

La función de probabilidad conjunta de dos variables aleatorias discretas${\displaystyle X,Y}$es:

o escritas en términos de distribuciones condicionales $${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$$ dónde${\displaystyle \mathrm {P} (Y=y\mid X=x)}$es la probabilidad de${\displaystyle Y=y}$dado que${\displaystyle X=x}$.

La generalización del caso anterior de dos variables es la distribución de probabilidad conjunta de${\displaystyle n}$variables aleatorias discretas${\displaystyle X_{1},X_{2},\dots ,X_{n}}$que es:

o equivalentemente

$${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})={}&\mathrm {P} (X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\cdots \\&\cdot \mathrm {P} (X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$$

Esta identidad se conoce como la regla de la cadena de probabilidad .

Dado que se trata de probabilidades, en el caso de dos variables

$${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}$$ lo cual se generaliza para${\displaystyle n\,}$variables aleatorias discretas${\displaystyle X_{1},X_{2},\dots ,X_{n}}$a

$${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$$

La función de densidad de probabilidad conjunta${\displaystyle f_{X,Y}(x,y)}$para dos variables aleatorias continuas se define como la derivada de la función de distribución acumulativa conjunta (véase la ecuación 1 ):

Esto es igual a: $${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$$

dónde${\displaystyle f_{Y\mid X}(y\mid x)}$y${\displaystyle f_{X\mid Y}(x\mid y)}$son las distribuciones condicionales de${\displaystyle Y}$dado${\displaystyle X=x}$y de${\displaystyle X}$dado${\displaystyle Y=y}$respectivamente y${\displaystyle f_{X}(x)}$y${\displaystyle f_{Y}(y)}$son las distribuciones marginales para${\displaystyle X}$y${\displaystyle Y}$respectivamente.

La definición se extiende naturalmente a más de dos variables aleatorias:

Nuevamente, dado que se trata de distribuciones de probabilidad, uno tiene $${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$$ respectivamente $${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$$

La "densidad conjunta mixta" se puede definir cuando una o más variables aleatorias son continuas y las demás variables aleatorias son discretas. Con una variable de cada tipo. $${\displaystyle f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).}$$ Un ejemplo de una situación en la que se puede desear encontrar la distribución acumulativa de una variable aleatoria continua y otra variable aleatoria discreta surge cuando se desea utilizar una regresión logística para predecir la probabilidad de un resultado binario Y condicionado al valor de una variable de distribución continua.${\displaystyle X}$Se debe utilizar la densidad conjunta "mixta" al encontrar la distribución acumulativa de este resultado binario porque las variables de entrada${\displaystyle (X,Y)}$Inicialmente se definieron de tal manera que no se les podía asignar colectivamente ni una función de densidad de probabilidad ni una función de masa de probabilidad. Formalmente,${\displaystyle f_{X,Y}(x,y)}$es la función de densidad de probabilidad de${\displaystyle (X,Y)}$con respecto a la medida del producto en los respectivos soportes de${\displaystyle X}$y${\displaystyle Y}$Cualquiera de estas dos descomposiciones puede utilizarse para recuperar la función de distribución acumulativa conjunta: $${\displaystyle F_{X,Y}(x,y)=\sum _{t\leq y}\int _{-\infty }^{x}f_{X,Y}(s,t)\;ds.}$$ La definición se generaliza a una mezcla de un número arbitrario de variables aleatorias discretas y continuas.

En general, dos variables aleatorias${\displaystyle X}$y${\displaystyle Y}$son independientes si y solo si la función de distribución acumulativa conjunta satisface $${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$$

Dos variables aleatorias discretas${\displaystyle X}$y${\displaystyle Y}$son independientes si y solo si la función de masa de probabilidad conjunta satisface $${\displaystyle P(X=x\ {\text{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$$ a pesar de${\displaystyle x}$y${\displaystyle y}$.

A medida que aumenta el número de eventos aleatorios independientes, el valor de probabilidad conjunta relacionado disminuye rápidamente hasta cero, según una ley exponencial negativa.

De manera similar, dos variables aleatorias absolutamente continuas son independientes si y solo si $${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$$ a pesar de${\displaystyle x}$y${\displaystyle y}$Esto significa que adquirir cualquier información sobre el valor de una o más de las variables aleatorias conduce a una distribución condicional de cualquier otra variable que es idéntica a su distribución incondicional (marginal); por lo tanto, ninguna variable proporciona información sobre ninguna otra variable.

Si un subconjunto${\displaystyle A}$de las variables${\displaystyle X_{1},\cdots ,X_{n}}$es condicionalmente dependiente dado otro subconjunto${\displaystyle B}$de estas variables, entonces la función de probabilidad de la distribución conjunta es${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$.${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$es igual a${\displaystyle P(B)\cdot P(A\mid B)}$Por lo tanto, puede representarse eficientemente mediante distribuciones de probabilidad de menor dimensión.${\displaystyle P(B)}$y${\displaystyle P(A\mid B)}$Estas relaciones de independencia condicional pueden representarse mediante una red bayesiana o funciones de cópula .

Cuando se definen dos o más variables aleatorias en un espacio de probabilidad, resulta útil describir cómo varían conjuntamente; es decir, es útil medir la relación entre las variables. Una medida común de la relación entre dos variables aleatorias es la covarianza. La covarianza mide la relación lineal entre las variables aleatorias. Si la relación entre las variables aleatorias no es lineal, la covarianza podría no ser sensible a dicha relación, lo que significa que no refleja la correlación entre las dos variables.

La covarianza entre las variables aleatorias${\displaystyle X}$y${\displaystyle Y}$es ^{[ 2 ]}$${\displaystyle \operatorname {cov} (X,Y)=\sigma _{XY}=\operatorname {E} \left[(X-\mu _{x})(Y-\mu _{y})\right]=\operatorname {E} (XY)-\mu _{x}\mu _{y}.}$$

Existe otra medida de la relación entre dos variables aleatorias que suele ser más fácil de interpretar que la covarianza.

La correlación simplemente escala la covarianza por el producto de la desviación estándar de cada variable. Por consiguiente, la correlación es una magnitud adimensional que se puede utilizar para comparar las relaciones lineales entre pares de variables en diferentes unidades. Si los puntos en la distribución de probabilidad conjunta de X e Y que reciben probabilidad positiva tienden a caer a lo largo de una línea de pendiente positiva (o negativa), ρ _XY es cercano a +1 (o −1). Si ρ _XY es igual a +1 o −1, se puede demostrar que los puntos en la distribución de probabilidad conjunta que reciben probabilidad positiva caen exactamente a lo largo de una línea recta. Se dice que dos variables aleatorias con correlación distinta de cero están correlacionadas. De forma similar a la covarianza, la correlación es una medida de la relación lineal entre variables aleatorias.

El coeficiente de correlación entre las variables aleatorias${\displaystyle X}$y${\displaystyle Y}$es $${\displaystyle \rho _{XY}={\frac {\operatorname {cov} (X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}.}$$