Distribución de probabilidad conjunta

Cada una de las dos urnas contiene el doble de bolas rojas que de bolas azules, y ninguna otra, y se selecciona una bola al azar de cada urna, siendo las dos extracciones independientes entre sí.${\displaystyle A}$y${\displaystyle B}$Sean variables aleatorias discretas asociadas con los resultados de la extracción de la primera y la segunda urna, respectivamente. La probabilidad de extraer una bola roja de cualquiera de las urnas es ⁠ 2 / 3 ⁠ , y la probabilidad de extraer una bola azul es ⁠ 1 / 3 ⁠ . La distribución de probabilidad conjunta se presenta en la siguiente tabla:

Cada una de las cuatro celdas internas muestra la probabilidad de una combinación específica de resultados de las dos extracciones; estas probabilidades constituyen la distribución conjunta. En cualquier celda, la probabilidad de que ocurra una combinación específica es (dado que las extracciones son independientes) el producto de la probabilidad del resultado especificado para A y la probabilidad del resultado especificado para B. La suma de las probabilidades en estas cuatro celdas es igual a 1, como en todas las distribuciones de probabilidad.

Además, la última fila y la última columna dan la distribución de probabilidad marginal para A y la distribución de probabilidad marginal para B respectivamente. Por ejemplo, para A la primera de estas celdas da la suma de las probabilidades de que A sea rojo, independientemente de qué posibilidad para B en la columna anterior a la celda ocurra, como ⁠ 2 / 3 ⁠ . Por lo tanto, la distribución de probabilidad marginal para${\displaystyle A}$da${\displaystyle A}$las probabilidades incondicionales de${\displaystyle B}$, en un margen de la tabla.

Consideremos el lanzamiento de dos monedas justas ; sea${\displaystyle A}$y${\displaystyle B}$Sean variables aleatorias discretas asociadas con los resultados del primer y segundo lanzamiento de moneda, respectivamente. Cada lanzamiento de moneda es un ensayo de Bernoulli y tiene una distribución de Bernoulli . Si una moneda muestra "cara", la variable aleatoria asociada toma el valor 1, y toma el valor 0 en caso contrario. La probabilidad de cada uno de estos resultados es 1/2 , por lo que las funciones de densidad marginales ( incondicionales) son :

$${\displaystyle {\begin{aligned}P(A)&=1/2\quad {\text{para}}\quad A\in \{0,1\};\\P(B)&=1/2\quad {\text{para}}\quad B\in \{0,1\}.\end{aligned}}}$$

La función de masa de probabilidad conjunta de${\displaystyle A}$y${\displaystyle B}$define probabilidades para cada par de resultados. Todos los resultados posibles son $${\displaystyle (A,B)\in \{(0,0),(0,1),(1,0),(1,1)\}.}$$ Dado que cada resultado es igualmente probable, la función de masa de probabilidad conjunta se convierte en: $${\displaystyle P(A,B)=1/4\quad {\text{para}}\quad A,B\in \{0,1\}.}$$

Dado que los lanzamientos de moneda son independientes, la función de probabilidad conjunta es el producto de las distribuciones marginales: $${\displaystyle P(A,B)=P(A)P(B)\quad {\text{para}}\quad A,B\in \{0,1\}.}$$

Consideremos el lanzamiento de un dado justo y dejemos que${\displaystyle A=1}$si el número es par (es decir, 2, 4 o 6) y${\displaystyle A=0}$de lo contrario. Además, deje que${\displaystyle B=1}$si el número es primo (es decir, 2, 3 o 5) y${\displaystyle B=0}$de lo contrario.

Luego, la distribución conjunta de${\displaystyle A}$y${\displaystyle B}$, expresada como una función de masa de probabilidad, es $${\displaystyle {\begin{aligned}\mathrm {P} (A=0,B=0)&=P\{1\}={\frac {1}{6}},&\mathrm {P} (A=1,B=0)&=P\{4,6\}={\frac {2}{6}},\\\mathrm {P} (A=0,B=1)&=P\{3,5\}={\frac {2}{6}},&\mathrm {P} (A=1,B=1)&=P\{2\}={\frac {1}{6}}.\end{aligned}}}$$

Estas probabilidades necesariamente suman 1, ya que la probabilidad de alguna combinación de${\displaystyle A}$y${\displaystyle B}$ocurre 1.

La función de probabilidad conjunta de dos variables aleatorias discretas${\displaystyle X,Y}$es:

o escritas en términos de distribuciones condicionales $${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$$ dónde${\displaystyle \mathrm {P} (Y=y\mid X=x)}$es la probabilidad de${\displaystyle Y=y}$dado que${\displaystyle X=x}$.

La generalización del caso anterior de dos variables es la distribución de probabilidad conjunta de${\displaystyle n}$variables aleatorias discretas${\displaystyle X_{1},X_{2},\dots ,X_{n}}$que es:

o equivalentemente

$${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})={}&\mathrm {P} (X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\cdots \\&\cdot \mathrm {P} (X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$$

Esta identidad se conoce como la regla de la cadena de probabilidad .

Dado que se trata de probabilidades, en el caso de dos variables

$${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {y} \ Y=y_{j})=1,\,}$$ lo cual se generaliza para${\displaystyle n\,}$variables aleatorias discretas${\displaystyle X_{1},X_{2},\dots ,X_{n}}$a

$${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$$

La función de densidad de probabilidad conjunta${\displaystyle f_{X,Y}(x,y)}$para dos variables aleatorias continuas se define como la derivada de la función de distribución acumulativa conjunta (véase la ecuación 1 ):

Esto es igual a: $${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$$

dónde${\displaystyle f_{Y\mid X}(y\mid x)}$y${\displaystyle f_{X\mid Y}(x\mid y)}$son las distribuciones condicionales de${\displaystyle Y}$dado${\displaystyle X=x}$y de${\displaystyle X}$dado${\displaystyle Y=y}$respectivamente y${\displaystyle f_{X}(x)}$y${\displaystyle f_{Y}(y)}$son las distribuciones marginales para${\displaystyle X}$y${\displaystyle Y}$respectivamente.

La definición se extiende naturalmente a más de dos variables aleatorias:

Nuevamente, dado que se trata de distribuciones de probabilidad, uno tiene $${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$$ respectivamente $${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$$

La "densidad conjunta mixta" se puede definir cuando una o más variables aleatorias son continuas y las demás variables aleatorias son discretas. Con una variable de cada tipo. $${\displaystyle f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).}$$ Un ejemplo de una situación en la que se puede desear encontrar la distribución acumulativa de una variable aleatoria continua y otra variable aleatoria discreta surge cuando se desea utilizar una regresión logística para predecir la probabilidad de un resultado binario Y condicionado al valor de una variable de distribución continua.${\displaystyle X}$Se debe utilizar la densidad conjunta "mixta" al encontrar la distribución acumulativa de este resultado binario porque las variables de entrada${\displaystyle (X,Y)}$Inicialmente se definieron de tal manera que no se les podía asignar colectivamente ni una función de densidad de probabilidad ni una función de masa de probabilidad. Formalmente,${\displaystyle f_{X,Y}(x,y)}$es la función de densidad de probabilidad de${\displaystyle (X,Y)}$con respecto a la medida del producto en los respectivos soportes de${\displaystyle X}$y${\displaystyle Y}$Cualquiera de estas dos descomposiciones puede utilizarse para recuperar la función de distribución acumulativa conjunta: $${\displaystyle F_{X,Y}(x,y)=\sum _{t\leq y}\int _{-\infty }^{x}f_{X,Y}(s,t)\;ds.}$$ La definición se generaliza a una mezcla de un número arbitrario de variables aleatorias discretas y continuas.

En general, dos variables aleatorias${\displaystyle X}$y${\displaystyle Y}$son independientes si y solo si la función de distribución acumulativa conjunta satisface $${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$$

Dos variables aleatorias discretas${\displaystyle X}$y${\displaystyle Y}$son independientes si y solo si la función de masa de probabilidad conjunta satisface $${\displaystyle P(X=x\ {\text{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$$ a pesar de${\displaystyle x}$y${\displaystyle y}$.

While the number of independent random events grows, the related joint probability value decreases rapidly to zero, according to a negative exponential law.

Similarly, two absolutely continuous random variables are independent if and only if $${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$$ for all ${\displaystyle x}$ and ${\displaystyle y}$. This means that acquiring any information about the value of one or more of the random variables leads to a conditional distribution of any other variable that is identical to its unconditional (marginal) distribution; thus no variable provides any information about any other variable.

If a subset ${\displaystyle A}$ of the variables ${\displaystyle X_{1},\cdots ,X_{n}}$ is conditionally dependent given another subset ${\displaystyle B}$ of these variables, then the probability mass function of the joint distribution is ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$. ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ is equal to ${\displaystyle P(B)\cdot P(A\mid B)}$. Therefore, it can be efficiently represented by the lower-dimensional probability distributions ${\displaystyle P(B)}$ and ${\displaystyle P(A\mid B)}$. Such conditional independence relations can be represented with a Bayesian network or copula functions.

When two or more random variables are defined on a probability space, it is useful to describe how they vary together; that is, it is useful to measure the relationship between the variables. A common measure of the relationship between two random variables is the covariance. Covariance is a measure of linear relationship between the random variables. If the relationship between the random variables is nonlinear, the covariance might not be sensitive to the relationship, which means, it does not relate the correlation between two variables.

The covariance between the random variables ${\displaystyle X}$ and ${\displaystyle Y}$ is^[2]$${\displaystyle \operatorname {cov} (X,Y)=\sigma _{XY}=\operatorname {E} \left[(X-\mu _{x})(Y-\mu _{y})\right]=\operatorname {E} (XY)-\mu _{x}\mu _{y}.}$$

There is another measure of the relationship between two random variables that is often easier to interpret than the covariance.

The correlation just scales the covariance by the product of the standard deviation of each variable. Consequently, the correlation is a dimensionless quantity that can be used to compare the linear relationships between pairs of variables in different units. If the points in the joint probability distribution of X and Y that receive positive probability tend to fall along a line of positive (or negative) slope, ρ_XY is near +1 (or −1). If ρ_XY equals +1 or −1, it can be shown that the points in the joint probability distribution that receive positive probability fall exactly along a straight line. Two random variables with nonzero correlation are said to be correlated. Similar to covariance, the correlation is a measure of the linear relationship between random variables.

The correlation coefficient between the random variables ${\displaystyle X}$ and ${\displaystyle Y}$ is $${\displaystyle \rho _{XY}={\frac {\operatorname {cov} (X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}.}$$