Distribución hipergeométrica

Las siguientes condiciones caracterizan la distribución hipergeométrica:

• El resultado de cada extracción (los elementos de la población muestreada) se puede clasificar en una de dos categorías mutuamente excluyentes (por ejemplo, Aprobado/Reprobado o Empleado/Desempleado).
• La probabilidad de éxito cambia en cada extracción, ya que cada extracción disminuye la población ( muestreo sin reemplazo de una población finita).

Una variable aleatoria${\displaystyle X}$sigue la distribución hipergeométrica si su función de masa de probabilidad (pmf) está dada por ^{[ 2 ].}

${\displaystyle p_{X}(k)=\Pr(X=k)={\frac {{\binom {K}{k}}{\binom {NK}{nk}}}{\binom {N}{n}}},}$

dónde

• ${\displaystyle N}$es el tamaño de la población,
• ${\displaystyle K}$es el número de estados de éxito en la población,
• ${\displaystyle n}$es el número de extracciones (es decir, la cantidad extraída en cada prueba),
• ${\displaystyle k}$es el número de éxitos observados,
• ${\textstyle \textstyle {a \elegir b}}$es un coeficiente binomial .

La fuerza de probabilidad es positiva cuando${\displaystyle \max(0,n+KN)\leq k\leq \min(K,n)}$.

Una variable aleatoria distribuida hipergeométricamente con parámetros${\displaystyle N}$,${\displaystyle K}$y${\displaystyle n}$está escrito${\textstyle X\sim \operatorname {Hipergeométrico} (N,K,n)}$y tiene función de masa de probabilidad${\textstyle p_{X}(k)}$arriba.

Según lo requerido, tenemos

$${\displaystyle \sum _{0\leq k\leq {\textrm {min}}(n,K)}{{K \choose k}{NK \choose nk} \over {N \choose n}}=1,}$$

lo cual se deduce esencialmente de la identidad de Vandermonde en combinatoria .

Tenga en cuenta también que

${\displaystyle {{K \choose k}{NK \choose nk} \over {N \choose n}}={{{n \choose k}{{Nn} \choose {Kk}}} \over {N \choose K}};}$

Esta identidad se puede demostrar expresando los coeficientes binomiales en términos de factoriales y reordenando estos últimos. Además, se deduce de la simetría del problema, descrita de dos maneras diferentes pero intercambiables.

Por ejemplo, consideremos dos rondas de sorteo sin reemplazo. En la primera ronda,${\displaystyle K}$fuera de${\displaystyle N}$Se extraen canicas neutras de una urna sin reemplazo y se tiñen de verde. Luego se vuelven a colocar las canicas de color. En la segunda ronda,${\displaystyle n}$Se extraen canicas sin reemplazo y se colorean de rojo. Luego, el número de canicas con ambos colores (es decir, el número de canicas que se han extraído dos veces) tiene la distribución hipergeométrica. La simetría en${\displaystyle K}$y${\displaystyle n}$Esto se debe a que las dos rondas son independientes, y uno podría haber comenzado dibujando${\displaystyle n}$bolas y pintándolas de rojo primero.

Tenga en cuenta que estamos interesados ​​en la probabilidad de${\displaystyle k}$éxitos en${\displaystyle n}$extracciones sin reemplazo , ya que la probabilidad de éxito en cada ensayo no es la misma, puesto que el tamaño de la población restante cambia a medida que retiramos cada canica. Tenga en cuenta no confundir con la distribución binomial , que describe la probabilidad de${\displaystyle k}$éxitos en${\displaystyle n}$empata con reemplazo.

La aplicación clásica de la distribución hipergeométrica es el muestreo sin reemplazo . Imaginemos una urna con dos colores de canicas : roja y verde. Definimos extraer una canica verde como un éxito y extraer una canica roja como un fracaso. Sea N el número total de canicas en la urna (véase la tabla de contingencia a continuación) y K el número de canicas verdes ; entonces, N  − K corresponde al número de canicas rojas . Ahora, de pie junto a la urna, cerramos los ojos y extraemos n canicas sin reemplazo. Definimos X como una variable aleatoria cuyo resultado es k , el número de canicas verdes extraídas en el experimento. Esta situación se ilustra en la siguiente tabla de contingencia : 

En efecto, nos interesa calcular la probabilidad de extraer k canicas verdes en n extracciones, dado que hay K canicas verdes de un total de N canicas. Para este ejemplo, supongamos que hay 5 canicas verdes y 45 rojas en la urna. De pie junto a la urna, cierras los ojos y extraes 10 canicas sin reemplazo. ¿Cuál es la probabilidad de que exactamente 4 de las 10 sean verdes?

Este problema se resume en la siguiente tabla de contingencia:

Para hallar la probabilidad de extraer k canicas verdes en exactamente n extracciones de un total de N extracciones , identificamos X como una variable aleatoria hipergeométrica para usar la fórmula

${\displaystyle P(X=k)=f(k;N,K,n)={{{K \choose k}{{NK} \choose {nk}}} \over {N \choose n}}.}$

Para explicar intuitivamente la fórmula dada, consideremos los dos problemas simétricos representados por la identidad.

${\displaystyle {{K \choose k}{NK \choose nk} \over {N \choose n}}={{{n \choose k}{{Nn} \choose {Kk}}} \over {N \choose K}}}$

1. Lado izquierdo: extraer un total de solo n canicas de la urna. Queremos hallar la probabilidad de extraer k canicas verdes de un total de K canicas verdes, y extraer nk canicas rojas de NK canicas rojas, en estas n rondas.
2. lado derecho - alternativamente, extraer las N canicas de la urna. Queremos hallar la probabilidad de extraer k canicas verdes en n extracciones de un total de N extracciones, y Kk canicas verdes en las Nn extracciones restantes.

Volviendo a los cálculos, usamos la fórmula anterior para calcular la probabilidad de sacar exactamente k canicas verdes.

${\displaystyle P(X=4)=f(4;50,5,10)={{{5 \choose 4}{{45} \choose {6}}} \over {50 \choose 10}}={5\cdot 8145060 \over 10272278170}=0.003964583\dots .}$

Intuitivamente, cabría esperar que fuera aún más improbable que las 5 canicas verdes estuvieran entre las 10 extraídas.

${\displaystyle P(X=5)=f(5;50,5,10)={{{5 \choose 5}{{45} \choose {5}}} \over {50 \choose 10}}={1\cdot 1221759 \over 10272278170}=0.0001189375\dots ,}$

Como era de esperar, la probabilidad de sacar 5 canicas verdes es aproximadamente 35 veces menor que la de sacar 4.

Intercambiar los roles de las canicas verdes y rojas:

${\displaystyle f(k;N,K,n)=f(nk;N,NK,n)}$

Intercambiar los roles de las canicas extraídas y no extraídas:

${\displaystyle f(k;N,K,n)=f(Kk;N,K,Nn)}$

Intercambiar los roles de las canicas verdes y las dibujadas:

${\displaystyle f(k;N,K,n)=f(k;N,n,K)}$

Estas simetrías generan el grupo diedral.${\displaystyle D_{4}}$.

La probabilidad de extraer cualquier conjunto de canicas verdes y rojas (la distribución hipergeométrica) depende únicamente de la cantidad de canicas verdes y rojas, no del orden en que aparecen; es decir, es una distribución intercambiable . Como resultado, la probabilidad de extraer una canica verde en el${\displaystyle i^{\text{th}}}$El sorteo es ^{[ 3 ]}

${\displaystyle P(G_{i})={\frac {K}{N}}.}$

Se trata de una probabilidad ex ante , es decir, se basa en desconocer los resultados de los sorteos anteriores.

Dejar${\displaystyle X\sim \operatorname {Hipergeométrica} (N,K,n)}$y${\displaystyle p=K/N}$. Luego para${\displaystyle 0<t<K/N}$Podemos derivar los siguientes límites: ^{[ 4 ]}

${\displaystyle {\begin{aligned}\Pr[X\leq (p-t)n]&\leq e^{-n{\text{D}}(p-t\parallel p)}\leq e^{-2t^{2}n}\\\Pr[X\geq (p+t)n]&\leq e^{-n{\text{D}}(p+t\parallel p)}\leq e^{-2t^{2}n}\\\end{aligned}}\!}$

dónde

${\displaystyle D(a\parallel b)=a\log {\frac {a}{b}}+(1-a)\log {\frac {1-a}{1-b}}}$

es la divergencia de Kullback-Leibler y se utiliza que${\displaystyle D(a\parallel b)\geq 2(a-b)^{2}}$. ^{[ 5 ]}

Nota : Para derivar los límites anteriores, hay que empezar observando que${\displaystyle X={\frac {\sum _{i=1}^{n}Y_{i}}{n}}}$dónde${\displaystyle Y_{i}}$son variables aleatorias dependientes con una distribución específica${\displaystyle D}$Dado que la mayoría de los teoremas sobre límites en la suma de variables aleatorias se refieren a secuencias independientes de las mismas, primero hay que crear una secuencia.${\displaystyle Z_{i}}$de variables aleatorias independientes con la misma distribución${\displaystyle D}$y aplicar los teoremas en${\displaystyle X'={\frac {\sum _{i=1}^{n}Z_{i}}{n}}}$. Luego, se demuestra a partir de Hoeffding ^{[ 4 ]} que los resultados y límites obtenidos a través de este proceso se mantienen para${\displaystyle X}$también.

Si n es mayor que N /2, puede ser útil aplicar simetría para "invertir" los límites, lo que da como resultado lo siguiente: ^{[ 5 ] [ 6 ]}

${\displaystyle {\begin{aligned}\Pr[X\leq (p-t)n]&\leq e^{-(N-n){\text{D}}(p+{\tfrac {tn}{N-n}}||p)}\leq e^{-2t^{2}n{\tfrac {n}{N-n}}}\\\\\Pr[X\geq (p+t)n]&\leq e^{-(N-n){\text{D}}(p-{\tfrac {tn}{N-n}}||p)}\leq e^{-2t^{2}n{\tfrac {n}{N-n}}}\\\end{aligned}}\!}$

La prueba hipergeométrica utiliza la distribución hipergeométrica para medir la significación estadística de haber extraído una muestra que consta de un número específico de${\displaystyle k}$éxitos (de${\displaystyle n}$extracciones totales) de una población de tamaño${\displaystyle N}$que contiene${\displaystyle K}$éxitos. En una prueba de sobrerrepresentación de éxitos en la muestra, el valor p hipergeométrico se calcula como la probabilidad de extraer aleatoriamente${\displaystyle k}$o más éxitos de la población en${\displaystyle n}$total de extracciones. En una prueba de subrepresentación, el valor p es la probabilidad de extraer aleatoriamente.${\displaystyle k}$o menos éxitos.

La prueba basada en la distribución hipergeométrica (prueba hipergeométrica) es idéntica a la versión unilateral correspondiente de la prueba exacta de Fisher . ^{[ 7 ]} Recíprocamente, el valor p de una prueba exacta de Fisher bilateral se puede calcular como la suma de dos pruebas hipergeométricas apropiadas (para más información, consulte ^{[ 8 ]} ).

Esta prueba se utiliza a menudo para identificar qué subpoblaciones están sobrerrepresentadas o infrarrepresentadas en una muestra. Tiene una amplia gama de aplicaciones. Por ejemplo, un departamento de marketing podría usarla para comprender mejor a su clientela analizando a un grupo de clientes conocidos para detectar la sobrerrepresentación de diversos subgrupos demográficos (por ejemplo, mujeres, menores de 30 años).

El modelo de una urna con canicas verdes y rojas se puede extender al caso en que haya más de dos colores de canicas. Si hay K _i canicas de color i en la urna y se toman n canicas al azar sin reemplazo, entonces el número de canicas de cada color en la muestra ( k ₁ , k ₂ ,..., k _c ) tiene la distribución hipergeométrica multivariada:

${\displaystyle \Pr(X_{1}=k_{1},\ldots ,X_{c}=k_{c})={\frac {\prod \limits _{i=1}^{c}{\binom {K_{i}}{k_{i}}}}{\binom {N}{n}}}}$

Esto guarda la misma relación con la distribución multinomial que la que tiene la distribución hipergeométrica con la distribución binomial: la distribución multinomial es la distribución "con reemplazo" y la hipergeométrica multivariada es la distribución "sin reemplazo".

Las propiedades de esta distribución se dan en la tabla adyacente, ^{[ 9 ]} donde c es el número de colores diferentes y${\displaystyle N=\sum _{i=1}^{c}K_{i}}$es el número total de canicas en la urna.

Las auditorías electorales suelen analizar una muestra de distritos electorales con recuentos automáticos para comprobar si los recuentos manuales o automáticos coinciden con los recuentos originales. Las discrepancias dan lugar a un informe o a un recuento mayor. Las tasas de muestreo suelen estar definidas por ley, no por diseño estadístico, por lo que para un tamaño de muestra n definido legalmente , ¿cuál es la probabilidad de pasar por alto un problema presente en K distritos electorales, como un ataque informático o un fallo de software? Esta es la probabilidad de que k = 0. Los fallos de software suelen ser difíciles de detectar, y un atacante informático puede minimizar su detección afectando solo a unos pocos distritos electorales, lo que aún afectará a elecciones ajustadas, por lo que un escenario plausible es que K sea del orden del 5 % de N. Las auditorías suelen cubrir entre el 1 % y el 10 % de los distritos electorales (a menudo el 3 %), ^{[ 10 ] [ 11 ] [ 12 ]} por lo que tienen una alta probabilidad de pasar por alto un problema. Por ejemplo, si un problema está presente en 5 de 100 distritos electorales, una muestra del 3% tiene una probabilidad del 86% de que k = 0, por lo que el problema no se detectaría, y solo una probabilidad del 14% de que el problema aparezca en la muestra ( k positivo ):

${\displaystyle {\begin{aligned}\operatorname {\boldsymbol {\mathcal {P}}} \{\ X=0\ \}&={\frac {\ \left[\ {\binom {\text{Hack}}{0}}{\binom {N\ -\ {\text{Hack}}}{n\ -\ 0}}\ \right]\ }{\left[\ {\binom {N}{n}}\ \right]}}={\frac {\ \left[\ {\binom {N\ -\ {\text{Hack}}}{n}}\ \right]}{\ \left[\ {\binom {N}{n}}\ \right]\ }}={\frac {\ \left[\ {\frac {\ (N\ -\ {\text{Hack}})!\ }{n!(N\ -\ {\text{Hack}}-n)!}}\ \right]\ }{\left[\ {\frac {N!}{n!(N\ -\ n)!}}\ \right]}}={\frac {\ \left[\ {\frac {(N-{\text{Hack}})!}{(N\ -\ {\text{Hack}}\ -\ n)!}}\ \right]\ }{\left[\ {\frac {N!}{(N\ -\ n)!}}\ \right]}}\\[8pt]&={\frac {\ \left[\ {\binom {100-5}{3}}\ \right]\ }{\ \left[\ {\binom {100}{3}}\ \right]\ }}={\frac {\ \left[\ {\frac {(100-5)!}{(100-5-3)!}}\ \right]\ }{\left[\ {\frac {100!}{(100-3)!}}\ \right]}}={\frac {\ \left[\ {\frac {95!}{92!}}\ \right]\ }{\ \left[\ {\frac {100!}{97!}}\ \right]\ }}={\frac {\ 95\times 94\times 93\ }{100\times 99\times 98}}=86\%\end{aligned}}}$

La muestra necesitaría 45 distritos electorales para tener una probabilidad inferior al 5% de que k  =  0 en la muestra, y por lo tanto tener una probabilidad superior al 95% de encontrar el problema:

${\displaystyle \operatorname {\boldsymbol {\mathcal {P}}} \{\ X=0\ \}={\frac {\ \left[\ {\binom {100-5}{45}}\ \right]\ }{\left[\ {\binom {100}{45}}\ \right]}}={\frac {\ \left[\ {\frac {95!}{50!}}\ \right]\ }{\left[\ {\frac {100!}{55!}}\ \right]}}={\frac {\ 95\times 94\times \cdots \times 51\ }{\ 100\times 99\times \cdots \times 56\ }}={\frac {\ 55\times 54\times 53\times 52\times 51\ }{\ 100\times 99\times 98\times 97\times 96\ }}=4.6\%~.}$

En el póker Texas Hold'em , los jugadores forman la mejor mano posible combinando las dos cartas de su mano con las 5 cartas comunitarias que finalmente se revelan sobre la mesa. La baraja tiene 52 cartas y hay 13 de cada palo. Para este ejemplo, supongamos que un jugador tiene 2 tréboles en la mano y hay 3 cartas visibles sobre la mesa, 2 de las cuales también son tréboles. El jugador quiere saber la probabilidad de que una de las próximas 2 cartas que se muestren sea un trébol para completar el color . (Cabe destacar que la probabilidad calculada en este ejemplo asume que no se conoce información sobre las cartas de los demás jugadores; sin embargo, los jugadores de póker experimentados pueden considerar cómo los demás jugadores realizan sus apuestas (pasar, igualar, subir o retirarse) al calcular la probabilidad para cada escenario. Estrictamente hablando, el método para calcular las probabilidades de éxito descrito aquí es preciso en un escenario donde solo hay un jugador en la mesa; en una partida multijugador, esta probabilidad podría ajustarse en función de las apuestas de los oponentes).

Hay 4 tréboles a la vista, por lo que quedan 9 tréboles sin ver. Hay 5 cartas a la vista (2 en la mano y 3 sobre la mesa), por lo que hay${\displaystyle 52-5=47}$Aún no se ha visto.

La probabilidad de que exactamente una de las dos próximas cartas reveladas sea un trébol se puede calcular utilizando la distribución hipergeométrica con${\displaystyle k=1,n=2,K=9}$y${\displaystyle N=47}$(aproximadamente el 31,64%)

La probabilidad de que las dos siguientes cartas reveladas sean tréboles se puede calcular utilizando hipergeométrica con${\displaystyle k=2,n=2,K=9}$y${\displaystyle N=47}$(aproximadamente 3,33%)

La probabilidad de que ninguna de las dos cartas siguientes que se muestren sean tréboles se puede calcular utilizando hipergeométrica con${\displaystyle k=0,n=2,K=9}$y${\displaystyle N=47}$(aproximadamente el 65,03%)

La distribución hipergeométrica es indispensable para calcular las probabilidades del Keno . En el Keno, se extraen aleatoriamente 20 bolas de una colección de 80 bolas numeradas en un recipiente, de forma similar al Bingo americano . Antes de cada extracción, el jugador selecciona una cierta cantidad de números marcando un formulario de papel proporcionado para tal fin. Por ejemplo, un jugador podría jugar con 6 números , marcando 6 números del 1 al 80 inclusive. Luego (después de que todos los jugadores hayan entregado sus formularios a un cajero, recibido una copia de su formulario marcado y pagado su apuesta) se extraen 20 bolas. Algunas de las bolas extraídas pueden coincidir con algunos o todos los números seleccionados por el jugador. En general, cuantos más números coincidan (bolas extraídas que coincidan con los números seleccionados por el jugador), mayor será el premio.

Por ejemplo, si un cliente apuesta 1 dólar a un 6 (un ejemplo bastante común) y acierta 4 de los 6, el casino le pagaría 4 dólares. Los pagos pueden variar de un casino a otro, pero 4 dólares es un valor típico. La probabilidad de este evento es:

${\displaystyle P(X=4)=f(4;80,6,20)={{{6 \choose 4}{{80-6} \choose {20-4}}} \over {80 \choose 20}}\approx 0.02853791}$

De manera similar, la probabilidad de acertar 5 de los 6 lugares seleccionados es ${\displaystyle {{{6 \choose 5}{{74} \choose {15}}} \over {80 \choose 20}}\approx 0.003095639}$ Mientras que un premio típico podría ser de $88. El premio por acertar los 6 números sería de alrededor de $1500 (probabilidad ≈ 0,000128985 o 7752 a 1). El único otro premio distinto de cero podría ser de $1 por acertar 3 números (es decir, recuperas tu apuesta), lo cual tiene una probabilidad cercana a 0,129819548.

Si sumamos los productos de los pagos por las probabilidades correspondientes, obtenemos una rentabilidad esperada de 0,70986492, o aproximadamente un 71%, para una máquina tragamonedas de 6 números, lo que representa una ventaja de la casa del 29%. Las demás máquinas tragamonedas ofrecen una rentabilidad esperada similar. Esta baja rentabilidad (para el jugador) suele explicarse por los elevados costes operativos (espacio físico, equipamiento, personal) que requiere el juego.