Ley de los grandes números

En teoría de la probabilidad , la ley de los grandes números es una ley matemática que establece que el promedio de los resultados obtenidos de un gran número de muestras aleatorias independientes converge al valor verdadero, si existe. ^{[ 1 ]} Más formalmente, la ley de los grandes números establece que dada una muestra de valores independientes e idénticamente distribuidos, la media muestral converge a la media verdadera .

La ley de los grandes números es importante porque garantiza resultados estables a largo plazo para los promedios de algunos eventos aleatorios . ^{[ 1 ] [ 2 ]} Por ejemplo, si bien un casino puede perder dinero en una sola tirada de la ruleta , sus ganancias tenderán a un porcentaje predecible a lo largo de una gran cantidad de tiradas. Cualquier racha ganadora de un jugador eventualmente será superada por los parámetros del juego. Es importante destacar que la ley se aplica (como su nombre lo indica) solo cuando se considera una gran cantidad de observaciones. No existe ningún principio que asegure que una pequeña cantidad de observaciones coincida con el valor esperado o que una racha de un valor sea inmediatamente "equilibrada" por las demás .

A lo largo de su historia, muchos matemáticos han perfeccionado esta ley. Hoy en día, la ley de los grandes números se utiliza en muchos campos, como la estadística, la teoría de la probabilidad, la economía y los seguros. ^{[ 3 ]}

Un solo lanzamiento de un dado de seis caras produce uno de los números 1, 2, 3, 4, 5 o 6, cada uno con igual probabilidad . Por lo tanto, el valor esperado del lanzamiento es:

$${\displaystyle {\frac {1+2+3+4+5+6}{6}}=3,5}$$

Según la ley de los grandes números, si se lanza una gran cantidad de dados de seis caras, el promedio de sus valores (a veces llamado media muestral ) se aproximará a 3,5, y la precisión aumentará a medida que se lancen más dados.

De la ley de los grandes números se deduce que la probabilidad empírica de éxito en una serie de ensayos de Bernoulli converge a la probabilidad teórica. Para una variable aleatoria de Bernoulli , el valor esperado es la probabilidad teórica de éxito, y el promedio de n de estas variables (suponiendo que son independientes e idénticamente distribuidas (i.i.d.) ) es precisamente la frecuencia relativa.

Por ejemplo, el lanzamiento de una moneda justa es un ensayo de Bernoulli. Al lanzar una moneda justa una vez, la probabilidad teórica de que salga cara es igual a 1/2 . Por lo tanto, según la ley de los grandes números, la proporción de caras en un gran número de lanzamientos de moneda debería ser aproximadamente 1/2 . En particular, la proporción de caras después de n lanzamientos convergerá casi con seguridad a 1/2 a medida que n tiende a infinito .

Aunque la proporción de caras (y cruces) se aproxima a 1/2 , es casi seguro que la diferencia absoluta entre el número de caras y cruces aumentará a medida que aumente el número de lanzamientos. Es decir, la probabilidad de que la diferencia absoluta sea pequeña tiende a cero a medida que aumenta el número de lanzamientos. Asimismo, es casi seguro que la razón entre la diferencia absoluta y el número de lanzamientos tenderá a cero. Intuitivamente, la diferencia esperada crece, pero a un ritmo menor que el número de lanzamientos.

Otro buen ejemplo de la ley de los grandes números es el método de Monte Carlo . Estos métodos constituyen una amplia clase de algoritmos computacionales que se basan en el muestreo aleatorio repetido para obtener resultados numéricos. Cuanto mayor sea el número de repeticiones, mejor tenderá a ser la aproximación. La importancia de este método radica principalmente en que, en ocasiones, resulta difícil o imposible utilizar otros enfoques. ^{[ 4 ]}

El promedio de los resultados obtenidos de un gran número de ensayos puede no converger en algunos casos. Por ejemplo, el promedio de n resultados tomados de la distribución de Cauchy o algunas distribuciones de Pareto (α<1) no convergerá a medida que n aumenta; la razón son las colas pesadas . ^{[ 5 ]} La distribución de Cauchy y la distribución de Pareto representan dos casos: la distribución de Cauchy no tiene una esperanza, ^{[ 6 ]} mientras que la esperanza de la distribución de Pareto ( α <1) es infinita. ^{[ 7 ]} Una forma de generar el ejemplo de distribución de Cauchy es donde los números aleatorios son iguales a la tangente de un ángulo distribuido uniformemente entre −90° y +90°. ^{[ 8 ]} La mediana es cero, pero el valor esperado no existe, y de hecho el promedio de n tales variables tiene la misma distribución que una de tales variables. No converge en probabilidad hacia cero (o cualquier otro valor) cuando n tiende a infinito.

Si los ensayos presentan un sesgo de selección , típico del comportamiento económico/racional humano, la ley de los grandes números no ayuda a resolver dicho sesgo, ya que, incluso aumentando el número de ensayos, el sesgo de selección persiste.

El matemático italiano Gerolamo Cardano (1501–1576) afirmó, sin demostración, que la precisión de las estadísticas empíricas tiende a mejorar con el número de ensayos. ^{[ 9 ] [ 3 ]} Esto se formalizó posteriormente como una ley de los grandes números. Una forma especial de la ley de los grandes números (para una variable aleatoria binaria) fue demostrada por primera vez por Jacob Bernoulli . ^{[ 10 ] [ 3 ]} Le llevó más de 20 años desarrollar una demostración matemática suficientemente rigurosa, que se publicó en su Ars Conjectandi ( El arte de conjeturar ) en 1713. La denominó su «teorema de oro», pero se la conoció generalmente como el « teorema de Bernoulli ». No debe confundirse con el principio de Bernoulli , que recibe su nombre del sobrino de Jacob Bernoulli, Daniel Bernoulli . En 1837, S. D. Poisson la describió con mayor detalle bajo el nombre de «la loi des grands nombres» («la ley de los grandes números»). ^{[ 11 ] [ 12 ] [ 3 ]} Posteriormente, se la conoció con ambos nombres, pero la "ley de los grandes números" es la que se usa con más frecuencia.

Después de que Bernoulli y Poisson publicaran sus trabajos, otros matemáticos también contribuyeron al refinamiento de la ley, incluidos Chebyshev , ^{[ 13 ]} Markov , Borel , Cantelli , Kolmogorov y Khinchin . ^{[ 3 ]} Markov demostró que la ley puede aplicarse a una variable aleatoria que no tiene una varianza finita bajo alguna otra suposición más débil, y Khinchin demostró en 1929 que si la serie consiste en variables aleatorias independientes idénticamente distribuidas, basta con que exista el valor esperado para que la ley débil de los grandes números sea verdadera. ^{[ 14 ] [ 15 ]} Estos estudios posteriores han dado lugar a dos formas prominentes de la ley de los grandes números. Una se llama ley "débil" y la otra ley "fuerte", en referencia a dos modos diferentes de convergencia de las medias muestrales acumuladas al valor esperado; en particular, como se explica más adelante, la forma fuerte implica la débil. ^{[ 14 ]}

A continuación se describen dos versiones diferentes de la ley de los grandes números. Se denominan ley fuerte de los grandes números y ley débil de los grandes números . ^{[ 16 ] [ 1 ]} Enunciada para el caso en que X ₁ , X ₂ , ... es una secuencia infinita de variables aleatorias integrables de Lebesgue independientes e idénticamente distribuidas (iid) con valor esperado E( X ₁ ) = E( X ₂ ) = ... = μ , ambas versiones de la ley establecen que el promedio de la muestra

$${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}$$

converge al valor esperado:

(La integrabilidad de Lebesgue de X _j significa que el valor esperado E( X _j ) existe según la integración de Lebesgue y es finito. No significa que la medida de probabilidad asociada sea absolutamente continua con respecto a la medida de Lebesgue ).

Los textos introductorios de probabilidad a menudo asumen además varianza finita idéntica${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$(a pesar de${\displaystyle i}$) y no hay correlación entre las variables aleatorias. En ese caso, la varianza del promedio de n variables aleatorias es

$${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$$

que puede usarse para acortar y simplificar las demostraciones. Esta suposición de varianza finita no es necesaria . Una varianza grande o infinita hará que la convergencia sea más lenta, pero la ley de los grandes números se cumple de todos modos. ^{[ 17 ]}

La independencia mutua de las variables aleatorias puede ser reemplazada por independencia por pares ^{[ 18 ]} o intercambiabilidad ^{[ 19 ]} en ambas versiones de la ley.

La diferencia entre la versión fuerte y la débil radica en el modo de convergencia que se afirma. Para la interpretación de estos modos, véase Convergencia de variables aleatorias .

Ley débil

Simulación que ilustra la ley de los grandes números. En cada fotograma, se lanza una moneda roja por un lado y azul por el otro, y se añade un punto en la columna correspondiente. Un gráfico circular muestra la proporción de rojo y azul obtenida hasta el momento. Observa que, si bien la proporción varía significativamente al principio, se aproxima al 50 % a medida que aumenta el número de intentos.

La ley débil de los grandes números (también llamada ley de Khinchin ) establece que, dada una colección de muestras independientes e idénticamente distribuidas (iid) de una variable aleatoria con media finita, la media de la muestra converge en probabilidad al valor esperado ^{[ 20 ].}

Es decir, para cualquier número positivo ε ,

$${\displaystyle \lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.}$$

Al interpretar este resultado, la ley débil establece que para cualquier margen distinto de cero especificado ( ε ), por pequeño que sea, con una muestra suficientemente grande habrá una probabilidad muy alta de que el promedio de las observaciones esté cerca del valor esperado; es decir, dentro del margen.

Como se mencionó anteriormente, la ley débil se aplica en el caso de variables aleatorias i.i.d., pero también se aplica en algunos otros casos. Por ejemplo, la varianza puede ser diferente para cada variable aleatoria en la serie, manteniendo constante el valor esperado. Si las varianzas están acotadas, entonces se aplica la ley, como demostró Chebyshev ya en 1867. (Si los valores esperados cambian durante la serie, entonces podemos simplemente aplicar la ley a la desviación promedio de los respectivos valores esperados. La ley entonces establece que esto converge en probabilidad a cero). De hecho, la demostración de Chebyshev funciona siempre que la varianza del promedio de los primeros n valores tienda a cero cuando n tiende a infinito. ^{[ 15 ]} Como ejemplo, supongamos que cada variable aleatoria en la serie sigue una distribución gaussiana (distribución normal) con media cero, pero con varianza igual a${\displaystyle 2n/\log(n+1)}$, que no está acotada. En cada etapa, el promedio se distribuirá normalmente (como el promedio de un conjunto de variables distribuidas normalmente). La varianza de la suma es igual a la suma de las varianzas, que es asintótica a${\displaystyle n^{2}/\log n}$Por lo tanto, la varianza de la media es asintótica a${\displaystyle 1/\log n}$y llega a cero.

También existen ejemplos de la aplicación de la ley débil incluso cuando el valor esperado no existe.

Dada X ₁ , X ₂ , ... una secuencia infinita de variables aleatorias i.i.d. con valor esperado finito${\displaystyle E(X_{1})=E(X_{2})=\cdots =\mu <\infty }$Nos interesa la convergencia de la media muestral.

$${\displaystyle {\overline {X}}_{n}={\tfrac {1}{n}}(X_{1}+\cdots +X_{n}).}$$

La ley débil de los grandes números establece:

Damos una demostración relativamente simple de la ley fuerte bajo los supuestos de que${\displaystyle X_{i}}$son iid ,${\displaystyle {\mathbb {E} }[X_{i}]=:\mu <\infty }$,${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}<\infty }$, y${\displaystyle {\mathbb {E} }[X_{i}^{4}]=:\tau <\infty }$.

En primer lugar, observemos que sin pérdida de generalidad podemos suponer que${\displaystyle \mu =0}$al centrar. En este caso, la ley fuerte dice que

$${\displaystyle \Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=0\right)=1,}$$ o $${\displaystyle \Pr \left(\omega$$ :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}=0\right)=1.} Es equivalente demostrar que $${\displaystyle \Pr \left(\omega$$ :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\right)=0,} Nótese que $${\displaystyle \lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\iff \exists \epsilon >0,\left|{\frac {S_{n}(\omega )}{n}}\right|\geq \epsilon \ {\mbox{infinitely often}},}$$ y por lo tanto, para probar la ley fuerte necesitamos demostrar que para cada${\displaystyle \epsilon >0}$, tenemos $${\displaystyle \Pr \left(\omega$$ :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitamente a menudo}}\right)=0.} Definir los eventos${\displaystyle A_{n}=\{\omega$ :|S_{n}|\geq n\epsilon \}} , y si podemos demostrar que $${\displaystyle \sum _{n=1}^{\infty }\Pr(A_{n})<\infty ,}$$ Entonces, el lema de Borel-Cantelli implica el resultado. Así que estimemos${\displaystyle \Pr(A_{n})}$.

Calculamos $${\displaystyle {\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i}\right)^{4}\right]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l}\right].}$$ Primero afirmamos que cada término de la forma${\displaystyle X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l}}$donde todos los subíndices son distintos, deben tener una expectativa de cero. Esto se debe a que${\displaystyle {\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}]}$por independencia, y el último término es cero, y de manera similar para los demás términos. Por lo tanto, los únicos términos en la suma con esperanza distinta de cero son${\displaystyle {\mathbb {E} }[X_{i}^{4}]}$y${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]}$. Desde el${\displaystyle X_{i}}$están distribuidos de forma idéntica, todos ellos son iguales y además${\displaystyle {\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2}}$.

Hay${\displaystyle n}$términos de la forma${\displaystyle {\mathbb {E} }[X_{i}^{4}]}$y${\displaystyle 3n(n-1)}$términos de la forma${\displaystyle ({\mathbb {E} }[X_{i}^{2}])^{2}}$, y entonces $${\displaystyle {\mathbb {E} }[S_{n}^{4}]=n\tau +3n(n-1)\sigma ^{4}.}$$ Nótese que el lado derecho es un polinomio cuadrático en${\displaystyle n}$y como tal existe un${\displaystyle C>0}$de tal manera que${\displaystyle {\mathbb {E} }[S_{n}^{4}]\leq Cn^{2}}$para${\displaystyle n}$suficientemente grande. Por Markov, $${\displaystyle \Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}},}$$ para${\displaystyle n}$suficientemente grande, y por lo tanto esta serie es sumable. Dado que esto se cumple para cualquier${\displaystyle \epsilon >0}$Hemos establecido la ley fuerte de los grandes números. ^{[ 32 ]} La demostración puede reforzarse enormemente eliminando todas las suposiciones de finitud sobre los momentos segundo y cuarto. También puede extenderse, por ejemplo, para analizar sumas parciales de distribuciones sin momentos finitos. Estas demostraciones utilizan argumentos más complejos para probar el mismo predicado de Borel-Cantelli, una estrategia atribuida a Kolmogorov para introducir conceptualmente el límite dentro de los paréntesis de probabilidad. ^{[ 33 ]}

La ley de los grandes números proporciona una expectativa de una distribución desconocida a partir de una realización de la secuencia, pero también cualquier característica de la distribución de probabilidad . ^{[ 1 ]} Aplicando la ley de los grandes números de Borel , se puede obtener fácilmente la función de masa de probabilidad . Para cada evento en la función de masa de probabilidad objetiva, se puede aproximar la probabilidad de ocurrencia del evento con la proporción de veces que ocurre cualquier evento especificado. Cuanto mayor sea el número de repeticiones, mejor será la aproximación. En cuanto al caso continuo:${\displaystyle C=(a-h,a+h]}$, para h positivo pequeño. Por lo tanto, para n grande:

$${\displaystyle {\frac {N_{n}(C)}{n}}\thickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx\thickapprox 2hf(a)}$$

Con este método, se puede cubrir todo el eje x con una cuadrícula (con un tamaño de cuadrícula de 2h) y obtener un gráfico de barras que se denomina histograma .

Una aplicación de la ley de los grandes números es un método importante de aproximación conocido como el método de Monte Carlo , ^{[ 3 ]} que utiliza un muestreo aleatorio de números para aproximar resultados numéricos. El algoritmo para calcular una integral de f(x) en un intervalo [a, b] es el siguiente: ^{[ 3 ]}

1. Simule variables aleatorias uniformes X ₁ , X ₂ , …, X _n lo cual se puede hacer usando un software, y use una tabla de números aleatorios que dé U ₁ , U ₂ , …, U _n variables aleatorias independientes e idénticamente distribuidas (iid) en [0, 1]. Luego, sea X _i = a + (b - a) U _i para i= 1, 2, …, n. Entonces X ₁ , X ₂ , …, X _n son variables aleatorias uniformes independientes e idénticamente distribuidas en [a, b].
2. Evaluar f(X ₁ ), f(X ₂ ), …, f(X _n ).
3. Calcula el promedio de f(X ₁ ), f(X ₂ ), …, f(X _n ) mediante el cálculo${\displaystyle (b-a){\tfrac {f(X_{1})+f(X_{2})+\dots +f(X_{n})}{n}}}$y luego, por la ley fuerte de los grandes números, esto converge a${\displaystyle (b-a)\operatorname {E} (f(X_{1}))=(b-a)\int _{a}^{b}f(x){\tfrac {1}{b-a}}\,dx=\int _{a}^{b}f(x){dx}}$.

Podemos hallar la integral de${\displaystyle f(x)=\cos ^{2}(x){\sqrt {x^{3}+1}}}$en [-1, 2]. Utilizar métodos tradicionales para calcular esta integral es muy difícil, por lo que se puede utilizar el método de Monte Carlo aquí. ^{[ 3 ]} Usando el algoritmo anterior, obtenemos

${\displaystyle \int _{-1}^{2}f(x)\,dx=0.905}$cuando n = 25

y

${\displaystyle \int _{-1}^{2}f(x)\,dx=1.028}$cuando n = 250.

Observamos que a medida que n aumenta, el valor numérico también aumenta. Cuando obtenemos los resultados reales para la integral, obtenemos

${\displaystyle \int _{-1}^{2}f(x)\,dx=1.000194}$.

Cuando se utilizó el LLN, la aproximación de la integral estuvo más cerca de su valor real y, por lo tanto, fue más precisa. ^{[ 3 ]}

Otro ejemplo es la integración de${\displaystyle f(x)={\frac {e^{x}-1}{e-1}}}$sobre [0, 1]. ^{[ 34 ]} Usando el método de Monte Carlo y el LLN, podemos ver que a medida que aumenta el número de muestras, el valor numérico se acerca cada vez más a 0,4180233. ^{[ 34 ]}

• "Ley de los grandes números" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Weisstein, Eric W. "Ley débil de los grandes números" . MathWorld .
• Weisstein, Eric W. "Ley fuerte de los grandes números" . MathWorld .
• Animaciones para la Ley de los Grandes Números de Yihui Xie utilizando el paquete animation de R.
• El CEO de Apple, Tim Cook, dijo algo que haría estremecer a los estadísticos . "No creemos en leyes como la ley de los grandes números. Es una especie de dogma antiguo, creo, inventado por alguien [...]", dijo Tim Cook, y añadió: "Sin embargo, la ley de los grandes números no tiene nada que ver con grandes empresas, grandes ingresos o grandes tasas de crecimiento. La ley de los grandes números es un concepto fundamental en la teoría de la probabilidad y la estadística, que vincula las probabilidades teóricas que podemos calcular con los resultados reales de los experimentos que realizamos empíricamente", explicó Business Insider .