teoría de grandes desviaciones

Consideremos una secuencia de lanzamientos independientes de una moneda justa. Los posibles resultados podrían ser cara o cruz. Denotemos el posible resultado del i-ésimo ensayo por , donde cara se representa con 1 y cruz con 0. Ahora, sea el valor medio después de los ensayos, es decir${\displaystyle X_{i}}$${\displaystyle M_{N}}$${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

Entonces se encuentra entre 0 y 1. De la ley de los grandes números se deduce que, a medida que N crece, la distribución de converge a (el valor esperado de un solo lanzamiento de moneda).${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle 0.5=\operatorname {E} [X]}$

Además, por el teorema del límite central , se deduce que tiene una distribución aproximadamente normal para valores grandes de . El teorema del límite central puede proporcionar información más detallada sobre el comportamiento de que la ley de los grandes números. Por ejemplo, podemos encontrar aproximadamente una probabilidad de cola de —la probabilidad de que sea mayor que algún valor— para un valor fijo de . Sin embargo, la aproximación mediante el teorema del límite central puede no ser precisa si está lejos de y no es suficientemente grande. Tampoco proporciona información sobre la convergencia de las probabilidades de cola cuando . Sin embargo, la teoría de las grandes desviaciones puede proporcionar respuestas a tales problemas.${\displaystyle M_{N}}$${\displaystyle N}$${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle x}$${\displaystyle N}$${\displaystyle x}$${\displaystyle \operatorname {E} [X_{i}]}$${\displaystyle N}$${\displaystyle N\to \infty }$

Aclaremos esta afirmación. Para un valor dado , calculemos la probabilidad de cola . Definimos${\displaystyle 0.5<x<1}$${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$.

Nótese que la función es una función convexa y no negativa que es cero en y aumenta a medida que se aproxima a . Es el negativo de la entropía de Bernoulli con ; que sea apropiada para lanzamientos de moneda se deduce de la propiedad de equipartición asintótica aplicada a un ensayo de Bernoulli . Entonces, por la desigualdad de Chernoff , se puede demostrar que . ^{[ 2 ]} Esta cota es bastante precisa, en el sentido de que no se puede reemplazar con un número mayor que produciría una desigualdad estricta para todo positivo . ^{[ 3 ]} (Sin embargo, la cota exponencial aún se puede reducir por un factor subexponencial del orden de ; esto se deduce de la aproximación de Stirling aplicada al coeficiente binomial que aparece en la distribución de Bernoulli ). Por lo tanto, obtenemos el siguiente resultado:${\displaystyle I(x)}$${\displaystyle x={\tfrac {1}{2}}}$${\displaystyle x}$${\displaystyle 1}$${\displaystyle p={\tfrac {1}{2}}}$${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$${\displaystyle I(x)}$${\displaystyle N}$${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$.

La probabilidad disminuye exponencialmente a una tasa que depende de x . Esta fórmula aproxima cualquier probabilidad de cola de la media muestral de variables i.i.d. y proporciona su convergencia a medida que aumenta el número de muestras.${\displaystyle P(M_{N}>x)}$${\displaystyle N\to \infty }$

En el ejemplo anterior del lanzamiento de una moneda, asumimos explícitamente que cada lanzamiento es un ensayo independiente y que la probabilidad de obtener cara o cruz es siempre la misma.

Sean variables aleatorias independientes e idénticamente distribuidas (i.i.d.) cuya distribución común satisface una determinada condición de crecimiento. Entonces existe el siguiente límite :${\displaystyle X,X_{1},X_{2},\ldots }$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$.

Aquí

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$,

como antes.

Esta función se denomina " función de tasa ", "función de Cramér" o, a veces, "función de entropía".${\displaystyle I(\cdot )}$

El límite mencionado anteriormente significa que para valores grandes de ,${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$,

que es el resultado básico de la teoría de grandes desviaciones. ^{[ 4 ] [ 5 ]}

Si conocemos la distribución de probabilidad de , se puede obtener una expresión explícita para la función de tasa. Esto viene dado por una transformación de Legendre-Fenchel , ^{[ 6 ]}${\displaystyle X}$

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$,

dónde

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

se denomina función generadora de cumulantes (CGF) y denota la esperanza matemática .${\displaystyle \operatorname {E} }$

Si sigue una distribución normal , la función de tasa se convierte en una parábola cuyo vértice se sitúa en la media de la distribución normal.${\displaystyle X}$

Si es una cadena de Markov irreducible y aperiódica , puede cumplirse la variante del resultado básico de grandes desviaciones mencionado anteriormente.${\displaystyle \{X_{i}\}}$

El ejemplo anterior controlaba la probabilidad del evento , es decir, la concentración de la ley de en el conjunto compacto . También es posible controlar la probabilidad del evento para alguna secuencia . El siguiente es un ejemplo de un principio de desviaciones moderadas : ^{[ 7 ] [ 8 ]}${\displaystyle [M_{N}>x]}$${\displaystyle M_{N}}$${\displaystyle [-x,x]}$${\displaystyle [M_{N}>xa_{N}]}$${\displaystyle a_{N}\to 0}$

En particular, el caso límite es el teorema del límite central .${\displaystyle a_{N}={\sqrt {N}}}$

La función de tasa está relacionada con la entropía en mecánica estadística. Esto puede verse heurísticamente de la siguiente manera: en mecánica estadística, la entropía de un macroestado particular está relacionada con el número de microestados que le corresponden. En nuestro ejemplo del lanzamiento de moneda, el valor medio podría designar un macroestado particular. Y la secuencia particular de caras y cruces que da lugar a un valor particular constituye un microestado particular. En términos generales, un macroestado que tiene un mayor número de microestados que lo originan, tiene mayor entropía. Y un estado con mayor entropía tiene mayor probabilidad de realizarse en experimentos reales. El macroestado con un valor medio de 1/2 (tantas caras como cruces) tiene el mayor número de microestados que lo originan y, de hecho, es el estado con la mayor entropía. Y en la mayoría de las situaciones prácticas, obtendremos este macroestado para un gran número de ensayos. La "función de tasa", por otro lado, mide la probabilidad de aparición de un macroestado particular. Cuanto menor sea la función de tasa, mayor será la probabilidad de que aparezca un macroestado. En nuestro lanzamiento de moneda, el valor de la "función de tasa" para un valor medio igual a 1/2 es cero. De esta manera, se puede considerar la "función de tasa" como el negativo de la "entropía".${\displaystyle M_{N}}$${\displaystyle M_{N}}$

Existe una relación entre la "función de tasa" en la teoría de grandes desviaciones y la divergencia de Kullback-Leibler ; la conexión se establece mediante el teorema de Sanov (véase Sanov ^{[ 11 ]} y Novak, ^{[ 15 ]} cap. 14.5).

En un caso especial, las grandes desviaciones están estrechamente relacionadas con el concepto de límites de Gromov-Hausdorff . ^{[ 16 ]}