distribución de probabilidad de entropía máxima

Suponer${\displaystyle S}$es un subconjunto continuo y cerrado de los números reales${\displaystyle \mathbb {R} }$y elegimos especificar${\displaystyle n}$funciones medibles${\displaystyle f_{1},\ldots ,f_{n}}$y${\displaystyle n}$números${\displaystyle a_{1},\ldots ,a_{n}.}$Consideramos la clase${\displaystyle C}$de todas las variables aleatorias de valor real que están soportadas en${\displaystyle S}$(es decir, cuya función de densidad es cero fuera de${\displaystyle S}$) y que satisfacen la${\displaystyle n}$condiciones del momento:

$${\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad {\text{para }}\quad j=1,\ldots ,n}$$

Si hay un miembro en${\displaystyle C}$cuya función de densidad es positiva en todas partes${\displaystyle S,}$y si existe una distribución de entropía máxima para${\displaystyle C,}$entonces su densidad de probabilidad${\displaystyle p(x)}$tiene la siguiente forma:

$${\displaystyle p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\qquad {\text{ para todo }}~x\in S}$$

donde asumimos que${\displaystyle f_{0}(x)=1\,.}$La constante${\displaystyle \lambda _{0}}$y el${\displaystyle n}$multiplicadores de Lagrange${\displaystyle {\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$resolver el problema de optimización con restricciones con${\displaystyle a_{0}=1}$(lo que garantiza que${\displaystyle p}$se integra a la unidad): ^{[ 4 ]}

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\qquad ~{\text{ sujeto a }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

Utilizando las condiciones de Karush-Kuhn-Tucker , se puede demostrar que el problema de optimización tiene una solución única porque la función objetivo en la optimización es cóncava en${\displaystyle {\boldsymbol {\lambda }}\,.}$

Tenga en cuenta que cuando las restricciones de momento son igualdades (en lugar de desigualdades), es decir,

$${\displaystyle \operatorname {E} [f_{j}(X)]=a_{j}\qquad {\text{ para }}~j=1,\ldots ,n\,,}$$

entonces la condición de restricción${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$se puede omitir, lo que hace que la optimización sobre los multiplicadores de Lagrange no tenga restricciones.

Suponer${\displaystyle S=\{x_{1},x_{2},\ldots \}}$es un subconjunto discreto (finito o infinito) de los números reales, y que elegimos especificar${\displaystyle n}$funciones${\displaystyle f_{1},\ldots ,f_{n}}$y${\displaystyle n}$números${\displaystyle a_{1},\ldots ,a_{n}\,.}$Consideramos la clase${\displaystyle C}$de todas las variables aleatorias discretas${\displaystyle X}$que son compatibles con${\displaystyle S}$y que satisfacen la${\displaystyle n}$condiciones de momento

$${\displaystyle \operatorname {E} [f_{j}(X)]\geq a_{j}\qquad ~{\text{ para }}~j=1,\ldots ,n}$$

Si existe un miembro de la clase${\displaystyle C}$que asigna probabilidad positiva a todos los miembros de${\displaystyle S}$y si existe una distribución de entropía máxima para${\displaystyle C,}$Entonces, esta distribución tiene la siguiente forma:

$${\displaystyle \Pr(X{=}x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\qquad {\text{ para }}~k=1,2,\ldots }$$

donde asumimos que${\displaystyle f_{0}=1}$y las constantes${\displaystyle \lambda _{0},\,{\boldsymbol {\lambda }}\equiv (\lambda _{1},\ldots ,\lambda _{n})}$resolver el problema de optimización con restricciones con${\displaystyle a_{0}=1}$: ^{[ 5 ]}

$${\displaystyle \max _{\lambda _{0};\,{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\qquad {\text{ para el cual }}~{\boldsymbol {\lambda }}\geq \mathbf {0} }$$

Nuevamente como se indicó anteriormente, si las condiciones de momento son igualdades (en lugar de desigualdades), entonces la condición de restricción${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$no está presente en la optimización.

En el caso de restricciones de igualdad, este teorema se demuestra con el cálculo de variaciones y los multiplicadores de Lagrange . Las restricciones se pueden escribir como

$${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx=a_{j}}$$

Consideramos la función

$${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}\,dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)\,dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)\,dx-a_{j}\right)}$$

dónde${\displaystyle \eta _{0}}$y${\displaystyle \lambda _{j},j\geq 1}$son los multiplicadores de Lagrange. La restricción cero garantiza el segundo axioma de probabilidad . Las otras restricciones son que las mediciones de la función se dan como constantes hasta el orden${\displaystyle n}$La entropía alcanza un valor extremo cuando la derivada funcional es igual a cero:

$${\displaystyle {\frac {\delta J(p)}{\delta p}}=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$$

Por lo tanto, la distribución de probabilidad de entropía extremal en este caso debe tener la forma (${\displaystyle \lambda _{0}:=\eta _{0}-1}$),

$${\displaystyle p(x)=e^{-1+\eta _{0}}\,e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right),}$$

recordando que${\displaystyle f_{0}(x)=1}$Se puede verificar que esta es la solución máxima comprobando que la variación alrededor de esta solución es siempre negativa.

Suponer${\displaystyle p}$y${\displaystyle p'}$son distribuciones que satisfacen las restricciones de expectativa. Sea${\displaystyle \alpha \in (0,1)}$y considerando la distribución${\displaystyle q=\alpha \,p+(1-\alpha )\,p'}$Es evidente que esta distribución satisface las restricciones de expectativa y además tiene como soporte${\displaystyle \operatorname {supp} (q)=\operatorname {supp} (p)\cup \operatorname {supp} (p')\,.}$A partir de hechos básicos sobre la entropía, se sostiene que${\displaystyle {\mathcal {H}}(q)\geq \alpha \,{\mathcal {H}}(p)+(1-\alpha )\,{\mathcal {H}}(p').}$Tomar límites${\displaystyle \alpha \to 1}$y${\displaystyle \alpha \to 0\,,}$respectivamente, rendimientos${\displaystyle {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')\,.}$

De ello se deduce que una distribución que satisface las restricciones de expectativa y maximiza la entropía debe necesariamente tener soporte completo, es decir, la distribución es casi en todas partes estrictamente positiva. Por consiguiente, la distribución que maximiza la entropía debe ser un punto interno en el espacio de distribuciones que satisfacen dichas restricciones, es decir, debe ser un extremo local. Por lo tanto, basta con demostrar que el extremo local es único para demostrar que la distribución que maximiza la entropía es única (y esto también demuestra que el extremo local es el máximo global).

Suponer${\displaystyle p}$y${\displaystyle p'}$son extremos locales. Reformulando los cálculos anteriores, estos se caracterizan por parámetros${\displaystyle {\boldsymbol {\lambda }},\,{\boldsymbol {\lambda }}'\in \mathbb {R} ^{n}}$a través de${\displaystyle p(x)={\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle }/{C({\boldsymbol {\lambda }})}}$y de manera similar para${\displaystyle p',}$dónde${\textstyle C({\boldsymbol {\lambda }})=\int _{\mathbb {R} }\exp \left\langle {\boldsymbol {\lambda }},\mathbf {f} (x)\right\rangle \,dx\,.}$Ahora observamos una serie de identidades: Mediante la satisfacción de las restricciones de expectativa y la utilización de gradientes / derivadas direccionales, se tiene

${\displaystyle {\left.D\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.{\tfrac {DC(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\lambda }}=\operatorname {E} _{p}\left[\mathbf {f} (X)\right]=\mathbf {a} }$y de manera similar para${\displaystyle {\boldsymbol {\lambda }}'~.}$Alquiler${\displaystyle u={\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}\in \mathbb {R} ^{n}}$se obtiene:

$${\displaystyle 0=\left\langle u,\mathbf {a} -\mathbf {a} \right\rangle ={\left.D_{u}\log C(\cdot )\right|}_{{\boldsymbol {\lambda }}'}-{\left.D_{u}\log C(\cdot )\right|}_{\boldsymbol {\lambda }}={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}}$$

dónde${\displaystyle {\boldsymbol {\gamma }}=\theta {\boldsymbol {\lambda }}+(1-\theta ){\boldsymbol {\lambda }}'}$para algunos${\displaystyle \theta \in (0,1).}$Calculando más a fondo, uno tiene

$${\displaystyle {\begin{aligned}0&={\left.D_{u}^{2}\log C(\cdot )\right|}_{\boldsymbol {\gamma }}\\[1ex]&={\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|}_{\boldsymbol {\gamma }}={\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|}_{\boldsymbol {\gamma }}-{\left.{\frac {{\left(D_{u}C(\cdot )\right)}^{2}}{C(\cdot )^{2}}}\right|}_{\boldsymbol {\gamma }}\\[1ex]&=\operatorname {E} _{q}\left[{\left\langle u,\mathbf {f} (X)\right\rangle }^{2}\right]-{\left(\operatorname {E} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\right)}^{2}\\[2ex]&=\operatorname {Var} _{q}\left[\left\langle u,\mathbf {f} (X)\right\rangle \right]\end{aligned}}}$$

dónde${\displaystyle q}$es similar a la distribución anterior, solo que parametrizada por${\displaystyle {\boldsymbol {\gamma }}~,}$Suponiendo que ninguna combinación lineal no trivial de las observables es casi en todas partes (ae) constante, (lo cual, por ejemplo, se cumple si las observables son independientes y no ae constantes), se cumple que${\displaystyle \langle u,\mathbf {f} (X)\rangle }$tiene varianza distinta de cero, a menos que${\displaystyle u=0~.}$De la ecuación anterior se deduce que esto último debe ser cierto. Por lo tanto,${\displaystyle {\boldsymbol {\lambda }}'-{\boldsymbol {\lambda }}=u=0\,,}$por lo tanto los parámetros que caracterizan los extremos locales${\displaystyle p,\,p'}$son idénticas, lo que significa que las distribuciones en sí mismas son idénticas. Por lo tanto, el extremo local es único y, según lo expuesto anteriormente, el máximo es único, siempre que exista realmente un extremo local.

Nótese que no todas las clases de distribuciones contienen una distribución de entropía máxima. Es posible que una clase contenga distribuciones de entropía arbitrariamente grande (por ejemplo, la clase de todas las distribuciones continuas en R con media 0 pero desviación estándar arbitraria), o que las entropías estén acotadas superiormente pero no haya ninguna distribución que alcance la entropía máxima. ^{[ a ]} ​​También es posible que las restricciones del valor esperado para la clase C obliguen a que la distribución de probabilidad sea cero en ciertos subconjuntos de S. En ese caso , nuestro teorema no se aplica, pero se puede solucionar reduciendo el conjunto S.

La distribución uniforme en el intervalo [ a , b ] es la distribución de máxima entropía entre todas las distribuciones continuas que se encuentran en el intervalo [ a , b ], y por lo tanto la densidad de probabilidad es 0 fuera del intervalo. Esta densidad uniforme puede relacionarse con el principio de indiferencia de Laplace _, a veces llamado principio de razón insuficiente. De manera más general, si se nos da una subdivisión a = a₀ < a₁ _< ... < _aᵏ = b del intervalo [ a , b ] y probabilidades p₁ , ..., pᵏ que suman uno, entonces podemos considerar la clase de todas las distribuciones continuas _{tales que}$${\displaystyle \Pr(a_{j-1}\leq X<a_{j})=p_{j}\quad {\text{ for }}j=1,\ldots ,k}$$ La densidad de la distribución de máxima entropía para esta clase es constante en cada uno de los intervalos [ a _{j −1} , a _j ). La distribución uniforme en el conjunto finito { x ₁ ,..., x _n } (que asigna una probabilidad de 1/ n a cada uno de estos valores) es la distribución de máxima entropía entre todas las distribuciones discretas admitidas en este conjunto.

La distribución exponencial , para la cual la función de densidad es

$${\displaystyle p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}}$$

es la distribución de entropía máxima entre todas las distribuciones continuas admitidas en [0,∞) que tienen una media especificada de 1/λ.

En el caso de distribuciones con soporte en [0,∞), la distribución de máxima entropía depende de las relaciones entre el primer y el segundo momento. En casos específicos, puede ser la distribución exponencial, otra distribución o incluso indefinible. ^{[ 8 ]}

La distribución normal N ( μ , σ ² ), para la cual la función de densidad es

$${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$$

Presenta la máxima entropía entre todas las distribuciones de valores reales soportadas en ( − ∞,∞) con una varianza σ ^{2 especificada (un} momento particular ). Lo mismo ocurre cuando se especifican la media μ y la varianza σ ² (los dos primeros momentos), ya que la entropía es invariante bajo traslaciones en ( − ∞,∞). Por lo tanto, la suposición de normalidad impone la restricción estructural a priori mínima más allá de estos momentos. (Véase el artículo sobre entropía diferencial para una derivación).

Entre todas las distribuciones discretas admitidas en el conjunto { x ₁ ,..., x _n } con una media μ especificada, la distribución de máxima entropía tiene la siguiente forma: $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,\ldots ,n}$$ donde las constantes positivas C y r pueden determinarse mediante los requisitos de que la suma de todas las probabilidades debe ser 1 y el valor esperado debe ser μ.

Por ejemplo, si se lanza un gran número N de dados y se le dice que la suma de todos los números mostrados es S. Basándose únicamente en esta información, ¿cuál sería una suposición razonable para la cantidad de dados que muestran 1, 2, ..., 6? Este es un ejemplo de la situación considerada anteriormente, con { x ₁ , ... , x ₆ } = {1,...,6} y μ = S / N.

Finalmente, entre todas las distribuciones discretas soportadas en el conjunto infinito${\displaystyle \{x_{1},x_{2},...\}}$con media μ , la distribución de máxima entropía tiene la forma: $${\displaystyle \Pr(X{=}x_{k})=Cr^{x_{k}}\quad {\text{ for }}k=1,2,\ldots ,}$$ donde nuevamente las constantes C y r se determinaron por los requisitos de que la suma de todas las probabilidades debe ser 1 y el valor esperado debe ser μ. Por ejemplo, en el caso de que x _k = k , esto da $${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$$

de tal manera que la distribución de máxima entropía respectiva sea la distribución geométrica .

Para una variable aleatoria continua${\displaystyle \theta _{i}}$Distribuida alrededor del círculo unitario, la distribución de Von Mises maximiza la entropía cuando se especifican las partes real e imaginaria del primer momento circular ^{[ 9 ]} o, equivalentemente, se especifican la media circular y la varianza circular .

Cuando la media y la varianza de los ángulos${\displaystyle \theta _{i}}$módulo${\displaystyle 2\pi }$Se especifican, la distribución normal envuelta maximiza la entropía. ^{[ 9 ]}

Existe un límite superior para la entropía de variables aleatorias continuas en${\displaystyle \mathbb {R} }$con una media, varianza y asimetría especificadas. Sin embargo, no existe ninguna distribución que alcance este límite superior , porque${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$es ilimitado cuando${\displaystyle \lambda _{3}\neq 0}$(véase Cover  y Thomas (2006: capítulo 12)).

Sin embargo, la entropía máxima es alcanzable con una entropía ε : la entropía de una distribución puede estar arbitrariamente cerca del límite superior. Partimos de una distribución normal con la media y la varianza especificadas. Para introducir una asimetría positiva, perturbamos la distribución normal ligeramente hacia arriba, con un valor varias σ mayor que la media. La asimetría, al ser proporcional al tercer momento, se verá más afectada que los momentos de orden inferior.

Este es un caso especial del caso general en el que la exponencial de cualquier polinomio de orden impar en x no estará acotada.${\displaystyle \mathbb {R} }$. Por ejemplo,${\displaystyle ce^{\lambda x}}$Asimismo, no tendrá límites.${\displaystyle \mathbb {R} }$, pero cuando el soporte se limita a un intervalo acotado o semiacotado, se puede alcanzar el límite superior de entropía (por ejemplo, si x se encuentra en el intervalo [0, ∞ ] y λ <  0 , se obtendrá la distribución exponencial ).

Toda distribución con densidad logarítmicamente cóncava es una distribución de entropía máxima con media μ y medida de riesgo de desviación D  especificadas . ^{[ 10 ]}

En particular, la distribución de entropía máxima con media especificada${\displaystyle E(X)\equiv \mu }$y desviación${\displaystyle D(X)\equiv d}$es:

• La distribución normal${\displaystyle {\mathcal {N}}(m,d^{2}),}$si${\textstyle D(X)={\sqrt {\operatorname {E} \left[{\left(X-\mu \right)}^{2}\right]}}}$es la desviación estándar ;
• La distribución de Laplace , si${\displaystyle D(X)=\operatorname {E} \left\{\left|X-\mu \right|\right\}}$es la desviación absoluta media ; ^{[ 6 ]}
• La distribución con densidad de la forma${\displaystyle f(x)=c\exp \left(ax+b{\downharpoonright x-\mu \downharpoonleft }_{-}^{2}\right)}$si${\textstyle D(X)={\sqrt {\operatorname {E} \left\{{\downharpoonright X-\mu \downharpoonleft }_{-}^{2}\right\}}}}$es la semidesviación estándar inferior, donde${\displaystyle a,b,c}$son constantes y la función${\displaystyle \downharpoonright y\downharpoonleft _{-}\equiv \min \left\{0,y\right\}~{\text{ for any }}y\in \mathbb {R} \,,}$Devuelve solo los valores negativos de su argumento, de lo contrario cero. ^{[ 10 ]}

En la tabla siguiente, cada distribución enumerada maximiza la entropía para un conjunto particular de restricciones funcionales enumeradas en la tercera columna, y la restricción que${\displaystyle x}$estar incluido en el soporte de la densidad de probabilidad, que se enumera en la cuarta columna. ^{[ 6 ] [ 7 ]}

Varios ejemplos enumerados ( Bernoulli , geométrico , exponencial , Laplace , Pareto ) son trivialmente ciertos, ya que sus restricciones asociadas son equivalentes a la asignación de su entropía. Se incluyen de todos modos porque su restricción está relacionada con una magnitud común o fácilmente medible.

Para referencia,${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}\,dt}$es la función gamma ,${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$es la función digamma ,${\displaystyle B(p,q)={\frac {\Gamma (p)\,\Gamma (q)}{\Gamma (p+q)}}}$es la función beta y${\displaystyle \gamma _{\mathsf {E}}}$es la constante de Euler-Mascheroni .

El principio de máxima entropía puede utilizarse para establecer un límite superior a la entropía de las mezclas estadísticas. ^{[ 13 ]}