Distancia de Hellinger

En probabilidad y estadística , la distancia de Hellinger (estrechamente relacionada con la distancia de Bhattacharyya , aunque diferente de ella ) se utiliza para cuantificar la similitud entre dos distribuciones de probabilidad . Es un tipo de f -divergencia . La distancia de Hellinger se define en términos de la integral de Hellinger , que fue introducida por Ernst Hellinger en 1909. ^{[1] [2]}

A veces se le llama distancia de Jeffreys. ^{[3] [4]}

Para definir la distancia de Hellinger en términos de la teoría de la medida , sean y dos medidas de probabilidad en un espacio de medida que son absolutamente continuas con respecto a una medida auxiliar . Tal medida siempre existe, por ejemplo . El cuadrado de la distancia de Hellinger entre y se define como la cantidad ${\estilo de visualización P}$${\estilo de visualización Q}$${\displaystyle {\mathcal {X}}}$${\estilo de visualización \lambda}$${\displaystyle \lambda =(P+Q)}$${\estilo de visualización P}$${\estilo de visualización Q}$

${\displaystyle H^{2}(P,Q)={\frac {1}{2}}\displaystyle \int _{\mathcal {X}}\left({\sqrt {p(x)}}-{\sqrt {q(x)}}\right)^{2}\lambda (dx).}$

Aquí, y , es decir , y son las derivadas de Radon–Nikodym de P y Q respectivamente con respecto a . Esta definición no depende de , es decir, la distancia de Hellinger entre P y Q no cambia si se reemplaza con una medida de probabilidad diferente con respecto a la cual tanto P como Q sean absolutamente continuas. Para compacidad, la fórmula anterior a menudo se escribe como ${\displaystyle P(dx)=p(x)\lambda (dx)}$${\displaystyle Q(dx)=q(x)\lambda (dx)}$${\estilo de visualización p}$${\estilo de visualización q}$${\estilo de visualización \lambda}$${\estilo de visualización \lambda}$${\estilo de visualización \lambda}$

${\displaystyle H^{2}(P,Q)={\frac {1}{2}}\int _{\mathcal {X}}\left({\sqrt {P(dx)}}-{\sqrt {Q(dx)}}\right)^{2}.}$

Para definir la distancia de Hellinger en términos de la teoría de probabilidad elemental, tomamos λ como la medida de Lebesgue , de modo que dP  /  dλ y dQ  /  d λ son simplemente funciones de densidad de probabilidad . Si denotamos las densidades como f y g , respectivamente, la distancia de Hellinger al cuadrado se puede expresar como una integral de cálculo estándar.

${\displaystyle H^{2}(f,g)={\frac {1}{2}}\int \left({\sqrt {f(x)}}-{\sqrt {g(x)}}\right)^{2}\,dx=1-\int {\sqrt {f(x)g(x)}}\,dx,}$

donde la segunda forma se puede obtener expandiendo el cuadrado y utilizando el hecho de que la integral de una densidad de probabilidad sobre su dominio es igual a 1.

La distancia de Hellinger H ( P ,  Q ) satisface la propiedad (derivable de la desigualdad de Cauchy-Schwarz )

${\displaystyle 0\leq H(P,Q)\leq 1.}$

Para dos distribuciones de probabilidad discretas y , su distancia Hellinger se define como ${\displaystyle P=(p_{1},\ldots ,p_{k})}$${\displaystyle Q=(q_{1},\ldots ,q_{k})}$

${\displaystyle H(P,Q)={\frac {1}{\sqrt {2}}}\;{\sqrt {\sum _{i=1}^{k}({\sqrt {p_{i}}}-{\sqrt {q_{i}}})^{2}}},}$

que está directamente relacionada con la norma euclidiana de la diferencia de los vectores raíz cuadrada, es decir

${\displaystyle H(P,Q)={\frac {1}{\sqrt {2}}}\;{\bigl \|}{\sqrt {P}}-{\sqrt {Q}}{\bigr \|}_{2}.}$

Además, ^{[ cita requerida ]}${\displaystyle 1-H^{2}(P,Q)=\sum _{i=1}^{k}{\sqrt {p_{i}q_{i}}}.}$

La distancia de Hellinger forma una métrica acotada en el espacio de distribuciones de probabilidad sobre un espacio de probabilidad dado .

La distancia máxima 1 se alcanza cuando P asigna probabilidad cero a cada conjunto al que Q asigna una probabilidad positiva, y viceversa.

A veces se omite el factor delante de la integral, en cuyo caso la distancia de Hellinger varía de cero a la raíz cuadrada de dos. ${\estilo de visualización 1/2}$

La distancia de Hellinger está relacionada con el coeficiente de Bhattacharyya , ya que puede definirse como ${\displaystyle BC(P,Q)}$

${\displaystyle H(P,Q)={\sqrt {1-BC(P,Q)}}.}$

Las distancias de Hellinger se utilizan en la teoría de la estadística secuencial y asintótica . ^{[5] [6]}

La distancia de Hellinger al cuadrado entre dos distribuciones normales es : ${\displaystyle P\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2})}$${\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2})}$

${\displaystyle H^{2}(P,Q)=1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\,e^{-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}.}$

La distancia al cuadrado de Hellinger entre dos distribuciones normales multivariadas es [ 7 ^]${\displaystyle P\sim {\mathcal {N}}(\mu _{1},\Sigma _{1})}$${\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\Sigma _{2})}$

${\displaystyle H^{2}(P,Q)=1-{\frac {\det(\Sigma _{1})^{1/4}\det(\Sigma _{2})^{1/4}}{\det \left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{1/2}}}\exp \left\{-{\frac {1}{8}}(\mu _{1}-\mu _{2})^{T}\left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{-1}(\mu _{1}-\mu _{2})\right\}}$

La distancia al cuadrado de Hellinger entre dos distribuciones exponenciales es : ${\displaystyle P\sim \mathrm {Exp} (\alpha )}$${\displaystyle Q\sim \mathrm {Exp} (\beta )}$

${\displaystyle H^{2}(P,Q)=1-{\frac {2{\sqrt {\alpha \beta }}}{\alpha +\beta }}.}$

La distancia Hellinger al cuadrado entre dos distribuciones de Weibull y (donde es un parámetro de forma común y son los parámetros de escala respectivamente): ${\displaystyle P\sim \mathrm {W} (k,\alpha )}$${\displaystyle Q\sim \mathrm {W} (k,\beta )}$${\estilo de visualización k}$${\displaystyle \alpha \,,\beta }$

${\displaystyle H^{2}(P,Q)=1-{\frac {2(\alpha \beta )^{k/2}}{\alpha ^{k}+\beta ^{k}}}.}$

La distancia al cuadrado de Hellinger entre dos distribuciones de Poisson con parámetros de velocidad y , de modo que y , es: ${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle P\sim \mathrm {Poisson} (\alpha )}$${\displaystyle Q\sim \mathrm {Poisson} (\beta )}$

${\displaystyle H^{2}(P,Q)=1-e^{-{\frac {1}{2}}({\sqrt {\alpha }}-{\sqrt {\beta }})^{2}}.}$

La distancia Hellinger al cuadrado entre dos distribuciones beta es : ${\displaystyle P\sim {\text{Beta}}(a_{1},b_{1})}$${\displaystyle Q\sim {\text{Beta}}(a_{2},b_{2})}$

${\displaystyle H^{2}(P,Q)=1-{\frac {B\left({\frac {a_{1}+a_{2}}{2}},{\frac {b_{1}+b_{2}}{2}}\right)}{\sqrt {B(a_{1},b_{1})B(a_{2},b_{2})}}}}$

¿Dónde está la función beta ? ${\displaystyle B}$

La distancia Hellinger al cuadrado entre dos distribuciones gamma es : ${\displaystyle P\sim {\text{Gamma}}(a_{1},b_{1})}$${\displaystyle Q\sim {\text{Gamma}}(a_{2},b_{2})}$

${\displaystyle H^{2}(P,Q)=1-\Gamma \left({\scriptstyle {\frac {a_{1}+a_{2}}{2}}}\right)\left({\frac {b_{1}+b_{2}}{2}}\right)^{-(a_{1}+a_{2})/2}{\sqrt {\frac {b_{1}^{a_{1}}b_{2}^{a_{2}}}{\Gamma (a_{1})\Gamma (a_{2})}}}}$

¿Dónde está la función gamma ? ${\displaystyle \Gamma }$

La distancia de Hellinger y la distancia de variación total (o distancia estadística) están relacionadas de la siguiente manera: ^[8]${\displaystyle H(P,Q)}$${\displaystyle \delta (P,Q)}$

${\displaystyle H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q)\,.}$

Las constantes en esta desigualdad pueden cambiar dependiendo de la renormalización que elija ( o ). ${\displaystyle 1/2}$${\displaystyle 1/{\sqrt {2}}}$

Estas desigualdades se derivan inmediatamente de las desigualdades entre la norma 1 y la norma 2 .

• Distancia estadística
• Divergencia de Kullback-Leibler
• Distancia de Bhattacharyya
• Distancia de variación total
• Métrica de información de Fisher

• Yang, Grace Lo ; Le Cam, Lucien M. (2000). Asintótica en estadística: algunos conceptos básicos . Berlín: Springer. ISBN 0-387-95036-2.
• Vaart, AW van der (19 de junio de 2000). Estadística asintótica (Cambridge Series in Statistical and Probabilistic Mathematics) . Cambridge, Reino Unido: Cambridge University Press. ISBN 0-521-78450-6.
• Pollard, David E. (2002). Guía del usuario para medir la probabilidad teórica . Cambridge, Reino Unido: Cambridge University Press. ISBN 0-521-00289-3.