Distancia estadística

En estadística , teoría de la probabilidad y teoría de la información , una distancia estadística cuantifica la distancia entre dos objetos estadísticos, que pueden ser dos variables aleatorias , dos distribuciones de probabilidad o muestras , o bien la distancia puede ser entre un punto de muestra individual y una población o una muestra más amplia de puntos.

Una distancia entre poblaciones puede interpretarse como la distancia entre dos distribuciones de probabilidad y, por lo tanto, son esencialmente medidas de distancias entre medidas de probabilidad . Cuando las medidas de distancia estadística se relacionan con las diferencias entre variables aleatorias , estas pueden tener dependencia estadística ^{[ 1 ]} y, por consiguiente, estas distancias no están directamente relacionadas con las medidas de distancias entre medidas de probabilidad. Asimismo , una medida de distancia entre variables aleatorias puede relacionarse con el grado de dependencia entre ellas, en lugar de con sus valores individuales.

Muchas medidas de distancia estadística no son métricas , y algunas no son simétricas. Algunos tipos de medidas de distancia, que generalizan la distancia al cuadrado , se denominan divergencias (estadísticas) .

Terminología

Se utilizan muchos términos para referirse a diversas nociones de distancia; estos suelen ser confusamente similares y pueden usarse de forma inconsistente entre autores y a lo largo del tiempo, ya sea de manera imprecisa o con un significado técnico preciso. Además de «distancia», términos similares incluyen desviación , discrepancia , discriminación y divergencia , así como otros como función de contraste y métrica . Los términos de la teoría de la información incluyen entropía cruzada , entropía relativa , información de discriminación y ganancia de información .

Las distancias como métricas

Métrica

Una métrica en un conjunto X es una función (llamada función de distancia o simplemente distancia ) d : X × X → R ⁺ (donde R ^{+ es el conjunto de}los números reales no negativos ). Para todo x , y , z en X , esta función debe satisfacer las siguientes condiciones:

d ( x , y ) ≥ 0 ( no negatividad )
d ( x , y ) = 0 si y solo si x = y ( identidad de indiscernibles . Nótese que las condiciones 1 y 2 juntas producen definición positiva ).
d ( x , y ) = d ( y , x ) ( simetría )
d ( x , z ) ≤ d ( x , y ) + d ( y , z ) ( subaditividad / desigualdad triangular ).

Métricas generalizadas

Muchas distancias estadísticas no son métricas , ya que carecen de una o más propiedades de las métricas propiamente dichas. Por ejemplo, las pseudométricas violan la propiedad (2), identidad de los indiscernibles; las cuasimétricas violan la propiedad (3), simetría; y las semimétricas violan la propiedad (4), la desigualdad triangular. Las distancias estadísticas que satisfacen (1) y (2) se denominan divergencias .

Estadísticamente cerca

La distancia de variación total de dos distribuciones $X$ y $Y$ sobre un dominio finito $D$ , (a menudo denominada diferencia estadística ^{[ 2 ]} o distancia estadística ^{[ 3 ]} en criptografía) se define como

$\Delta (X,Y)={\frac {1}{2}}\sum _{\alpha \in D}|\Pr[X=\alpha ]-\Pr[Y=\alpha ]|$ .

Decimos que dos conjuntos de probabilidad $\{X_{k}\}_{k\in \mathbb {N} }$ y $\{Y_{k}\}_{k\in \mathbb {N} }$ son estadísticamente cercanos si $\Delta (X_{k},Y_{k})$ es una función insignificante en $k$ .

Ejemplos

Métrica

distancia de variación total (a veces llamada simplemente "la" distancia estadística)
distancia de Hellinger
Métrica de Lévy-Prokhorov
Métrica de Wasserstein : también conocida como métrica de Kantorovich o distancia de la máquina de movimiento de tierras.
Distancia de Mahalanobis
Las métricas de probabilidad integral generalizan varias métricas o pseudométricas sobre distribuciones.

Divergencias

Divergencia de Kullback-Leibler
divergencia de Rényi
divergencia de Jensen-Shannon
divergencia de la bola
Distancia de Bhattacharyya (a pesar de su nombre, no es una distancia, ya que viola la desigualdad triangular).
f-divergencia : generaliza varias distancias y divergencias.
El índice de discriminabilidad , específicamente el índice de discriminabilidad de Bayes , es una medida simétrica definida positiva de la superposición de dos distribuciones.

Véase también

Notas

↑ Dodge, Y. (2003) — entrada para distancia
↑ Goldreich, Oded (2001). Fundamentos de criptografía: herramientas básicas (1.ª ed.). Berlín: Cambridge University Press . pág. 106. ISBN 0-521-79172-3.
↑ Reyzin, Leo. (Apuntes de clase) Extractores y el lema del hash restante

Enlaces externos

Medidas de distancia y similitud (Wolfram Alpha)

Referencias

Dodge, Y. (2003) Oxford Dictionary of Statistical Terms , OUP. ISBN 0-19-920613-9

[1] Dodge, Y. (2003) — entrada para distancia

[2] Goldreich, Oded (2001). Fundamentos de criptografía: herramientas básicas (1.ª ed.). Berlín: Cambridge University Press . pág. 106. ISBN 0-521-79172-3.

[3] Reyzin, Leo. (Apuntes de clase) Extractores y el lema del hash restante

[ 1 ]

[ 2 ]

[ 3 ]