Distancia de variación total de medidas de probabilidad

La distancia de variación total está relacionada con la divergencia de Kullback-Leibler mediante la desigualdad de Pinsker :

${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}$

También se tiene la siguiente desigualdad, debida a Bretagnolle y Huber ^{[ 2 ]} (véase también ^{[ 3 ]} ), que tiene la ventaja de proporcionar una cota no vacía incluso cuando${\displaystyle \textstyle D_{\mathrm {KL} }(P\parallel Q)>2\colon }$

${\displaystyle \delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.}$

La distancia de variación total es la mitad de la distancia L ¹ entre las funciones de probabilidad: en dominios discretos, esta es la distancia entre las funciones de masa de probabilidad ^{[ 4 ].}

${\displaystyle \delta (P,Q)={\frac {1}{2}}\sum _{x}|P(x)-Q(x)|,}$

y cuando las distribuciones tienen funciones de densidad de probabilidad estándar p y q , ^{[ 5 ]}

${\displaystyle \delta (P,Q)={\frac {1}{2}}\int |p(x)-q(x)|\,\mathrm {d} x}$

(o la distancia análoga entre derivadas de Radon-Nikodym con cualquier medida dominante común ). Este resultado se puede demostrar observando que el supremo en la definición se alcanza exactamente en el conjunto donde una distribución domina a la otra. ^{[ 6 ]}

La distancia de variación total está relacionada con la distancia de Hellinger.${\displaystyle H(P,Q)}$de la siguiente manera: ^{[ 7 ]}

${\displaystyle H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q).}$

Estas desigualdades se derivan inmediatamente de las desigualdades entre la norma 1 y la norma 2 .

La distancia de variación total (o la mitad de la norma) surge como el costo de transporte óptimo, cuando la función de costo es${\displaystyle c(x,y)={\mathbf {1} }_{x\neq y}}$, eso es,

${\displaystyle {\frac {1}{2}}\|PQ\|_{1}=\delta (P,Q)=\inf {\big \{}\mathbb {P} (X\neq Y):{\text{Ley}}(X)=P,{\text{Ley}}(Y)=Q{\big \}}=\inf _{\pi }\operatorname {E} _{\pi }[{\mathbf {1} }_{x\neq y}],}$

donde la esperanza se toma con respecto a la medida de probabilidad.${\displaystyle \pi }$en el espacio donde${\displaystyle (x,y)}$vidas, y el ínfimo se toma sobre todas ellas${\displaystyle \pi }$con márgenes${\displaystyle P}$y${\displaystyle Q}$, respectivamente. ^{[ 8 ]}