Métrica de probabilidad integral

En teoría de la probabilidad , las métricas de probabilidad integral son tipos de funciones de distancia entre distribuciones de probabilidad , definidas por la capacidad de una clase de funciones para distinguir entre ambas distribuciones. Muchas distancias estadísticas importantes son métricas de probabilidad integral, como la distancia de Wasserstein-1 y la distancia de variación total . Además de su importancia teórica, las métricas de probabilidad integral se utilizan ampliamente en estadística y aprendizaje automático .

El nombre "métrica de probabilidad integral" fue dado por el estadístico alemán Alfred Müller; ^{[ 1 ]} las distancias también habían sido llamadas anteriormente "métricas con una estructura ζ ". ^{[ 2 ]}

Las métricas de probabilidad integral (IPM) son distancias en el espacio de distribuciones sobre un conjunto${\displaystyle {\mathcal {X}}}$, definido por una clase${\displaystyle {\mathcal {F}}}$de funciones de valor real en${\displaystyle {\mathcal {X}}}$como $${\displaystyle D_{\mathcal {F}}(P,Q)=\sup _{f\in {\mathcal {F}}}{\big |}\mathbb {E} _{X\sim P}f(X)-\mathbb {E} _{Y\sim Q}f(Y){\big |}=\sup _{f\in {\mathcal {F}}}{\big |}Pf-Qf{\big |};}$$ Aquí la notación P f se refiere a la esperanza de f bajo la distribución P . El valor absoluto en la definición es innecesario y a menudo se omite, para el caso usual donde para cada${\displaystyle f\in {\mathcal {F}}}$su negación${\displaystyle -f}$también está en${\displaystyle {\mathcal {F}}}$.

Las funciones f que se optimizan a veces se denominan funciones "críticas"; ^{[ 3 ]} si una función en particular${\displaystyle f^{*}\in {\mathcal {F}}}$Cuando alcanza el supremo, a menudo se la denomina "función testigo" ^{[ 4 ]} (que "testifica" la diferencia en las distribuciones). Estas funciones intentan tener valores grandes para las muestras de P y valores pequeños (probablemente negativos) para las muestras de Q ; esto puede considerarse una versión más débil de los clasificadores , y de hecho, los IPM pueden interpretarse como el riesgo óptimo de un clasificador particular. ^{[ 5 ] : sec. 4}

La elección de${\displaystyle {\mathcal {F}}}$determina la distancia particular; más de una${\displaystyle {\mathcal {F}}}$puede generar la misma distancia. ^{[ 1 ]}

Para cualquier elección de${\displaystyle {\mathcal {F}}}$,${\displaystyle D_{\mathcal {F}}}$satisface todas las definiciones de una métrica excepto que podemos tener${\displaystyle D_{\mathcal {F}}(P,Q)=0}$para algún P ≠ Q ; esto se denomina indistintamente " pseudométrico " o "semimétrico" según la comunidad. Por ejemplo, utilizando la clase${\displaystyle {\mathcal {F}}=\{x\mapsto 0\}}$que solo contiene la función cero,${\displaystyle D_{\mathcal {F}}(P,Q)}$es idénticamente cero.${\displaystyle D_{\mathcal {F}}}$es una métrica si y solo si${\displaystyle {\mathcal {F}}}$separa puntos en el espacio de distribuciones de probabilidad, es decir, para cualquier P ≠ Q existe algún${\displaystyle f\in {\mathcal {F}}}$de tal manera que${\displaystyle Pf\neq Qf}$; ^{[ 1 ]} La mayoría, pero no todos, los casos particulares comunes satisfacen esta propiedad.

Todos estos ejemplos son métricas, salvo que se indique lo contrario.

• La distancia de Wasserstein-1 (también llamada distancia del transportador de tierra ), a través de su representación dual , tiene${\displaystyle {\mathcal {F}}}$el conjunto de funciones Lipschitz de orden 1.
• La métrica de Dudley relacionada se genera mediante el conjunto de funciones 1-Lipschitz acotadas .
• La distancia de variación total se puede generar mediante${\displaystyle {\mathcal {F}}=\{f:{\mathcal {X}}\to \{0,1\}\}}$, de modo que${\displaystyle {\mathcal {F}}}$es un conjunto de funciones indicadoras para cualquier evento, o por la clase más amplia${\displaystyle {\mathcal {F}}=\{f:{\mathcal {X}}\to [0,1]\}}$.
• La métrica de Radon, estrechamente relacionada , se genera mediante funciones continuas acotadas en [-1, 1] . La variación total y la métrica de Radon coinciden (salvo escalamiento) en espacios polacos ^{[ 1 ] : sec. 5.2 [ 6 ]} .
• La métrica de Kolmogorov utilizada en la prueba de Kolmogorov-Smirnov tiene una clase de funciones indicadoras,${\displaystyle {\mathcal {F}}=\{1_{(-\infty ,t]}:t\in \mathbb {R} \}}$.
• La discrepancia media máxima del núcleo (MMD) tiene${\displaystyle {\mathcal {F}}}$la bola unitaria en un espacio de Hilbert con núcleo reproductor . Esta distancia es particularmente fácil de estimar a partir de muestras, sin necesidad de optimización; es una métrica adecuada precisamente cuando el núcleo subyacente es característico. ^{[ 7 ]}
• La distancia de energía , como un caso especial de la discrepancia media máxima, ^{[ 8 ]} es generada por la bola unitaria en un espacio de Hilbert de núcleo reproductor particular .
• Definición${\displaystyle {\mathcal {F}}}$mediante funciones con una norma de Sobolev acotada proporciona una distancia útil para el modelado generativo , entre otras aplicaciones. ^{[ 9 ]}
• Las funciones con norma de Besov acotada generalizan muchas otras formas de IPM y son susceptibles de análisis teórico. ^{[ 10 ] [ 11 ]}
• Muchas variantes de redes generativas adversarias y pruebas de dos muestras basadas en clasificadores ^{[ 12 ] [ 13 ]} utilizan una "distancia de red neuronal" ^{[ 14 ] [ 15 ]} donde${\displaystyle {\mathcal {F}}}$es una clase de redes neuronales ; estas no son métricas para redes típicas de tamaño fijo, pero podrían serlo para otros clasificadores. Para las GAN de Wasserstein en particular, se ha argumentado que el análisis en términos de esta distancia y no de la de Wasserstein a la que se aproximan es muy importante para el comportamiento de estos modelos. ^{[ 14 ] [ 16 ] [ 17 ]}

Las f -divergencias son probablemente la forma más conocida de medir la disimilitud de las distribuciones de probabilidad. Se ha demostrado ^{[ 5 ] : sección 2} que las únicas funciones que son a la vez IPM y f -divergencias son de la forma${\displaystyle c\,\operatorname {TV} (P,Q)}$, dónde${\displaystyle c\in [0,\infty ]}$y${\displaystyle \operatorname {TV} }$es la distancia de variación total entre distribuciones.

Una diferencia importante entre las f -divergencias y la mayoría de los IPM es que cuando P y Q tienen soporte disjunto, todas las f- divergencias toman un valor constante; ^{[ 18 ]} por el contrario, los IPM donde las funciones en${\displaystyle {\mathcal {F}}}$son "suaves" pueden dar "crédito parcial". Por ejemplo, considere la secuencia${\displaystyle \delta _{1/n}}$de medidas de Dirac en 1/ n ; esta secuencia converge en distribución a${\displaystyle \delta _{0}}$y muchos IPM satisfacen${\displaystyle D_{\mathcal {F}}(\delta _{1/n},\delta _{0})\to 0}$, pero ninguna f -divergencia distinta de cero puede satisfacer esto. Es decir, muchas IPM son continuas en topologías más débiles que las f -divergencias. Esta propiedad a veces es de gran importancia, ^{[ 19 ]} aunque también existen otras opciones, como considerar f -divergencias entre distribuciones convolucionadas con ruido continuo ^{[ 19 ] [ 20 ]} o convoluciones informales entre f-divergencias y métricas de probabilidad integral. ^{[ 21 ] [ 22 ]}

Debido a que los valores de IPM entre distribuciones discretas suelen ser sensatos, a menudo es razonable estimar${\displaystyle D_{\mathcal {F}}(P,Q)}$utilizando un estimador simple de "conexión":${\displaystyle D_{\mathcal {F}}({\hat {P}},{\hat {Q}})}$dónde${\displaystyle {\hat {P}}}$y${\displaystyle {\hat {Q}}}$son medidas empíricas de conjuntos de muestras. Estas distancias empíricas se pueden calcular exactamente para algunas clases.${\displaystyle {\mathcal {F}}}$; ^{[ 5 ]} La calidad de la estimación varía según la distancia, pero puede ser óptima en el sentido minimax en ciertas configuraciones. ^{[ 15 ] [ 23 ] [ 24 ]}

Cuando la maximización exacta no está disponible o es demasiado costosa, otro esquema comúnmente utilizado es dividir las muestras en conjuntos de "entrenamiento" (con medidas empíricas).${\displaystyle {\hat {P}}_{\mathit {train}}}$y${\displaystyle {\hat {Q}}_{\mathit {train}}}$) y conjuntos de "prueba" (${\displaystyle {\hat {P}}_{\mathit {test}}}$y${\displaystyle {\hat {Q}}_{\mathit {test}}}$), encontrar${\displaystyle {\hat {f}}}$aproximadamente maximizando${\displaystyle {\big |}{\hat {P}}_{\mathit {train}}f-{\hat {Q}}_{\mathit {train}}f{\big |}}$, luego usar${\displaystyle {\big |}{\hat {P}}_{\mathit {test}}{\hat {f}}-{\hat {Q}}_{\mathit {test}}{\hat {f}}{\big |}}$como una estimación. ^{[ 25 ] [ 13 ] [ 26 ] [ 27 ]} Este estimador posiblemente sea consistente , pero tiene un sesgo negativo ^{[ 25 ] : teorema 2} . De hecho, no puede existir un estimador insesgado para ningún IPM ^{[ 25 ] : teorema 3} , aunque existe, por ejemplo, un estimador insesgado de la discrepancia media máxima al cuadrado . ^{[ 4 ]}