Integración de distribuciones en el núcleo

En el aprendizaje automático , la incrustación de distribuciones en el núcleo (también llamada media del núcleo o mapa de medias ) comprende una clase de métodos no paramétricos en los que una distribución de probabilidad se representa como un elemento de un espacio de Hilbert del núcleo de reproducción (RKHS). ^[1] Una generalización del mapeo de características de puntos de datos individuales realizado en métodos de núcleo clásicos , la incrustación de distribuciones en espacios de características de dimensión infinita puede preservar todas las características estadísticas de distribuciones arbitrarias, al tiempo que permite comparar y manipular distribuciones utilizando operaciones del espacio de Hilbert como productos internos , distancias, proyecciones , transformaciones lineales y análisis espectral . ^[2] Este marco de aprendizaje es muy general y se puede aplicar a distribuciones sobre cualquier espacio en el que se pueda definir una función de núcleo sensible (que mida la similitud entre elementos de ). Por ejemplo, se han propuesto varios núcleos para aprender a partir de datos que son: vectores en , clases/categorías discretas, cadenas , gráficos / redes , imágenes, series de tiempo , variedades , sistemas dinámicos y otros objetos estructurados. ^{[3] [4]} La teoría detrás de la incrustación de núcleos en distribuciones ha sido desarrollada principalmente por Alex Smola, Le Song, Arthur Gretton y Bernhard Schölkopf . Se puede encontrar una revisión de trabajos recientes sobre incrustación de núcleos en distribuciones. ^[5]${\displaystyle \Omega }$${\displaystyle \Omega }$${\displaystyle \mathbb {R} ^{d}}$

El análisis de distribuciones es fundamental en el aprendizaje automático y las estadísticas , y muchos algoritmos en estos campos se basan en enfoques teóricos de la información como la entropía , la información mutua o la divergencia de Kullback-Leibler . Sin embargo, para estimar estas cantidades, primero se debe realizar una estimación de densidad o emplear estrategias sofisticadas de partición del espacio/corrección de sesgo que normalmente no son factibles para datos de alta dimensión. ^[6] Comúnmente, los métodos para modelar distribuciones complejas se basan en suposiciones paramétricas que pueden ser infundadas o computacionalmente desafiantes (por ejemplo, modelos de mezcla gaussiana ), mientras que los métodos no paramétricos como la estimación de densidad de kernel (Nota: los kernels de suavizado en este contexto tienen una interpretación diferente a los kernels discutidos aquí) o la representación de función característica (a través de la transformada de Fourier de la distribución) fallan en entornos de alta dimensión. ^[2]

Los métodos basados ​​en la incrustación del núcleo de las distribuciones evitan estos problemas y también poseen las siguientes ventajas: ^[6]

1. Los datos pueden modelarse sin suposiciones restrictivas sobre la forma de las distribuciones y las relaciones entre las variables.
2. No es necesaria una estimación de densidad intermedia
3. Los profesionales pueden especificar las propiedades de una distribución más relevantes para su problema (incorporando conocimiento previo a través de la elección del kernel)
4. Si se utiliza un núcleo característico , entonces la incrustación puede preservar de forma única toda la información sobre una distribución, mientras que gracias al truco del núcleo , los cálculos sobre el RKHS potencialmente de dimensión infinita se pueden implementar en la práctica como simples operaciones de matriz de Gram .
5. Se pueden demostrar tasas de convergencia independientes de la dimensionalidad para la media del kernel empírica (estimada utilizando muestras de la distribución) hacia la incrustación del kernel de la distribución subyacente real.
6. Los algoritmos de aprendizaje basados ​​en este marco muestran una buena capacidad de generalización y convergencia de muestras finitas, y a menudo son más simples y más efectivos que los métodos de teoría de la información.

Por lo tanto, el aprendizaje a través de la incorporación del núcleo de distribuciones ofrece un reemplazo directo y de principios para los enfoques de teoría de la información y es un marco que no solo incluye muchos métodos populares en aprendizaje automático y estadísticas como casos especiales, sino que también puede conducir a algoritmos de aprendizaje completamente nuevos.

Sea una variable aleatoria con dominio y distribución . Dado un núcleo simétrico, definido positivamente, el teorema de Moore-Aronszajn afirma la existencia de un único RKHS en (un espacio de Hilbert de funciones equipado con un producto interno y una norma ) para el cual es un núcleo reproductor, es decir, en el que el elemento satisface la propiedad de reproducción ${\displaystyle X}$${\displaystyle \Omega }$${\displaystyle P}$ ${\displaystyle k:\Omega \times \Omega \rightarrow \mathbb {R} }$${\displaystyle {\mathcal {H}}}$${\displaystyle \Omega }$${\displaystyle f:\Omega \to \mathbb {R} }$${\displaystyle \langle \cdot ,\cdot \rangle _{\mathcal {H}}}$${\displaystyle \|\cdot \|_{\mathcal {H}}}$${\displaystyle k}$${\displaystyle k(x,\cdot )}$

${\displaystyle \langle f,k(x,\cdot )\rangle _{\mathcal {H}}=f(x)\qquad \forall f\in {\mathcal {H}},\quad \forall x\in \Omega .}$

Alternativamente, se puede considerar como un mapeo de características implícito (que por lo tanto también se llama espacio de características), de modo que puede verse como una medida de similitud entre puntos. Si bien la medida de similitud es lineal en el espacio de características, puede ser altamente no lineal en el espacio original dependiendo de la elección del kernel. ${\displaystyle x\mapsto k(x,\cdot )}$${\displaystyle \varphi :\Omega \rightarrow {\mathcal {H}}}$${\displaystyle k(x,x')=\langle \varphi (x),\varphi (x')\rangle _{\mathcal {H}}}$${\displaystyle x,x'\in \Omega .}$

La incrustación del núcleo de la distribución en (también llamada media del núcleo o mapa de medias ) viene dada por: ^[1]${\displaystyle P}$${\displaystyle {\mathcal {H}}}$

${\displaystyle \mu _{X}:=\mathbb {E} [k(X,\cdot )]=\mathbb {E} [\varphi (X)]=\int _{\Omega }\varphi (x)\ \mathrm {d} P(x)}$

Si permite una densidad integrable cuadrada , entonces , donde es el operador integral de Hilbert–Schmidt . Un kernel es característico si la incrustación media es inyectiva. ^[7] Por lo tanto, cada distribución puede representarse de forma única en el RKHS y todas las características estadísticas de las distribuciones se conservan mediante la incrustación del kernel si se utiliza un kernel característico. ${\displaystyle P}$${\displaystyle p}$${\displaystyle \mu _{X}={\mathcal {E}}_{k}p}$${\displaystyle {\mathcal {E}}_{k}}$${\displaystyle \mu :\{{\text{family of distributions over }}\Omega \}\to {\mathcal {H}}}$

Dados los ejemplos de entrenamiento extraídos de forma independiente e idénticamente distribuida (iid) a partir de la incrustación del núcleo, se pueden estimar empíricamente como ${\displaystyle n}$${\displaystyle \{x_{1},\ldots ,x_{n}\}}$${\displaystyle P,}$${\displaystyle P}$

${\displaystyle {\widehat {\mu }}_{X}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})}$

Si denota otra variable aleatoria (para simplificar, suponga que el codominio de también tiene el mismo núcleo que satisface ), entonces la distribución conjunta se puede mapear en un espacio de características del producto tensorial a través de ^[2]${\displaystyle Y}$${\displaystyle Y}$${\displaystyle \Omega }$${\displaystyle k}$${\displaystyle \langle \varphi (x)\otimes \varphi (y),\varphi (x')\otimes \varphi (y')\rangle =k(x,x')k(y,y')}$ ${\displaystyle P(x,y))}$${\displaystyle {\mathcal {H}}\otimes {\mathcal {H}}}$

${\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\varphi (X)\otimes \varphi (Y)]=\int _{\Omega \times \Omega }\varphi (x)\otimes \varphi (y)\ \mathrm {d} P(x,y)}$

Por la equivalencia entre un tensor y un mapa lineal , esta incrustación conjunta puede interpretarse como un operador de covarianza cruzada no centrado a partir del cual la covarianza cruzada de funciones puede calcularse como ^[8]${\displaystyle {\mathcal {C}}_{XY}:{\mathcal {H}}\to {\mathcal {H}}}$${\displaystyle f,g\in {\mathcal {H}}}$

${\displaystyle \operatorname {Cov} (f(X),g(Y)):=\mathbb {E} [f(X)g(Y)]-\mathbb {E} [f(X)]\mathbb {E} [g(Y)]=\langle f,{\mathcal {C}}_{XY}g\rangle _{\mathcal {H}}=\langle f\otimes g,{\mathcal {C}}_{XY}\rangle _{{\mathcal {H}}\otimes {\mathcal {H}}}}$

Dados pares de ejemplos de entrenamiento extraídos de iid , también podemos estimar empíricamente la incrustación del núcleo de distribución conjunta mediante ${\displaystyle n}$${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$${\displaystyle P}$

${\displaystyle {\widehat {\mathcal {C}}}_{XY}={\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})\otimes \varphi (y_{i})}$

Dada una distribución condicional se puede definir la incrustación RKHS correspondiente como ^[2]${\displaystyle P(y\mid x),}$

${\displaystyle \mu _{Y\mid x}=\mathbb {E} [\varphi (Y)\mid X]=\int _{\Omega }\varphi (y)\ \mathrm {d} P(y\mid x)}$

Nótese que la incrustación de define así una familia de puntos en el RKHS indexados por los valores tomados por la variable condicionante . Al fijar un valor particular, obtenemos un único elemento en , y por lo tanto es natural definir el operador ${\displaystyle P(y\mid x)}$${\displaystyle x}$${\displaystyle X}$${\displaystyle X}$${\displaystyle {\mathcal {H}}}$

${\displaystyle {\begin{cases}{\mathcal {C}}_{Y\mid X}:{\mathcal {H}}\to {\mathcal {H}}\\{\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1}\end{cases}}}$

que, dada la asignación de características de las salidas, la incrustación condicional de dado Suponiendo que para todos se puede demostrar que ^[8]${\displaystyle x}$${\displaystyle Y}$${\displaystyle X=x.}$${\displaystyle g\in {\mathcal {H}}:\mathbb {E} [g(Y)\mid X]\in {\mathcal {H}},}$

${\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)}$

Esta suposición siempre es verdadera para dominios finitos con núcleos característicos, pero no necesariamente para dominios continuos. ^[2] Sin embargo, incluso en casos donde la suposición falla, todavía puede usarse para aproximar la incrustación del núcleo condicional y, en la práctica, el operador de inversión se reemplaza con una versión regularizada de sí mismo (donde denota la matriz identidad ). ${\displaystyle {\mathcal {C}}_{Y\mid X}\varphi (x)}$${\displaystyle \mu _{Y\mid x},}$${\displaystyle ({\mathcal {C}}_{XX}+\lambda \mathbf {I} )^{-1}}$${\displaystyle \mathbf {I} }$

Dados ejemplos de entrenamiento, el operador de incrustación condicional del núcleo empírico se puede estimar como ^[2]${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\},}$

${\displaystyle {\widehat {C}}_{Y\mid X}={\boldsymbol {\Phi }}(\mathbf {K} +\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}^{T}}$

donde son matrices de características formadas implícitamente, es la matriz de Gram para muestras de , y es un parámetro de regularización necesario para evitar el sobreajuste . ${\displaystyle {\boldsymbol {\Phi }}=\left(\varphi (y_{1}),\dots ,\varphi (y_{n})\right),{\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\dots ,\varphi (x_{n})\right)}$${\displaystyle \mathbf {K} ={\boldsymbol {\Upsilon }}^{T}{\boldsymbol {\Upsilon }}}$${\displaystyle X}$${\displaystyle \lambda }$

Por lo tanto, la estimación empírica de la incrustación condicional del núcleo se da mediante una suma ponderada de muestras en el espacio de características: ${\displaystyle Y}$

${\displaystyle {\widehat {\mu }}_{Y\mid x}=\sum _{i=1}^{n}\beta _{i}(x)\varphi (y_{i})={\boldsymbol {\Phi }}{\boldsymbol {\beta }}(x)}$

donde y${\displaystyle {\boldsymbol {\beta }}(x)=(\mathbf {K} +\lambda \mathbf {I} )^{-1}\mathbf {K} _{x}}$${\displaystyle \mathbf {K} _{x}=\left(k(x_{1},x),\dots ,k(x_{n},x)\right)^{T}}$

• La expectativa de cualquier función en el RKHS se puede calcular como un producto interno con la incrustación del núcleo:${\displaystyle f}$

${\displaystyle \mathbb {E} [f(X)]=\langle f,\mu _{X}\rangle _{\mathcal {H}}}$

• En presencia de muestras de gran tamaño, las manipulaciones de la matriz de Gram pueden ser computacionalmente exigentes. Mediante el uso de una aproximación de bajo rango de la matriz de Gram (como la factorización incompleta de Cholesky ), el tiempo de ejecución y los requisitos de memoria de los algoritmos de aprendizaje basados ​​en la incrustación de núcleos se pueden reducir drásticamente sin sufrir una gran pérdida en la precisión de la aproximación. ^[2]${\displaystyle n\times n}$

• Si se define de tal manera que toma valores en para todos con (como es el caso de los núcleos de función de base radial ampliamente utilizados ), entonces con probabilidad al menos : ^[6]${\displaystyle k}$${\displaystyle f}$${\displaystyle [0,1]}$${\displaystyle f\in {\mathcal {H}}}$${\displaystyle \|f\|_{\mathcal {H}}\leq 1}$${\displaystyle 1-\delta }$

${\displaystyle \|\mu _{X}-{\widehat {\mu }}_{X}\|_{\mathcal {H}}=\sup _{f\in {\mathcal {B}}(0,1)}\left|\mathbb {E} [f(X)]-{\frac {1}{n}}\sum _{i=1}^{n}f(x_{i})\right|\leq {\frac {2}{n}}\mathbb {E} \left[{\sqrt {\operatorname {tr} K}}\right]+{\sqrt {\frac {\log(2/\delta )}{2n}}}}$

donde denota la bola unitaria en y es la matriz de Gram con${\displaystyle {\mathcal {B}}(0,1)}$${\displaystyle {\mathcal {H}}}$${\displaystyle \mathbf {K} =(k_{ij})}$${\displaystyle k_{ij}=k(x_{i},x_{j}).}$

• La tasa de convergencia (en la norma RKHS) de la incrustación del núcleo empírico a su contraparte de distribución es y no depende de la dimensión de .${\displaystyle O(n^{-1/2})}$${\displaystyle X}$
• Las estadísticas basadas en incrustaciones de kernel evitan así la maldición de la dimensionalidad , y aunque en la práctica se desconoce la verdadera distribución subyacente, se puede (con alta probabilidad) obtener una aproximación dentro de la verdadera incrustación de kernel basada en una muestra finita de tamaño .${\displaystyle O(n^{-1/2})}$${\displaystyle n}$
• Para la incrustación de distribuciones condicionales, la estimación empírica puede verse como un promedio ponderado de asignaciones de características (donde los pesos dependen del valor de la variable de condicionamiento y capturan el efecto del condicionamiento en la incrustación del núcleo). En este caso, la estimación empírica converge a la incrustación de distribución condicional RKHS con una tasa si se reduce el parámetro de regularización , como si se pudieran lograr tasas de convergencia más rápidas al colocar suposiciones adicionales en la distribución conjunta. ^[2]${\displaystyle \beta _{i}(x)}$${\displaystyle O\left(n^{-1/4}\right)}$${\displaystyle \lambda }$${\displaystyle O\left(n^{-1/2}\right),}$

• Sea un espacio métrico compacto y el conjunto de funciones continuas . El núcleo reproductor se llama universal si y sólo si el RKHS de es denso en , es decir, para cualquier y todos existe un tal que . ^[9] Todos los núcleos universales definidos en un espacio compacto son núcleos característicos pero lo inverso no siempre es cierto. ^[10]${\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{b}}$${\displaystyle C({\mathcal {X}})}$${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$${\displaystyle {\mathcal {H}}}$${\displaystyle k}$${\displaystyle C({\mathcal {X}})}$${\displaystyle g\in C({\mathcal {X}})}$${\displaystyle \varepsilon >0}$${\displaystyle f\in {\mathcal {H}}}$${\displaystyle \|f-g\|_{\infty }\leq \varepsilon }$
• Sea un núcleo invariante de traducción continua con . Entonces el teorema de Bochner garantiza la existencia de una medida de Borel finita única (llamada medida espectral ) en tal que${\displaystyle k}$${\displaystyle k(x,x')=h(x-x')}$${\displaystyle x\in \mathbb {R} ^{b}}$${\displaystyle \mu }$${\displaystyle \mathbb {R} ^{b}}$

${\displaystyle h(t)=\int _{\mathbb {R} ^{b}}e^{-i\langle t,\omega \rangle }d\mu (\omega ),\quad \forall t\in \mathbb {R} ^{b}.}$

Para que sea universal basta que la parte continua de en su única descomposición de Lebesgue sea distinta de cero. Además, si ${\displaystyle k}$${\displaystyle \mu }$ ${\displaystyle \mu =\mu _{c}+\mu _{s}}$

${\displaystyle d\mu _{c}(\omega )=s(\omega )d\omega ,}$

entonces es la densidad espectral de frecuencias en y es la transformada de Fourier de . Si el soporte de es todo de , entonces es también un núcleo característico. ^{[11] [12] [13]}${\displaystyle s}$${\displaystyle \omega }$${\displaystyle \mathbb {R} ^{b}}$${\displaystyle h}$${\displaystyle s}$${\displaystyle \mu }$${\displaystyle \mathbb {R} ^{b}}$${\displaystyle k}$

• Si induce una matriz de núcleo definida estrictamente positiva para cualquier conjunto de puntos distintos, entonces es un núcleo universal. ^[6] Por ejemplo, el núcleo RBF gaussiano ampliamente utilizado${\displaystyle k}$

${\displaystyle k(x,x')=\exp \left(-{\frac {1}{2\sigma ^{2}}}\|x-x'\|^{2}\right)}$

en subconjuntos compactos de es universal.${\displaystyle \mathbb {R} ^{b}}$

• El operador de incrustación de distribución condicional de núcleo empírico puede verse alternativamente como la solución del siguiente problema de regresión de mínimos cuadrados regularizados (con valor de función) ^[14]${\displaystyle {\widehat {\mathcal {C}}}_{Y|X}}$

${\displaystyle \min _{{\mathcal {C}}:{\mathcal {H}}\to {\mathcal {H}}}\sum _{i=1}^{n}\left\|\varphi (y_{i})-{\mathcal {C}}\varphi (x_{i})\right\|_{\mathcal {H}}^{2}+\lambda \|{\mathcal {C}}\|_{HS}^{2}}$

¿Dónde está la norma de Hilbert-Schmidt ?${\displaystyle \|\cdot \|_{HS}}$

• De este modo, se puede seleccionar el parámetro de regularización realizando una validación cruzada basada en la función de pérdida al cuadrado del problema de regresión.${\displaystyle \lambda }$

Esta sección ilustra cómo las reglas probabilísticas básicas pueden reformularse como operaciones algebraicas (multi)lineales en el marco de incrustación del núcleo y se basa principalmente en el trabajo de Song et al. ^{[2] [8]} Se adopta la siguiente notación:

• ${\displaystyle P(X,Y)=}$distribución conjunta sobre variables aleatorias${\displaystyle X,Y}$
• ${\displaystyle P(X)=\int _{\Omega }P(X,\mathrm {d} y)=}$distribución marginal de ; distribución marginal de${\displaystyle X}$${\displaystyle P(Y)=}$${\displaystyle Y}$

• ${\displaystyle P(Y\mid X)={\frac {P(X,Y)}{P(X)}}=}$distribución condicional de lo dado con el operador de incrustación condicional correspondiente${\displaystyle Y}$${\displaystyle X}$${\displaystyle {\mathcal {C}}_{Y\mid X}}$
• ${\displaystyle \pi (Y)=}$distribución previa sobre${\displaystyle Y}$
• ${\displaystyle Q}$Se utiliza para distinguir distribuciones que incorporan lo anterior de distribuciones que no se basan en lo anterior.${\displaystyle P}$

En la práctica, todas las incrustaciones se estiman empíricamente a partir de datos y se supone que se puede utilizar un conjunto de muestras para estimar la incrustación del núcleo de la distribución previa . ${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$${\displaystyle \{{\widetilde {y}}_{1},\ldots ,{\widetilde {y}}_{\widetilde {n}}\}}$${\displaystyle \pi (Y)}$

En la teoría de la probabilidad, la distribución marginal de se puede calcular integrando a partir de la densidad conjunta (incluida la distribución previa en ) ${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$

${\displaystyle Q(X)=\int _{\Omega }P(X\mid Y)\,\mathrm {d} \pi (Y)}$

El análogo de esta regla en el marco de incrustación del núcleo establece que la incrustación RKHS de , se puede calcular mediante ${\displaystyle \mu _{X}^{\pi },}$${\displaystyle Q(X)}$

${\displaystyle \mu _{X}^{\pi }=\mathbb {E} [{\mathcal {C}}_{X\mid Y}\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mathbb {E} [\varphi (Y)]={\mathcal {C}}_{X\mid Y}\mu _{Y}^{\pi }}$

¿Dónde está la incrustación del núcleo de En implementaciones prácticas, la regla de suma del núcleo toma la siguiente forma ${\displaystyle \mu _{Y}^{\pi }}$${\displaystyle \pi (Y).}$

${\displaystyle {\widehat {\mu }}_{X}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mu }}_{Y}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}}$

dónde

${\displaystyle \mu _{Y}^{\pi }=\sum _{i=1}^{\widetilde {n}}\alpha _{i}\varphi ({\widetilde {y}}_{i})}$

es la incrustación del núcleo empírico de la distribución anterior, y son matrices de Gram con entradas respectivamente. ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{\widetilde {n}})^{T},}$ ${\displaystyle {\boldsymbol {\Upsilon }}=\left(\varphi (x_{1}),\ldots ,\varphi (x_{n})\right)}$${\displaystyle \mathbf {G} ,{\widetilde {\mathbf {G} }}}$${\displaystyle \mathbf {G} _{ij}=k(y_{i},y_{j}),{\widetilde {\mathbf {G} }}_{ij}=k(y_{i},{\widetilde {y}}_{j})}$

En la teoría de la probabilidad, una distribución conjunta se puede factorizar en un producto entre distribuciones condicionales y marginales.

${\displaystyle Q(X,Y)=P(X\mid Y)\pi (Y)}$

El análogo de esta regla en el marco de incrustación del núcleo establece que la incrustación conjunta de se puede factorizar como una composición del operador de incrustación condicional con el operador de autocovarianza asociado con${\displaystyle {\mathcal {C}}_{XY}^{\pi },}$${\displaystyle Q(X,Y),}$${\displaystyle \pi (Y)}$

${\displaystyle {\mathcal {C}}_{XY}^{\pi }={\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }}$

dónde

${\displaystyle {\mathcal {C}}_{XY}^{\pi }=\mathbb {E} [\varphi (X)\otimes \varphi (Y)],}$

${\displaystyle {\mathcal {C}}_{YY}^{\pi }=\mathbb {E} [\varphi (Y)\otimes \varphi (Y)].}$

En implementaciones prácticas, la regla de la cadena del núcleo toma la siguiente forma

${\displaystyle {\widehat {\mathcal {C}}}_{XY}^{\pi }={\widehat {\mathcal {C}}}_{X\mid Y}{\widehat {\mathcal {C}}}_{YY}^{\pi }={\boldsymbol {\Upsilon }}(\mathbf {G} +\lambda \mathbf {I} )^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}){\boldsymbol {\widetilde {\Phi }}}^{T}}$

En la teoría de la probabilidad, una distribución posterior se puede expresar en términos de una distribución previa y una función de probabilidad como

${\displaystyle Q(Y\mid x)={\frac {P(x\mid Y)\pi (Y)}{Q(x)}}}$dónde${\displaystyle Q(x)=\int _{\Omega }P(x\mid y)\,\mathrm {d} \pi (y)}$

El análogo de esta regla en el marco de incrustación del núcleo expresa la incrustación del núcleo de la distribución condicional en términos de operadores de incrustación condicional que son modificados por la distribución anterior.

${\displaystyle \mu _{Y\mid x}^{\pi }={\mathcal {C}}_{Y\mid X}^{\pi }\varphi (x)={\mathcal {C}}_{YX}^{\pi }\left({\mathcal {C}}_{XX}^{\pi }\right)^{-1}\varphi (x)}$

De donde proviene la regla de la cadena:

${\displaystyle {\mathcal {C}}_{YX}^{\pi }=\left({\mathcal {C}}_{X\mid Y}{\mathcal {C}}_{YY}^{\pi }\right)^{T}.}$

En implementaciones prácticas, la regla de Bayes del núcleo toma la siguiente forma

${\displaystyle {\widehat {\mu }}_{Y\mid x}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }\varphi (x)={\widetilde {\boldsymbol {\Phi }}}{\boldsymbol {\Lambda }}^{T}\left((\mathbf {D} \mathbf {K} )^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {K} \mathbf {D} \mathbf {K} _{x}}$

dónde

${\displaystyle {\boldsymbol {\Lambda }}=\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}\operatorname {diag} ({\boldsymbol {\alpha }}),\qquad \mathbf {D} =\operatorname {diag} \left(\left(\mathbf {G} +{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widetilde {\mathbf {G} }}{\boldsymbol {\alpha }}\right).}$

En este marco se utilizan dos parámetros de regularización: para la estimación de y para la estimación del operador de incrustación condicional final. ${\displaystyle \lambda }$${\displaystyle {\widehat {\mathcal {C}}}_{YX}^{\pi },{\widehat {\mathcal {C}}}_{XX}^{\pi }={\boldsymbol {\Upsilon }}\mathbf {D} {\boldsymbol {\Upsilon }}^{T}}$${\displaystyle {\widetilde {\lambda }}}$

${\displaystyle {\widehat {\mathcal {C}}}_{Y\mid X}^{\pi }={\widehat {\mathcal {C}}}_{YX}^{\pi }\left(\left({\widehat {\mathcal {C}}}_{XX}^{\pi }\right)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}{\widehat {\mathcal {C}}}_{XX}^{\pi }.}$

La última regularización se realiza sobre el cuadrado de porque puede no ser definida positiva . ${\displaystyle {\widehat {\mathcal {C}}}_{XX}^{\pi }}$${\displaystyle D}$

La discrepancia media máxima (MMD) es una medida de distancia entre distribuciones y que se define como la distancia entre sus incrustaciones en el RKHS ^[6]${\displaystyle P(X)}$${\displaystyle Q(Y)}$

${\displaystyle {\text{MMD}}(P,Q)=\left\|\mu _{X}-\mu _{Y}\right\|_{\mathcal {H}}.}$

Si bien la mayoría de las medidas de distancia entre distribuciones, como la divergencia de Kullback-Leibler ampliamente utilizada , requieren una estimación de densidad (paramétrica o no paramétrica) o estrategias de partición espacial/corrección de sesgo, ^[6] la MMD se estima fácilmente como una media empírica que se concentra alrededor del valor verdadero de la MMD. La caracterización de esta distancia como la discrepancia media máxima se refiere al hecho de que calcular la MMD es equivalente a encontrar la función RKHS que maximiza la diferencia en las expectativas entre las dos distribuciones de probabilidad.

${\displaystyle {\text{MMD}}(P,Q)=\sup _{\|f\|_{\mathcal {H}}\leq 1}\left(\mathbb {E} [f(X)]-\mathbb {E} [f(Y)]\right),}$

una forma de métrica de probabilidad integral .

Dados n ejemplos de entrenamiento de y m muestras de , se puede formular una estadística de prueba basada en la estimación empírica de la MMD ${\displaystyle P(X)}$${\displaystyle Q(Y)}$

${\displaystyle {\begin{aligned}{\widehat {\text{MMD}}}(P,Q)&=\left\|{\frac {1}{n}}\sum _{i=1}^{n}\varphi (x_{i})-{\frac {1}{m}}\sum _{i=1}^{m}\varphi (y_{i})\right\|_{\mathcal {H}}^{2}\\[5pt]&={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}k(x_{i},x_{j})+{\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}k(y_{i},y_{j})-{\frac {2}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},y_{j})\end{aligned}}}$

para obtener una prueba de dos muestras ^[15] de la hipótesis nula de que ambas muestras provienen de la misma distribución (es decir, ) frente a la alternativa amplia . ${\displaystyle P=Q}$${\displaystyle P\neq Q}$

Aunque los algoritmos de aprendizaje en el marco de incrustación de núcleos evitan la necesidad de una estimación de densidad intermedia, se puede utilizar la incrustación empírica para realizar una estimación de densidad basada en n muestras extraídas de una distribución subyacente . Esto se puede hacer resolviendo el siguiente problema de optimización ^{[6] [16]}${\displaystyle P_{X}^{*}}$

${\displaystyle \max _{P_{X}}H(P_{X})}$sujeto a${\displaystyle \|{\widehat {\mu }}_{X}-\mu _{X}[P_{X}]\|_{\mathcal {H}}\leq \varepsilon }$

donde la maximización se realiza sobre todo el espacio de distribuciones en Aquí, es la incrustación del kernel de la densidad propuesta y es una cantidad similar a la entropía (por ejemplo, Entropía , divergencia KL , divergencia de Bregman ). La distribución que resuelve esta optimización puede interpretarse como un compromiso entre ajustar bien las medias del kernel empíricas de las muestras, mientras se sigue asignando una parte sustancial de la masa de probabilidad a todas las regiones del espacio de probabilidad (muchas de las cuales pueden no estar representadas en los ejemplos de entrenamiento). En la práctica, se puede encontrar una buena solución aproximada de la difícil optimización restringiendo el espacio de densidades candidatas a una mezcla de M distribuciones candidatas con proporciones de mezcla regularizadas. Se pueden establecer conexiones entre las ideas que subyacen a los procesos gaussianos y los campos aleatorios condicionales con la estimación de distribuciones de probabilidad condicional de esta manera, si se consideran las asignaciones de características asociadas con el kernel como estadísticas suficientes en familias exponenciales generalizadas (posiblemente de dimensión infinita) . ^[6]${\displaystyle \Omega .}$${\displaystyle \mu _{X}[P_{X}]}$${\displaystyle P_{X}}$${\displaystyle H}$

Se puede formular una medida de la dependencia estadística entre variables aleatorias y (de cualquier dominio en el que se puedan definir núcleos sensibles) basándose en el criterio de independencia de Hilbert-Schmidt ^[17].${\displaystyle X}$${\displaystyle Y}$

${\displaystyle {\text{HSIC}}(X,Y)=\left\|{\mathcal {C}}_{XY}-\mu _{X}\otimes \mu _{Y}\right\|_{{\mathcal {H}}\otimes {\mathcal {H}}}^{2}}$

y se puede utilizar como un reemplazo de principios para la información mutua , la correlación de Pearson o cualquier otra medida de dependencia utilizada en algoritmos de aprendizaje. En particular, HSIC puede detectar dependencias arbitrarias (cuando se utiliza un núcleo característico en las incrustaciones, HSIC es cero si y solo si las variables son independientes ), y se puede utilizar para medir la dependencia entre diferentes tipos de datos (por ejemplo, imágenes y subtítulos de texto). Dadas n muestras iid de cada variable aleatoria, se puede calcular en el tiempo un estimador imparcial simple sin parámetros de HSIC que exhibe concentración sobre el valor verdadero , ^[6] donde las matrices de Gram de los dos conjuntos de datos se aproximan utilizando con . Las propiedades deseables de HSIC han llevado a la formulación de numerosos algoritmos que utilizan esta medida de dependencia para una variedad de tareas comunes de aprendizaje automático, como: selección de características (BAHSIC ^[18] ), agrupamiento (CLUHSIC ^[19] ) y reducción de dimensionalidad (MUHSIC ^[20] ). ${\displaystyle O(n(d_{f}^{2}+d_{g}^{2}))}$${\displaystyle \mathbf {A} \mathbf {A} ^{T},\mathbf {B} \mathbf {B} ^{T}}$${\displaystyle \mathbf {A} \in \mathbb {R} ^{n\times d_{f}},\mathbf {B} \in \mathbb {R} ^{n\times d_{g}}}$

El HSIC se puede ampliar para medir la dependencia de múltiples variables aleatorias. La cuestión de cuándo el HSIC captura la independencia en este caso se ha estudiado recientemente: ^[21] para más de dos variables

• en : la propiedad característica de los granos individuales permanece como una condición equivalente.${\displaystyle \mathbb {R} ^{d}}$
• sobre dominios generales: la propiedad característica de los componentes del núcleo es necesaria pero no suficiente .

La propagación de creencias es un algoritmo fundamental para la inferencia en modelos gráficos en los que los nodos pasan y reciben repetidamente mensajes correspondientes a la evaluación de expectativas condicionales. En el marco de incrustación de kernel, los mensajes pueden representarse como funciones RKHS y las incrustaciones de distribución condicional pueden aplicarse para calcular de manera eficiente las actualizaciones de mensajes. Dadas n muestras de variables aleatorias representadas por nodos en un campo aleatorio de Markov , el mensaje entrante al nodo t desde el nodo u puede expresarse como

${\displaystyle m_{ut}(\cdot )=\sum _{i=1}^{n}\beta _{ut}^{i}\varphi (x_{t}^{i})}$

Si se supone que se encuentra en el RKHS, el mensaje de actualización de propagación de creencias del núcleo desde t al nodo s se obtiene mediante ^[2].

${\displaystyle {\widehat {m}}_{ts}=\left(\odot _{u\in N(t)\backslash s}\mathbf {K} _{t}{\boldsymbol {\beta }}_{ut}\right)^{T}(\mathbf {K} _{s}+\lambda \mathbf {I} )^{-1}{\boldsymbol {\Upsilon }}_{s}^{T}\varphi (x_{s})}$

donde denota el producto vectorial elemento por elemento, es el conjunto de nodos conectados a t excluyendo el nodo s , , son las matrices de Gram de las muestras de las variables , respectivamente, y es la matriz de características de las muestras de . ${\displaystyle \odot }$${\displaystyle N(t)\backslash s}$${\displaystyle {\boldsymbol {\beta }}_{ut}=\left(\beta _{ut}^{1},\dots ,\beta _{ut}^{n}\right)}$${\displaystyle \mathbf {K} _{t},\mathbf {K} _{s}}$${\displaystyle X_{t},X_{s}}$${\displaystyle {\boldsymbol {\Upsilon }}_{s}=\left(\varphi (x_{s}^{1}),\dots ,\varphi (x_{s}^{n})\right)}$${\displaystyle X_{s}}$

Por lo tanto, si los mensajes entrantes al nodo t son combinaciones lineales de muestras con características asignadas de , entonces el mensaje saliente de este nodo también es una combinación lineal de muestras con características asignadas de . Por lo tanto, esta representación de la función RKHS de las actualizaciones de paso de mensajes produce un algoritmo de propagación de creencias eficiente en el que los potenciales son funciones no paramétricas inferidas a partir de los datos, de modo que se pueden modelar relaciones estadísticas arbitrarias. ^[2]${\displaystyle X_{t}}$${\displaystyle X_{s}}$

En el modelo oculto de Markov (HMM), dos magnitudes clave de interés son las probabilidades de transición entre estados ocultos y las probabilidades de emisión de las observaciones. Utilizando el marco de incrustación de distribución condicional de kernel, estas magnitudes pueden expresarse en términos de muestras del HMM. Una limitación importante de los métodos de incrustación en este dominio es la necesidad de muestras de entrenamiento que contengan estados ocultos, ya que de lo contrario no es posible realizar inferencias con distribuciones arbitrarias en el HMM. ${\displaystyle P(S^{t}\mid S^{t-1})}$${\displaystyle P(O^{t}\mid S^{t})}$

Un uso común de los HMM es el filtrado, en el que el objetivo es estimar la distribución posterior sobre el estado oculto en el paso de tiempo t dado un historial de observaciones previas del sistema. En el filtrado, un estado de creencia se mantiene recursivamente a través de un paso de predicción (donde las actualizaciones se calculan marginando el estado oculto anterior) seguido de un paso de condicionamiento (donde las actualizaciones se calculan aplicando la regla de Bayes para condicionar una nueva observación). ^[2] La incrustación RKHS del estado de creencia en el momento t+1 se puede expresar recursivamente como ${\displaystyle s^{t}}$${\displaystyle h^{t}=(o^{1},\dots ,o^{t})}$ ${\displaystyle P(S^{t+1}\mid h^{t+1})}$${\displaystyle P(S^{t+1}\mid h^{t})=\mathbb {E} [P(S^{t+1}\mid S^{t})\mid h^{t}]}$${\displaystyle P(S^{t+1}\mid h^{t},o^{t+1})\propto P(o^{t+1}\mid S^{t+1})P(S^{t+1}\mid h^{t})}$

${\displaystyle \mu _{S^{t+1}\mid h^{t+1}}={\mathcal {C}}_{S^{t+1}O^{t+1}}^{\pi }\left({\mathcal {C}}_{O^{t+1}O^{t+1}}^{\pi }\right)^{-1}\varphi (o^{t+1})}$

calculando las incrustaciones del paso de predicción mediante la regla de suma de kernel y la incrustación del paso de condicionamiento mediante la regla de Bayes de kernel. Suponiendo que se proporciona una muestra de entrenamiento, en la práctica se puede estimar ${\displaystyle ({\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T},{\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T})}$

${\displaystyle {\widehat {\mu }}_{S^{t+1}\mid h^{t+1}}=\sum _{i=1}^{T}\alpha _{i}^{t}\varphi ({\widetilde {s}}^{t})}$

y el filtrado con incrustaciones de kernel se implementa de forma recursiva utilizando las siguientes actualizaciones para los pesos ^[2]${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\dots ,\alpha _{T})}$

${\displaystyle \mathbf {D} ^{t+1}=\operatorname {diag} \left((G+\lambda \mathbf {I} )^{-1}{\widetilde {G}}{\boldsymbol {\alpha }}^{t}\right)}$

${\displaystyle {\boldsymbol {\alpha }}^{t+1}=\mathbf {D} ^{t+1}\mathbf {K} \left((\mathbf {D} ^{t+1}K)^{2}+{\widetilde {\lambda }}\mathbf {I} \right)^{-1}\mathbf {D} ^{t+1}\mathbf {K} _{o^{t+1}}}$

donde denotan las matrices de Gram de y respectivamente, es una matriz de Gram de transferencia definida como y${\displaystyle \mathbf {G} ,\mathbf {K} }$${\displaystyle {\widetilde {s}}^{1},\dots ,{\widetilde {s}}^{T}}$${\displaystyle {\widetilde {o}}^{1},\dots ,{\widetilde {o}}^{T}}$${\displaystyle {\widetilde {\mathbf {G} }}}$${\displaystyle {\widetilde {\mathbf {G} }}_{ij}=k({\widetilde {s}}_{i},{\widetilde {s}}_{j+1}),}$${\displaystyle \mathbf {K} _{o^{t+1}}=(k({\widetilde {o}}^{1},o^{t+1}),\dots ,k({\widetilde {o}}^{T},o^{t+1}))^{T}.}$

La máquina de medida de soporte (SMM) es una generalización de la máquina de vectores de soporte (SVM) en la que los ejemplos de entrenamiento son distribuciones de probabilidad emparejadas con etiquetas . ^{[22] Las SMM resuelven el} problema de optimización dual estándar de SVM utilizando el siguiente núcleo esperado${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n},\ y_{i}\in \{+1,-1\}}$

${\displaystyle K\left(P(X),Q(Z)\right)=\langle \mu _{X},\mu _{Z}\rangle _{\mathcal {H}}=\mathbb {E} [k(x,z)]}$

que se puede calcular en forma cerrada para muchas distribuciones específicas comunes (como la distribución gaussiana) combinadas con núcleos de incrustación populares (por ejemplo, el núcleo gaussiano o el núcleo polinomial), o se puede estimar empíricamente con precisión a partir de muestras iid mediante ${\displaystyle P_{i}}$${\displaystyle k}$${\displaystyle \{x_{i}\}_{i=1}^{n}\sim P(X),\{z_{j}\}_{j=1}^{m}\sim Q(Z)}$

${\displaystyle {\widehat {K}}(X,Z)={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}k(x_{i},z_{j})}$

Bajo ciertas elecciones del núcleo de incrustación , el SMM aplicado a los ejemplos de entrenamiento es equivalente a un SVM entrenado en muestras , y por lo tanto el SMM puede verse como un SVM flexible en el que un núcleo dependiente de datos diferente (especificado por la forma asumida de la distribución ) puede colocarse en cada punto de entrenamiento. ^[22]${\displaystyle k}$${\displaystyle \{P_{i},y_{i}\}_{i=1}^{n}}$${\displaystyle \{x_{i},y_{i}\}_{i=1}^{n}}$${\displaystyle P_{i}}$

El objetivo de la adaptación de dominios es la formulación de algoritmos de aprendizaje que se generalicen bien cuando los datos de entrenamiento y de prueba tienen distribuciones diferentes. Dados ejemplos de entrenamiento y un conjunto de prueba donde se desconocen, se suponen comúnmente tres tipos de diferencias entre la distribución de los ejemplos de entrenamiento y la distribución de prueba : ^{[23] [24]}${\displaystyle \{(x_{i}^{\text{tr}},y_{i}^{\text{tr}})\}_{i=1}^{n}}$${\displaystyle \{(x_{j}^{\text{te}},y_{j}^{\text{te}})\}_{j=1}^{m}}$${\displaystyle y_{j}^{\text{te}}}$${\displaystyle P^{\text{tr}}(X,Y)}$${\displaystyle P^{\text{te}}(X,Y)}$

1. Cambio de covariable en el que la distribución marginal de las covariables cambia entre dominios:${\displaystyle P^{\text{tr}}(X)\neq P^{\text{te}}(X)}$
2. Cambio de objetivo en el que la distribución marginal de los resultados cambia entre dominios:${\displaystyle P^{\text{tr}}(Y)\neq P^{\text{te}}(Y)}$
3. Cambio condicional en el que permanece igual en todos los dominios, pero las distribuciones condicionales difieren: . En general, la presencia de un cambio condicional conduce a un problema mal planteado , y se impone comúnmente el supuesto adicional de que los cambios solo ocurren bajo transformaciones de ubicación - escala (LS) para que el problema sea manejable.${\displaystyle P(Y)}$${\displaystyle P^{\text{tr}}(X\mid Y)\neq P^{\text{te}}(X\mid Y)}$${\displaystyle P(X\mid Y)}$${\displaystyle X}$

Al utilizar la incrustación de kernel de distribuciones marginales y condicionales, se pueden formular enfoques prácticos para tratar la presencia de estos tipos de diferencias entre los dominios de entrenamiento y de prueba. El cambio de covariable se puede explicar reponderando los ejemplos a través de estimaciones de la relación obtenida directamente de las incrustaciones de kernel de las distribuciones marginales de en cada dominio sin necesidad de ninguna estimación explícita de las distribuciones. ^[24] El cambio de objetivo, que no se puede tratar de manera similar ya que no hay muestras de disponibles en el dominio de prueba, se explica ponderando los ejemplos de entrenamiento utilizando el vector que resuelve el siguiente problema de optimización (donde en la práctica, se deben utilizar aproximaciones empíricas) ^[23]${\displaystyle P^{\text{te}}(X)/P^{\text{tr}}(X)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\boldsymbol {\beta }}^{*}(\mathbf {y} ^{\text{tr}})}$

${\displaystyle \min _{{\boldsymbol {\beta }}(y)}\left\|{\mathcal {C}}_{{(X\mid Y)}^{\text{tr}}}\mathbb {E} [{\boldsymbol {\beta }}(y)\varphi (y^{\text{tr}})]-\mu _{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$sujeto a${\displaystyle {\boldsymbol {\beta }}(y)\geq 0,\mathbb {E} [{\boldsymbol {\beta }}(y^{\text{tr}})]=1}$

Para abordar el cambio condicional de escala de ubicación, se puede realizar una transformación LS de los puntos de entrenamiento para obtener nuevos datos de entrenamiento transformados (donde denota el producto vectorial elemento por elemento). Para garantizar distribuciones similares entre las nuevas muestras de entrenamiento transformadas y los datos de prueba, se estiman minimizando la siguiente distancia de incrustación de kernel empírica ^[23]${\displaystyle \mathbf {X} ^{\text{new}}=\mathbf {X} ^{\text{tr}}\odot \mathbf {W} +\mathbf {B} }$${\displaystyle \odot }$${\displaystyle \mathbf {W} ,\mathbf {B} }$

${\displaystyle \left\|{\widehat {\mu }}_{X^{\text{new}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}=\left\|{\widehat {\mathcal {C}}}_{(X\mid Y)^{\text{new}}}{\widehat {\mu }}_{Y^{\text{tr}}}-{\widehat {\mu }}_{X^{\text{te}}}\right\|_{\mathcal {H}}^{2}}$

En general, los métodos de incrustación de kernel para tratar el cambio condicional de LS y el cambio objetivo se pueden combinar para encontrar una transformación reponderada de los datos de entrenamiento que imite la distribución de prueba, y estos métodos pueden funcionar bien incluso en presencia de cambios condicionales distintos de los cambios de escala de ubicación. ^[23]

Dados N conjuntos de ejemplos de entrenamiento muestreados iid de distribuciones , el objetivo de la generalización de dominio es formular algoritmos de aprendizaje que funcionen bien en ejemplos de prueba muestreados de un dominio nunca visto previamente donde no hay datos del dominio de prueba disponibles en el momento del entrenamiento. Si se supone que las distribuciones condicionales son relativamente similares en todos los dominios, entonces un aprendiz capaz de generalizar el dominio debe estimar una relación funcional entre las variables que sea robusta a los cambios en los marginales . Basado en incrustaciones de kernel de estas distribuciones, el Análisis de Componentes Invariantes de Dominio (DICA) es un método que determina la transformación de los datos de entrenamiento que minimiza la diferencia entre distribuciones marginales mientras preserva una distribución condicional común compartida entre todos los dominios de entrenamiento. ^[25] Por lo tanto, DICA extrae invariantes , características que se transfieren a través de dominios, y puede verse como una generalización de muchos métodos populares de reducción de dimensión como el análisis de componentes principales de kernel , el análisis de componentes de transferencia y la regresión inversa del operador de covarianza. ^[25]${\displaystyle P^{(1)}(X,Y),P^{(2)}(X,Y),\ldots ,P^{(N)}(X,Y)}$${\displaystyle P^{*}(X,Y)}$${\displaystyle P(Y\mid X)}$${\displaystyle P(X)}$

Definición de una distribución de probabilidad en el RKHS con ${\displaystyle {\mathcal {P}}}$${\displaystyle {\mathcal {H}}}$

${\displaystyle {\mathcal {P}}\left(\mu _{X^{(i)}Y^{(i)}}\right)={\frac {1}{N}}\qquad {\text{ for }}i=1,\dots ,N,}$

DICA mide la disimilitud entre dominios a través de la varianza distributiva que se calcula como

${\displaystyle V_{\mathcal {H}}({\mathcal {P}})={\frac {1}{N}}\operatorname {tr} (\mathbf {G} )-{\frac {1}{N^{2}}}\sum _{i,j=1}^{N}\mathbf {G} _{ij}}$

dónde

${\displaystyle \mathbf {G} _{ij}=\left\langle \mu _{X^{(i)}},\mu _{X^{(j)}}\right\rangle _{\mathcal {H}}}$

Por lo tanto, es una matriz de Gram sobre las distribuciones de las que se toman muestras de los datos de entrenamiento. Al encontrar una transformación ortogonal en un subespacio de baja dimensión B (en el espacio de características) que minimice la varianza distribucional, DICA garantiza simultáneamente que B se alinee con las bases de un subespacio central C para el cual se vuelve independiente de dado en todos los dominios. En ausencia de valores objetivo , se puede formular una versión no supervisada de DICA que encuentre un subespacio de baja dimensión que minimice la varianza distribucional mientras maximiza simultáneamente la varianza de (en el espacio de características) en todos los dominios (en lugar de preservar un subespacio central). ^[25]${\displaystyle \mathbf {G} }$${\displaystyle N\times N}$ ${\displaystyle Y}$${\displaystyle X}$${\displaystyle C^{T}X}$${\displaystyle Y}$${\displaystyle X}$

En la regresión de distribución, el objetivo es regresar de distribuciones de probabilidad a números reales (o vectores). Muchas tareas estadísticas y de aprendizaje automático importantes encajan en este marco, incluido el aprendizaje de múltiples instancias y los problemas de estimación puntual sin solución analítica (como la estimación de hiperparámetros o de entropía ). En la práctica, solo se pueden observar muestras de distribuciones muestreadas y las estimaciones deben basarse en similitudes calculadas entre conjuntos de puntos . La regresión de distribución se ha aplicado con éxito, por ejemplo, en el aprendizaje de entropía supervisado y la predicción de aerosoles utilizando imágenes satelitales multiespectrales. ^[26]

Dados los datos de entrenamiento, donde la bolsa contiene muestras de una distribución de probabilidad y la etiqueta de salida es , se puede abordar la tarea de regresión de distribución tomando las incrustaciones de las distribuciones y aprendiendo el regresor a partir de las incrustaciones hasta las salidas. En otras palabras, se puede considerar el siguiente problema de regresión de cresta de kernel${\displaystyle {\left(\{X_{i,n}\}_{n=1}^{N_{i}},y_{i}\right)}_{i=1}^{\ell }}$${\displaystyle {\hat {X_{i}}}:=\{X_{i,n}\}_{n=1}^{N_{i}}}$${\displaystyle X_{i}}$${\displaystyle i^{\text{th}}}$${\displaystyle y_{i}\in \mathbb {R} }$${\displaystyle (\lambda >0)}$

${\displaystyle J(f)={\frac {1}{\ell }}\sum _{i=1}^{\ell }\left[f\left(\mu _{\hat {X_{i}}}\right)-y_{i}\right]^{2}+\lambda \|f\|_{{\mathcal {H}}(K)}^{2}\to \min _{f\in {\mathcal {H}}(K)},}$

dónde

${\displaystyle \mu _{{\hat {X}}_{i}}=\int _{\Omega }k(\cdot ,u)\,\mathrm {d} {\hat {X}}_{i}(u)={\frac {1}{N_{i}}}\sum _{n=1}^{N_{i}}k(\cdot ,X_{i,n})}$

con un núcleo en el dominio de -s , es un núcleo en las distribuciones embebidas y es el RKHS determinado por . Los ejemplos de incluyen el núcleo lineal , el núcleo gaussiano , el núcleo exponencial , el núcleo de Cauchy , el núcleo t-student generalizado o el núcleo multicuadrático inverso . ${\displaystyle k}$${\displaystyle X_{i}}$${\displaystyle (k:\Omega \times \Omega \to \mathbb {R} )}$${\displaystyle K}$${\displaystyle {\mathcal {H}}(K)}$${\displaystyle K}$${\displaystyle K}$${\displaystyle \left[K(\mu _{P},\mu _{Q})=\langle \mu _{P},\mu _{Q}\rangle _{{\mathcal {H}}(k)}\right]}$${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/(2\sigma ^{2})}\right]}$${\displaystyle \left[K(\mu _{P},\mu _{Q})=e^{-\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}/(2\sigma ^{2})}\right]}$${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}/\sigma ^{2}\right)^{-1}\right]}$${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(1+\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{\sigma }\right)^{-1},(\sigma \leq 2)\right]}$${\displaystyle \left[K(\mu _{P},\mu _{Q})=\left(\left\|\mu _{P}-\mu _{Q}\right\|_{H(k)}^{2}+\sigma ^{2}\right)^{-{\frac {1}{2}}}\right]}$

La predicción de una nueva distribución toma la forma analítica simple ${\displaystyle ({\hat {X}})}$

${\displaystyle {\hat {y}}{\big (}{\hat {X}}{\big )}=\mathbf {k} [\mathbf {G} +\lambda \ell ]^{-1}\mathbf {y} ,}$

donde , , , . Bajo condiciones de regularidad leve, se puede demostrar que este estimador es consistente y puede alcanzar la tasa óptima minimax muestreada en una etapa (como si uno tuviera acceso a la verdadera -s) . ^[26] En la función objetivo , -s son números reales; los resultados también se pueden extender al caso en que -s son vectores -dimensionales, o más generalmente elementos de un espacio de Hilbert separable usando núcleos con valores de operador. ${\displaystyle \mathbf {k} ={\big [}K{\big (}\mu _{{\hat {X}}_{i}},\mu _{\hat {X}}{\big )}{\big ]}\in \mathbb {R} ^{1\times \ell }}$${\displaystyle \mathbf {G} =[G_{ij}]\in \mathbb {R} ^{\ell \times \ell }}$${\displaystyle G_{ij}=K{\big (}\mu _{{\hat {X}}_{i}},\mu _{{\hat {X}}_{j}}{\big )}\in \mathbb {R} }$${\displaystyle \mathbf {y} =[y_{1};\ldots ;y_{\ell }]\in \mathbb {R} ^{\ell }}$${\displaystyle X_{i}}$${\displaystyle J}$${\displaystyle y_{i}}$${\displaystyle y_{i}}$${\displaystyle d}$ ${\displaystyle K}$

En este ejemplo simple, tomado de Song et al., ^[2] se supone que son variables aleatorias discretas que toman valores en el conjunto y se elige el núcleo para que sea la función delta de Kronecker , por lo que . El mapa de características correspondiente a este núcleo es el vector de base estándar . Las incrustaciones del núcleo de tales distribuciones son, por lo tanto, vectores de probabilidades marginales, mientras que las incrustaciones de distribuciones conjuntas en este contexto son matrices que especifican tablas de probabilidad conjunta, y la forma explícita de estas incrustaciones es ${\displaystyle X,Y}$${\displaystyle \{1,\ldots ,K\}}$${\displaystyle k(x,x')=\delta (x,x')}$${\displaystyle \varphi (x)=\mathbf {e} _{x}}$${\displaystyle K\times K}$

${\displaystyle \mu _{X}=\mathbb {E} [\mathbf {e} _{X}]={\begin{pmatrix}P(X=1)\\\vdots \\P(X=K)\\\end{pmatrix}}}$

${\displaystyle {\mathcal {C}}_{XY}=\mathbb {E} [\mathbf {e} _{X}\otimes \mathbf {e} _{Y}]=(P(X=s,Y=t))_{s,t\in \{1,\ldots ,K\}}}$

Cuando , para todos , el operador de incrustación de distribución condicional, ${\displaystyle P(X=s)>0}$${\displaystyle s\in \{1,\ldots ,K\}}$

${\displaystyle {\mathcal {C}}_{Y\mid X}={\mathcal {C}}_{YX}{\mathcal {C}}_{XX}^{-1},}$

¿Es en este contexto una tabla de probabilidad condicional?

${\displaystyle {\mathcal {C}}_{Y\mid X}=(P(Y=s\mid X=t))_{s,t\in \{1,\dots ,K\}}}$

y

${\displaystyle {\mathcal {C}}_{XX}={\begin{pmatrix}P(X=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &P(X=K)\\\end{pmatrix}}}$

Por lo tanto, las incrustaciones de la distribución condicional bajo un valor fijo de pueden calcularse como ${\displaystyle X}$

${\displaystyle \mu _{Y\mid x}={\mathcal {C}}_{Y\mid X}\varphi (x)={\begin{pmatrix}P(Y=1\mid X=x)\\\vdots \\P(Y=K\mid X=x)\\\end{pmatrix}}}$

En esta configuración de valor discreto con el kernel delta de Kronecker, la regla de suma del kernel se convierte en

${\displaystyle \underbrace {\begin{pmatrix}P(X=1)\\\vdots \\P(X=N)\\\end{pmatrix}} _{\mu _{X}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)\\\vdots \\\pi (Y=N)\\\end{pmatrix}} _{\mu _{Y}^{\pi }}}$

La regla de la cadena del núcleo en este caso viene dada por

${\displaystyle \underbrace {\begin{pmatrix}\\P(X=s,Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{XY}^{\pi }}=\underbrace {\begin{pmatrix}\\P(X=s\mid Y=t)\\\\\end{pmatrix}} _{{\mathcal {C}}_{X\mid Y}}\underbrace {\begin{pmatrix}\pi (Y=1)&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\pi (Y=K)\\\end{pmatrix}} _{{\mathcal {C}}_{YY}^{\pi }}}$

• Caja de herramientas de estimadores teóricos de información (demostración de regresión de distribución).