Métodos de kernel para salida vectorial

Los métodos de kernel son una herramienta consolidada para analizar la relación entre los datos de entrada y la salida correspondiente de una función. Los kernels encapsulan las propiedades de las funciones de forma computacionalmente eficiente y permiten que los algoritmos intercambien fácilmente funciones de complejidad variable.

En los algoritmos típicos de aprendizaje automático , estas funciones producen una salida escalar. El reciente desarrollo de métodos kernel para funciones con salida vectorial se debe, al menos en parte, al interés por resolver simultáneamente problemas relacionados. Los kernels que capturan la relación entre los problemas les permiten aprovechar la información de cada uno. Los algoritmos de este tipo incluyen el aprendizaje multitarea (también llamado aprendizaje de salida múltiple o aprendizaje vectorial), el aprendizaje por transferencia y el co- kriging . La clasificación multietiqueta puede interpretarse como la asignación de entradas a vectores de codificación (binarios) con una longitud igual al número de clases.

En los procesos gaussianos , los núcleos se denominan funciones de covarianza . Las funciones de salida múltiple corresponden a la consideración de múltiples procesos. Consulte la interpretación bayesiana de la regularización para conocer la relación entre ambas perspectivas.

Historia

La historia del aprendizaje de funciones vectoriales está estrechamente ligada al aprendizaje por transferencia : almacenar el conocimiento adquirido al resolver un problema y aplicarlo a un problema diferente pero relacionado. La motivación fundamental para el aprendizaje por transferencia en el campo del aprendizaje automático se discutió en un taller de NIPS-95 sobre "Aprender a aprender", que se centró en la necesidad de métodos de aprendizaje automático a lo largo de la vida que retengan y reutilicen el conocimiento aprendido previamente. La investigación sobre el aprendizaje por transferencia ha atraído mucha atención desde 1995 con diferentes nombres: aprender a aprender, aprendizaje a lo largo de la vida, transferencia de conocimiento, transferencia inductiva, aprendizaje multitarea, consolidación del conocimiento, aprendizaje sensible al contexto, sesgo inductivo basado en el conocimiento , metaaprendizaje y aprendizaje incremental/acumulativo . ^{[ 1 ]} El interés en aprender funciones vectoriales fue impulsado particularmente por el aprendizaje multitarea, un marco que intenta aprender múltiples tareas, posiblemente diferentes, simultáneamente.

Gran parte de la investigación inicial en aprendizaje multitarea en la comunidad de aprendizaje automático fue de naturaleza algorítmica y se aplicó a métodos como redes neuronales, árboles de decisión y $k$ -vecinos más cercanos en la década de 1990. ^{[ 2 ]} El uso de modelos probabilísticos y procesos gaussianos fue pionero y desarrollado en gran medida en el contexto de la geoestadística, donde la predicción sobre datos de salida con valores vectoriales se conoce como cokriging. ^{[ 3 ]}^{[ 4 ]}^{[ 5 ]} Los enfoques geoestadísticos para el modelado multivariado se formulan principalmente en torno al modelo lineal de corregionalización (LMC), un enfoque generativo para desarrollar funciones de covarianza válidas que se ha utilizado para la regresión multivariada y en estadística para la emulación computacional de costosos códigos informáticos multivariados. La literatura sobre regularización y teoría del núcleo para funciones con valores vectoriales surgió en la década de 2000. ^{[ 6 ]}^{[ 7 ]} Si bien las perspectivas bayesiana y de regularización se desarrollaron de forma independiente, de hecho están estrechamente relacionadas. ^{[ 8 ]}

Notación

En este contexto, el problema del aprendizaje supervisado consiste en aprender la función $f$ ¿Cuál predice mejor las salidas con valores vectoriales? $\mathbf {y_ {i}}$ Entradas dadas (datos) $\mathbf {x_ {i}}$ .

f(\mathbf {x_ {i}} )=\mathbf {y_ {i}}

para

i=1,\ldots ,N

\mathbf {x_{i}} \in {\mathcal {X}}

, un espacio de entrada (por ejemplo

{\mathcal {X}}=\mathbb {R} ^{p}

)

\mathbf {y_{i}} \in \mathbb {R} ^{D}

En general, cada componente de ( $\mathbf {y_ {i}}$ ), podrían tener diferentes datos de entrada ( $\mathbf {x_{d,i}}$ ) con diferente cardinalidad ( $p$ ) e incluso diferentes espacios de entrada ( ${\mathcal {X}}$ ). ^{[ 8 ]} La literatura geoestadística denomina a este caso heterotópico y utiliza isotópico para indicar que cada componente del vector de salida tiene el mismo conjunto de entradas. ^{[ 9 ]}

Aquí, para simplificar la notación, asumimos que el número y el espacio muestral de los datos para cada salida son los mismos.

Perspectiva de regularización

Fuentes: ^{[ 8 ]}^{[ 10 ]}^{[ 11 ]}

Desde la perspectiva de la regularización, el problema es aprender $f_{*}$ perteneciente a un espacio de Hilbert de núcleo reproductor de funciones con valores vectoriales ( ${\mathcal {H}}$ ). Esto es similar al caso escalar de la regularización de Tikhonov , con un cuidado adicional en la notación.

$^{\dagger }$ Es posible, aunque no trivial, demostrar que un teorema de representación también se cumple para la regularización de Tikhonov en el contexto vectorial. ^{[ 8 ]}

Nótese que el núcleo con valores matriciales $\mathbf {K}$ También puede definirse mediante un núcleo escalar. $R$ en el espacio ${\mathcal {X}}\times \{1,\ldots ,D\}$ Existe una isometría entre los espacios de Hilbert asociados a estos dos núcleos:

(\mathbf {K} (x,x'))_{d,d'}=R((x,d),(x',d'))

Perspectiva del proceso gaussiano

El estimador del marco de regularización con valores vectoriales también puede derivarse desde un punto de vista bayesiano utilizando métodos de procesos gaussianos en el caso de un espacio de Hilbert con núcleo reproductor de dimensión finita. La derivación es similar a la interpretación bayesiana de la regularización en el caso de valores escalares . La función con valores vectoriales ${\textbf {f}}$ , que consta de $D$ resultados $\left\{f_{d}\right\}_{d=1}^{D}$ Se supone que sigue un proceso gaussiano:

{\textbf {f}}\sim {\mathcal {GP}}({\textbf {m}},{\textbf {K}})

dónde ${\textbf {m}}:{\mathcal {X}}\to {\textbf {R}}^{D}$ ahora es un vector de las funciones medias $\left\{m_{d}({\textbf {x}})\right\}_{d=1}^{D}$ para las salidas y ${\textbf {K}}$ es una función matricial definida positiva con entrada $({\textbf {K}}({\textbf {x}},{\textbf {x}}'))_{d,d'}$ correspondiente a la covarianza entre las salidas $f_{d}({\textbf {x}})$ y $f_{d'}({\textbf {x}}')$ .

Para un conjunto de entradas ${\textbf {X}}$ , la distribución previa sobre el vector ${\textbf {f}}({\textbf {X}})$ es dado por ${\mathcal {N}}({\textbf {m}}({\textbf {X}}),{\textbf {K}}({\textbf {X}},{\textbf {X}}))$ , dónde ${\textbf {m}}({\textbf {X}})$ es un vector que concatena los vectores medios asociados a las salidas y ${\textbf {K}}({\textbf {X}},{\textbf {X}})$ es una matriz particionada en bloques. Se supone que la distribución de las salidas es gaussiana:

p({\textbf {y}}\mid {\textbf {f}},{\textbf {x}},\Sigma )={\mathcal {N}}({\textbf {f}}({\textbf {x}}),\Sigma )

dónde $\Sigma \in {\mathcal {\textbf {R}}}^{D\times D}$ es una matriz diagonal con elementos $\left\{\sigma _{d}^{2}\right\}_{d=1}^{D}$ especificando el ruido para cada salida. Usando esta forma para la verosimilitud, la distribución predictiva para un nuevo vector ${\textbf {x}}_{*}$ es:

p({\textbf {f}}({\textbf {x}}_{*})\mid {\textbf {S}},{\textbf {f}},{\textbf {x}}_{*},\phi )={\mathcal {N}}({\textbf {f}}_{*}({\textbf {x}}_{*}),{\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x}}_{*}))

dónde ${\textbf {S}}$ son los datos de entrenamiento y $\phi$ es un conjunto de hiperparámetros para ${\textbf {K}}({\textbf {x}},{\textbf {x}}')$ y $\Sigma$ .

Ecuaciones para ${\textbf {f}}_{*}$ y ${\textbf {K}}_{*}$ entonces se puede obtener:

{\textbf {f}}_{*}({\textbf {x}}_{*})={\textbf {K}}_{{\textbf {x}}_{*}}^{T}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{-1}{\bar {\textbf {y}}}

{\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x}}_{*})={\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{*})-{\textbf {K}}_{{\textbf {x}}_{*}}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{-1}{\textbf {K}}_{{\textbf {x}}_{*}}^{T}

dónde ${\boldsymbol {\Sigma }}=\Sigma \otimes {\textbf {I}}_{N},{\textbf {K}}_{{\textbf {x}}_{*}}\in {\mathcal {\textbf {R}}}^{D\times ND}$ tiene entradas $({\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{j}))_{d,d'}$ para $j=1,\cdots ,N$ y $d,d'=1,\cdots ,D$ . Tenga en cuenta que el predictor ${\textbf {f}}^{*}$ es idéntico al predictor derivado en el marco de regularización. Para funciones de verosimilitud no gaussianas, se necesitan diferentes métodos, como la aproximación de Laplace y los métodos variacionales, para aproximar los estimadores.

Ejemplos de núcleos

Separable

Una clase simple, pero ampliamente aplicable, de núcleos de múltiples salidas se puede separar en el producto de un núcleo en el espacio de entrada y un núcleo que representa las correlaciones entre las salidas: ^{[ 8 ]}

(\mathbf {K} (\mathbf {x} ,\mathbf {x'} ))_{d,d'}=k(\mathbf {x} ,\mathbf {x'} )k_{T}(d,d')

k

: núcleo escalar en

{\mathcal {X}}\times {\mathcal {X}}

k_{T}

: núcleo escalar en

\{1,\ldots ,D\}\times \{1,\ldots ,D\}

En forma matricial: $\mathbf {K} (\mathbf {x} ,\mathbf {x'} )=k(\mathbf {x} ,\mathbf {x'} )\mathbf {B}$ dónde $\mathbf {B}$ es un $D\times D$ Matriz simétrica y semidefinida positiva. Nota: configuración $\mathbf {B}$ La matriz identidad trata las salidas como no relacionadas y es equivalente a resolver los problemas de salida escalar por separado.

Para una forma un poco más general, la suma de varios de estos núcleos produce una suma de núcleos separables (núcleos SoS).

De la literatura sobre regularización

Fuentes: ^{[ 8 ]}^{[ 10 ]}^{[ 12 ]}^{[ 13 ]}^{[ 14 ]}

Derivado del regularizador

Una forma de obtener $k_{T}$ es especificar un regularizador que limite la complejidad de $f$ de forma deseable, y luego derivar el núcleo correspondiente. Para ciertos regularizadores, este núcleo resultará ser separable.

Regularizador de efectos mixtos

R(\mathbf {f} )=A_{\omega }(C_{\omega }\sum \limits _{l=1}^{D}\|f_{l}\|_{k}^{2}+\omega D\sum \limits _{l=1}^{D}\|f_{l}-{\bar {f}}\|_{k}^{2})

dónde:

$A_{\omega }={\frac {1}{2(1-\omega )(1-\omega +\omega D)}}$
$C_{\omega }=(2-2\omega +\omega D)$
${\bar {f}}={\frac {1}{D}}\sum \limits _{q=1}^{D}f_{q}$
$K_{\omega }(x,x')=k(x,x')(\omega \mathbf {1} +(1-\omega )\mathbf {I} _{D}$

dónde $\mathbf {1} {\text{ is a }}D\times D$ matriz con todas las entradas iguales a 1.

Este regularizador es una combinación de limitar la complejidad de cada componente del estimador ( $f_{l}$ ) y forzando a que cada componente del estimador esté cerca de la media de todos los componentes. Estableciendo $\omega =0$ trata todos los componentes como independientes y es lo mismo que resolver los problemas escalares por separado. Configuración $\omega =1$ presupone que todos los componentes se explican mediante la misma función.

Regularizador basado en clústeres

R(\mathbf {f} )=\varepsilon _{1}\sum _{c=1}^{r}\sum _{l\in I(c)}\|f_{l}-{\bar {f_{c}}}\|_{k}^{2}+\varepsilon _{2}\sum \limits _{c=1}^{r}m_{c}\|{\bar {f_{c}}}\|_{k}^{2}

dónde:

$I(c)$ es el conjunto de índices de componentes que pertenecen al clúster $c$
$m_{c}$ es la cardinalidad del clúster $c$
${\bar {f_{c}}}={\frac {1}{m_{c}}}\sum \limits _{q\in I(c)}f_{q}$
$\mathbf {M} _{l,q}={\frac {1}{m_{c}}}$ si $l$ y $q$ ambos pertenecen al grupo $c$ ( $\mathbf {M} _{l,q}=0$ de lo contrario
$K(x,x')=k(x,x')\mathbf {G} ^{\dagger }$

dónde $\mathbf {G} _{l,q}=\varepsilon _{1}\delta _{lq}+(\varepsilon _{2}-\varepsilon _{1})\mathbf {M} _{l,q}$

Este regularizador divide los componentes en $r$ agrupa y obliga a que los componentes de cada grupo sean similares.

Regularizador de gráficos

R(\mathbf {f} )={\frac {1}{2}}\sum \limits _{l,q=1}^{D}\Vert f_{l}-f_{q}\Vert _{k}^{2}\mathbf {M} _{lq}+\sum \limits _{l=1}^{D}\Vert f_{l}\Vert _{k}^{2}\mathbf {M} _{l,l}

dónde $\mathbf {M} {\text{ is a }}D\times D$ matriz de pesos que codifica las similitudes entre los componentes

K(x,x')=k(x,x')\mathbf {L} ^{\dagger }

dónde $\mathbf {L} =\mathbf {D} -\mathbf {M}$ , $\mathbf {D} _{l,q}=\delta _{l,q}(\sum \limits _{h=1}^{D}\mathbf {M} _{l,h}+\mathbf {M} _{l,q})$

Nota, $\mathbf {L}$ es el laplaciano del grafo . Véase también: núcleo del grafo .

Aprendido a partir de los datos

Diversos enfoques para el aprendizaje $\mathbf {B}$ Se han propuesto métodos a partir de datos. ^{[ 8 ]} Estos incluyen: realizar un paso de inferencia preliminar para estimar $\mathbf {B}$ a partir de los datos de entrenamiento, ^{[ 9 ]} una propuesta para aprender $\mathbf {B}$ y $\mathbf {f}$ juntos basados en el regularizador de clúster, ^{[ 15 ]} y enfoques basados en la escasez que suponen que solo se necesitan unas pocas de las características. ^{[ 16 ]}^{[ 17 ]}

De la literatura bayesiana

Modelo lineal de corregionalización (LMC)

En LMC, las salidas se expresan como combinaciones lineales de funciones aleatorias independientes, de modo que la función de covarianza resultante (sobre todas las entradas y salidas) es una función semidefinida positiva válida. Suponiendo $D$ resultados $\left\{f_{d}({\textbf {x}})\right\}_{d=1}^{D}$ con ${\textbf {x}}\in {\mathcal {\textbf {R}}}^{p}$ , cada $f_{d}$ se expresa como:

f_{d}({\textbf {x}})=\sum _{q=1}^{Q}{a_{d,q}u_{q}({\textbf {x}})}

dónde $a_{d,q}$ son coeficientes escalares y las funciones independientes $u_{q}({\textbf {x}})$ tienen media cero y covarianza cov $[u_{q}({\textbf {x}}),u_{q'}({\textbf {x}}')]=k_{q}({\textbf {x}},{\textbf {x}}')$ si $q=q'$ y 0 en caso contrario. La covarianza cruzada entre dos funciones cualesquiera $f_{d}({\textbf {x}})$ y $f_{d'}({\textbf {x}})$ entonces se puede escribir como:

\operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]=\sum _{q=1}^{Q}{\sum _{i=1}^{R_{q}}{a_{d,q}^{i}a_{d',q}^{i}k_{q}({\textbf {x}},{\textbf {x}}')}}=\sum _{q=1}^{Q}{b_{d,d'}^{q}k_{q}({\textbf {x}},{\textbf {x}}')}

donde las funciones $u_{q}^{i}({\textbf {x}})$ , con $q=1,\cdots ,Q$ y $i=1,\cdots ,R_{q}$ tienen media cero y covarianza cov $[u_{q}^{i}({\textbf {x}}),u_{q'}^{i'}({\textbf {x}})']=k_{q}({\textbf {x}},{\textbf {x}}')$ si $i=i'$ y $q=q'$ . Pero $\operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]$ es dado por $({\textbf {K}}({\textbf {x}},{\textbf {x}}'))_{d,d'}$ . Por lo tanto, el núcleo ${\textbf {K}}({\textbf {x}},{\textbf {x}}')$ ahora se puede expresar como

{\textbf {K}}({\textbf {x}},{\textbf {x}}')=\sum _{q=1}^{Q}{{\textbf {B}}_{q}k_{q}({\textbf {x}},{\textbf {x}}')}

donde cada ${\textbf {B}}_{q}\in {\mathcal {\textbf {R}}}^{D\times D}$ se conoce como matriz de corregionalización. Por lo tanto, el núcleo derivado de LMC es una suma de los productos de dos funciones de covarianza, una que modela la dependencia entre las salidas, independientemente del vector de entrada. ${\textbf {x}}$ (la matriz de corregionalización ${\textbf {B}}_{q}$ ), y uno que modela la dependencia de entrada, independientemente de $\left\{f_{d}({\textbf {x}})\right\}_{d=1}^{D}$ (la función de covarianza $k_{q}({\textbf {x}},{\textbf {x}}')$ ).

Modelo de corregionalización intrínseca (MCI)

El ICM es una versión simplificada del LMC, con $Q=1$ . ICM supone que los elementos $b_{d,d'}^{q}$ de la matriz de corregionalización $\mathbf {B} _{q}$ se puede escribir como $b_{d,d'}^{q}=v_{d,d'}b_{q}$ , para algunos coeficientes adecuados $v_{d,d'}$ . Con este formulario para $b_{d,d'}^{q}$ :

\operatorname {cov} \left[f_{d}(\mathbf {x} ),f_{d'}(\mathbf {x} ')\right]=\sum _{q=1}^{Q}{v_{d,d'}b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}=v_{d,d'}\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}=v_{d,d'}k(\mathbf {x} ,\mathbf {x} ')

dónde

k(\mathbf {x} ,\mathbf {x} ')=\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}.

En este caso, los coeficientes

v_{d,d'}=\sum _{i=1}^{R_{1}}{a_{d,1}^{i}a_{d',1}^{i}}=b_{d,d'}^{1}

y la matriz del núcleo para múltiples salidas se convierte en $\mathbf {K} (\mathbf {x} ,\mathbf {x} ')=k(\mathbf {x} ,\mathbf {x} ')\mathbf {B}$ . ICM es mucho más restrictivo que LMC ya que asume que cada covarianza básica $k_{q}(\mathbf {x} ,\mathbf {x} ')$ Contribuye por igual a la construcción de las autocovarianzas y covarianzas cruzadas para las salidas. Sin embargo, los cálculos necesarios para la inferencia se simplifican enormemente.

modelo de factores latentes semiparamétrico (SLFM)

Otra versión simplificada del LMC es el modelo de factor latente semiparamétrico (SLFM), que corresponde a establecer $R_{q}=1$ (en lugar de $Q=1$ como en ICM). Por lo tanto, cada función latente $u_{q}$ tiene su propia covarianza.

No separable

Si bien es sencilla, la estructura de los núcleos separables puede resultar demasiado limitante para algunos problemas.

Algunos ejemplos notables de núcleos no separables en la literatura sobre regularización incluyen:

Núcleos cuadráticos exponenciados (EQ) con valores matriciales diseñados para estimar campos vectoriales libres de divergencia o libres de rotacional (o una combinación convexa de ambos) ^{[ 8 ]}^{[ 18 ]}
Núcleos definidos por transformaciones ^{[ 8 ]}^{[ 19 ]}

Desde la perspectiva bayesiana , LMC produce un núcleo separable porque las funciones de salida se evalúan en un punto ${\textbf {x}}$ solo dependen de los valores de las funciones latentes en ${\textbf {x}}$ Una forma no trivial de mezclar las funciones latentes es mediante la convolución de un proceso base con un núcleo de suavizado. Si el proceso base es un proceso gaussiano, el proceso convolucionado también lo es. Por lo tanto, podemos aprovechar las convoluciones para construir funciones de covarianza. ^{[ 20 ]} Este método de producir núcleos no separables se conoce como convolución de procesos. Las convoluciones de procesos se introdujeron para múltiples salidas en la comunidad de aprendizaje automático como "procesos gaussianos dependientes". ^{[ 21 ]}

Implementación

Al implementar un algoritmo utilizando cualquiera de los núcleos mencionados anteriormente, deben tenerse en cuenta consideraciones prácticas como el ajuste de los parámetros y la garantía de un tiempo de cálculo razonable.

Perspectiva de regularización

Desde la perspectiva de la regularización, el ajuste de parámetros es similar al caso de valores escalares y generalmente se puede lograr con validación cruzada . Resolver el sistema lineal requerido suele ser costoso en memoria y tiempo. Si el núcleo es separable, una transformación de coordenadas puede convertir $\mathbf {K} (\mathbf {X} ,\mathbf {X} )$ a una matriz diagonal por bloques , reduciendo enormemente la carga computacional al resolver D subproblemas independientes (más la descomposición en valores propios de $\mathbf {B}$ ). En particular, para una función de pérdida de mínimos cuadrados (regularización de Tikhonov), existe una solución de forma cerrada para ${\bar {\mathbf {c} }}$ : ^{[ 8 ]}^{[ 14 ]}

{\bar {\mathbf {c} }}^{d}=\left(k(\mathbf {X} ,\mathbf {X} )+{\frac {\lambda _{N}}{\sigma _{d}}}\mathbf {I} \right)^{-1}{\frac {{\bar {\mathbf {y} }}^{d}}{\sigma _{d}}}

Perspectiva bayesiana

Existen numerosos trabajos relacionados con la estimación de parámetros para procesos gaussianos. Algunos métodos, como la maximización de la verosimilitud marginal (también conocida como aproximación de la evidencia, máxima verosimilitud de tipo II o Bayes empírico) y los mínimos cuadrados, proporcionan estimaciones puntuales del vector de parámetros. $\phi$ También existen trabajos que emplean una inferencia bayesiana completa asignando distribuciones a priori a $\phi$ y calculando la distribución posterior mediante un procedimiento de muestreo. Para funciones de verosimilitud no gaussianas, no existe una solución analítica para la distribución posterior ni para la verosimilitud marginal. Sin embargo, la verosimilitud marginal puede aproximarse mediante los métodos de aproximación de Laplace, Bayes variacional o propagación de expectativas (EP) para la clasificación de múltiples salidas, y utilizarse para obtener estimaciones de los hiperparámetros.

El principal problema computacional desde el punto de vista bayesiano es el mismo que aparece en la teoría de regularización de la inversión de la matriz.

{\overline {\mathbf {K} (\mathbf {X} ,\mathbf {X} )}}=\mathbf {K} (\mathbf {X} ,\mathbf {X} )+{\boldsymbol {\Sigma }}.

Este paso es necesario para calcular la verosimilitud marginal y la distribución predictiva. Para la mayoría de los métodos de aproximación propuestos para reducir el cálculo, la eficiencia computacional obtenida es independiente del método particular empleado (por ejemplo, LMC, convolución de procesos) utilizado para calcular la matriz de covarianza de múltiples salidas. En ^{[ 8 ] se presenta un resumen de diferentes métodos para reducir la complejidad computacional en procesos gaussianos de múltiples salidas.}

Referencias

↑ SJ Pan y Q. Yang, "Una revisión sobre el aprendizaje por transferencia", IEEE Transactions on Knowledge and Data Engineering, 22, 2010
↑ Rich Caruana, "Aprendizaje multitarea", Aprendizaje automático, 41–76, 1997
↑ J. Ver Hoef y R. Barry, " Construcción y ajuste de modelos para cokriging y predicción espacial multivariable "," Journal of Statistical Planning and Inference, 69:275–294, 1998
↑ P. Goovaerts, "Geoestadística para la evaluación de recursos naturales", Oxford University Press, EE. UU., 1997
↑ N. Cressie, "Estadística para datos espaciales", John Wiley & Sons Inc. (Edición revisada), EE. UU., 1993
↑ CA Micchelli y M. Pontil, " Sobre el aprendizaje de funciones con valores vectoriales ", Neural Computation, 17:177–204, 2005
↑ C. Carmeli et al., " Espacios de Hilbert con núcleo reproductor de valores vectoriales de funciones integrables y teorema de Mercer ", Anal. Appl. (Singap.), 4
1 2 3 4 5 6 7 8 9 10 11 Mauricio A. Álvarez, Lorenzo Rosasco y Neil D. Lawrence, «Núcleos para funciones vectoriales: una revisión», Foundations and Trends in Machine Learning 4, n.º 3 (2012): 195–266. doi: 10.1561/2200000036 arXiv:1106.6251
^ Hans Wackernagel. Geoestadística multivariada. Springer-Verlag Heidelberg Nueva York, 2003.
1 2 C.A. Micchelli y M. Pontil. Sobre el aprendizaje de funciones con valores vectoriales. Neural Computation, 17:177–204, 2005.
↑ C. Carmeli, E. DeVito y A. Toigo. Espacios de Hilbert con núcleo reproductor de valores vectoriales de funciones integrables y teorema de Mercer. Anal. Appl. (Singapur), 4(4):377–408, 2006.
↑ CA Micchelli y M. Pontil. Núcleos para el aprendizaje multitarea. En Avances en sistemas de procesamiento de información neuronal (NIPS). MIT Press, 2004.
↑ T. Evgeniou, C.A. Micchelli y M. Pontil. Aprendizaje de múltiples tareas con métodos de kernel . Journal of Machine Learning Research, 6:615–637, 2005.
1 2 L. Baldassarre, L. Rosasco, A. Barla y A. Verri. Aprendizaje de salida múltiple mediante filtrado espectral . Informe técnico, Instituto Tecnológico de Massachusetts, 2011. MIT-CSAIL-TR-2011-004, CBCL-296.
↑ Laurent Jacob, Francis Bach y Jean-Philippe Vert. Aprendizaje multitarea agrupado: una formulación convexa . En NIPS 21, páginas 745–752, 2008.
↑ Andreas Argyriou, Theodoros Evgeniou y Massimiliano Pontil. Aprendizaje de características multitarea convexas. Machine Learning, 73(3):243–272, 2008.
↑ Andreas Argyriou, Andreas Maurer y Massimiliano Pontil. Un algoritmo para el aprendizaje por transferencia en un entorno heterogéneo. En ECML/PKDD (1), páginas 71–85, 2008.
↑ I. Macedo y R. Castro. Aprendizaje de campos vectoriales sin divergencia y sin curvatura con núcleos con valores matriciales. Informe técnico, Instituto Nacional de Matemática Pura e Aplicada, 2008.
↑ A. Caponnetto, CA Micchelli, M. Pontil y Y. Ying. Núcleos universales para el aprendizaje multitarea. Journal of Machine Learning Research, 9:1615–1646, 2008.
↑ D. Higdon, "Modelado del espacio y del espacio-tiempo mediante convoluciones de procesos", Métodos cuantitativos para problemas ambientales actuales, 37–56, 2002
↑ P. Boyle y M. Frean, " Procesos gaussianos dependientes ", Advances in Neural Information Processing Systems, 17:217–224, MIT Press, 2005

[pan-1] SJ Pan y Q. Yang, "Una revisión sobre el aprendizaje por transferencia", IEEE Transactions on Knowledge and Data Engineering, 22, 2010

[caruana-2] Rich Caruana, "Aprendizaje multitarea", Aprendizaje automático, 41–76, 1997

[verhoef-3] J. Ver Hoef y R. Barry, " Construcción y ajuste de modelos para cokriging y predicción espacial multivariable "," Journal of Statistical Planning and Inference, 69:275–294, 1998

[goovaerts-4] P. Goovaerts, "Geoestadística para la evaluación de recursos naturales", Oxford University Press, EE. UU., 1997

[cressie-5] N. Cressie, "Estadística para datos espaciales", John Wiley & Sons Inc. (Edición revisada), EE. UU., 1993

[micchelli-6] CA Micchelli y M. Pontil, " Sobre el aprendizaje de funciones con valores vectoriales ", Neural Computation, 17:177–204, 2005

[carmeli-7] C. Carmeli et al., " Espacios de Hilbert con núcleo reproductor de valores vectoriales de funciones integrables y teorema de Mercer ", Anal. Appl. (Singap.), 4

[review_paper-8] 1 2 3 4 5 6 7 8 9 10 11 Mauricio A. Álvarez, Lorenzo Rosasco y Neil D. Lawrence, «Núcleos para funciones vectoriales: una revisión», Foundations and Trends in Machine Learning 4, n.º 3 (2012): 195–266. doi: 10.1561/2200000036 arXiv:1106.6251

[ref104-9] Hans Wackernagel. Geoestadística multivariada. Springer-Verlag Heidelberg Nueva York, 2003.

[ref65-10] 1 2 C.A. Micchelli y M. Pontil. Sobre el aprendizaje de funciones con valores vectoriales. Neural Computation, 17:177–204, 2005.

[ref19-11] C. Carmeli, E. DeVito y A. Toigo. Espacios de Hilbert con núcleo reproductor de valores vectoriales de funciones integrables y teorema de Mercer. Anal. Appl. (Singapur), 4(4):377–408, 2006.

[ref64-12] CA Micchelli y M. Pontil. Núcleos para el aprendizaje multitarea. En Avances en sistemas de procesamiento de información neuronal (NIPS). MIT Press, 2004.

[ref27-13] T. Evgeniou, C.A. Micchelli y M. Pontil. Aprendizaje de múltiples tareas con métodos de kernel . Journal of Machine Learning Research, 6:615–637, 2005.

[ref7-14] 1 2 L. Baldassarre, L. Rosasco, A. Barla y A. Verri. Aprendizaje de salida múltiple mediante filtrado espectral . Informe técnico, Instituto Tecnológico de Massachusetts, 2011. MIT-CSAIL-TR-2011-004, CBCL-296.

[ref48-15] Laurent Jacob, Francis Bach y Jean-Philippe Vert. Aprendizaje multitarea agrupado: una formulación convexa . En NIPS 21, páginas 745–752, 2008.

[ref4-16] Andreas Argyriou, Theodoros Evgeniou y Massimiliano Pontil. Aprendizaje de características multitarea convexas. Machine Learning, 73(3):243–272, 2008.

[ref5-17] Andreas Argyriou, Andreas Maurer y Massimiliano Pontil. Un algoritmo para el aprendizaje por transferencia en un entorno heterogéneo. En ECML/PKDD (1), páginas 71–85, 2008.

[ref60-18] I. Macedo y R. Castro. Aprendizaje de campos vectoriales sin divergencia y sin curvatura con núcleos con valores matriciales. Informe técnico, Instituto Nacional de Matemática Pura e Aplicada, 2008.

[ref18-19] A. Caponnetto, CA Micchelli, M. Pontil y Y. Ying. Núcleos universales para el aprendizaje multitarea. Journal of Machine Learning Research, 9:1615–1646, 2008.

[higdon-20] D. Higdon, "Modelado del espacio y del espacio-tiempo mediante convoluciones de procesos", Métodos cuantitativos para problemas ambientales actuales, 37–56, 2002

[boyle-21] P. Boyle y M. Frean, " Procesos gaussianos dependientes ", Advances in Neural Information Processing Systems, 17:217–224, MIT Press, 2005

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

Historia

Notación

Perspectiva de regularización

Perspectiva del proceso gaussiano

Ejemplos de núcleos

Separable

De la literatura sobre regularización

Derivado del regularizador

Aprendido a partir de los datos

De la literatura bayesiana

Modelo lineal de corregionalización (LMC)

Modelo de corregionalización intrínseca (MCI)

modelo de factores latentes semiparamétrico (SLFM)

No separable

Implementación

Perspectiva de regularización

Perspectiva bayesiana

Referencias

Articulos relacionados