Aprendizaje de múltiples núcleos

El aprendizaje de múltiples núcleos se refiere a un conjunto de métodos de aprendizaje automático que utilizan un conjunto predefinido de núcleos y aprenden una combinación lineal o no lineal óptima de núcleos como parte del algoritmo. Las razones para utilizar el aprendizaje de múltiples núcleos incluyen a) la capacidad de seleccionar un núcleo y parámetros óptimos de un conjunto más grande de núcleos, lo que reduce el sesgo debido a la selección de núcleos y al mismo tiempo permite métodos de aprendizaje automático más automatizados, y b) la combinación de datos de diferentes fuentes (por ejemplo, sonido e imágenes de un video) que tienen diferentes nociones de similitud y, por lo tanto, requieren diferentes núcleos. En lugar de crear un nuevo núcleo, se pueden utilizar algoritmos de múltiples núcleos para combinar núcleos ya establecidos para cada fuente de datos individual.

Se han utilizado múltiples enfoques de aprendizaje de kernel en muchas aplicaciones, como el reconocimiento de eventos en video, ^[1] el reconocimiento de objetos en imágenes, ^[2] y la fusión de datos biomédicos. ^[3]

Se han desarrollado algoritmos de aprendizaje de núcleos múltiples para el aprendizaje supervisado, semisupervisado y no supervisado. La mayor parte del trabajo se ha realizado en el caso de aprendizaje supervisado con combinaciones lineales de núcleos, sin embargo, se han desarrollado muchos algoritmos. La idea básica detrás de los algoritmos de aprendizaje de núcleos múltiples es agregar un parámetro adicional al problema de minimización del algoritmo de aprendizaje. Como ejemplo, considere el caso de aprendizaje supervisado de una combinación lineal de un conjunto de núcleos . Introducimos un nuevo núcleo , donde es un vector de coeficientes para cada núcleo. Debido a que los núcleos son aditivos (debido a las propiedades de los espacios de Hilbert de núcleos reproductivos ), esta nueva función sigue siendo un núcleo. Para un conjunto de datos con etiquetas , el problema de minimización puede escribirse como ${\displaystyle n}$${\displaystyle K}$${\displaystyle K'=\sum _{i=1}^{n}\beta _{i}K_{i}}$${\displaystyle \beta }$${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \min _{\beta ,c}\mathrm {E} (Y,K'c)+R(K,c)}$

donde es una función de error y es un término de regularización. es típicamente la función de pérdida cuadrada ( regularización de Tikhonov ) o la función de pérdida de bisagra (para algoritmos SVM ), y es usualmente una norma o alguna combinación de las normas (es decir, regularización de red elástica ). Este problema de optimización puede entonces ser resuelto por métodos de optimización estándar. También se han desarrollado adaptaciones de técnicas existentes tales como la Optimización Mínima Secuencial para métodos basados ​​en SVM de múltiples núcleos. ^[4]${\displaystyle \mathrm {E} }$${\displaystyle R}$${\displaystyle \mathrm {E} }$${\displaystyle R}$${\displaystyle \ell _{n}}$

Para el aprendizaje supervisado, existen muchos otros algoritmos que utilizan métodos diferentes para aprender la forma del núcleo. Gonen y Alpaydın (2011) propusieron la siguiente categorización ^[5].

Los enfoques de reglas fijas, como el algoritmo de combinación lineal descrito anteriormente, utilizan reglas para establecer la combinación de los núcleos. Estos no requieren parametrización y utilizan reglas como la suma y la multiplicación para combinar los núcleos. La ponderación se aprende en el algoritmo. Otros ejemplos de reglas fijas incluyen los núcleos por pares, que tienen la forma

${\displaystyle k((x_{1i},x_{1j}),(x_{2i},x_{2j}))=k(x_{1i},x_{2i})k(x_{1j},x_{2j})+k(x_{1i},x_{2j})k(x_{1j},x_{2i})}$.

Estos enfoques por pares se han utilizado para predecir interacciones proteína-proteína. ^[6]

Estos algoritmos utilizan una función de combinación que está parametrizada. Los parámetros se definen generalmente para cada núcleo individual en función del rendimiento de un solo núcleo o de algún cálculo de la matriz del núcleo. Algunos ejemplos de estos incluyen el núcleo de Tenabe et al. (2008). ^[7] Si se deja que sea la precisión obtenida utilizando solo , y que sea un umbral menor que el mínimo de las precisiones de un solo núcleo, podemos definir ${\displaystyle \pi _{m}}$${\displaystyle K_{m}}$${\displaystyle \delta }$

${\displaystyle \beta _{m}={\frac {\pi _{m}-\delta }{\sum _{h=1}^{n}(\pi _{h}-\delta )}}}$

Otros enfoques utilizan una definición de similitud de kernel, como

${\displaystyle A(K_{1},K_{2})={\frac {\langle K_{1},K_{2}\rangle }{\sqrt {\langle K_{1},K_{1}\rangle \langle K_{2},K_{2}\rangle }}}}$

Utilizando esta medida, Qui y Lane (2009) ^[8] utilizaron la siguiente heurística para definir

${\displaystyle \beta _{m}={\frac {A(K_{m},YY^{T})}{\sum _{h=1}^{n}A(K_{h},YY^{T})}}}$

Estos enfoques resuelven un problema de optimización para determinar parámetros para la función de combinación de núcleos. Esto se ha hecho con medidas de similitud y enfoques de minimización de riesgo estructural. Para medidas de similitud como la definida anteriormente, el problema se puede formular de la siguiente manera: ^[9]

${\displaystyle \max _{\beta ,\operatorname {tr} (K'_{tra})=1,K'\geq 0}A(K'_{tra},YY^{T}).}$

¿Dónde está el núcleo del conjunto de entrenamiento? ${\displaystyle K'_{tra}}$

Los enfoques de minimización de riesgo estructural que se han utilizado incluyen enfoques lineales, como el utilizado por Lanckriet et al. (2002). ^[10] Podemos definir la improbabilidad de un núcleo como el valor de la función objetivo después de resolver un problema de SVM canónico. Luego podemos resolver el siguiente problema de minimización: ${\displaystyle \omega (K)}$

${\displaystyle \min _{\operatorname {tr} (K'_{tra})=c}\omega (K'_{tra})}$

donde es una constante positiva. Existen muchas otras variaciones de la misma idea, con diferentes métodos de refinación y solución del problema, por ejemplo, con pesos no negativos para los núcleos individuales y utilizando combinaciones no lineales de núcleos. ${\displaystyle c}$

Los enfoques bayesianos aplican valores a priori a los parámetros del núcleo y aprenden los valores de los parámetros a partir de los valores a priori y del algoritmo base. Por ejemplo, la función de decisión se puede escribir como

${\displaystyle f(x)=\sum _{i=0}^{n}\alpha _{i}\sum _{m=1}^{p}\eta _{m}K_{m}(x_{i}^{m},x^{m})}$

${\displaystyle \eta }$se puede modelar con una distribución a priori de Dirichlet y con una distribución a priori gaussiana de media cero y una distribución a priori de varianza gamma inversa. Este modelo se optimiza luego utilizando un enfoque probit multinomial personalizado con un muestreador de Gibbs . ${\displaystyle \alpha }$

^[11] Estos métodos se han utilizado con éxito en aplicaciones como el reconocimiento de pliegues de proteínas y problemas de homología de proteínas ^{[12] [13]}

Los métodos de refuerzo añaden nuevos núcleos de forma iterativa hasta que se alcanza un criterio de detención que es una función del rendimiento. Un ejemplo de esto es el modelo MARK desarrollado por Bennett et al. (2002) ^[14].

${\displaystyle f(x)=\sum _{i=1}^{N}\sum _{m=1}^{P}\alpha _{i}^{m}K_{m}(x_{i}^{m},x^{m})+b}$

Los parámetros y se aprenden mediante el descenso de gradiente en función de las coordenadas. De esta manera, cada iteración del algoritmo de descenso identifica la mejor columna de kernel para elegir en cada iteración particular y la agrega al kernel combinado. Luego, el modelo se vuelve a ejecutar para generar los pesos óptimos y . ${\displaystyle \alpha _{i}^{m}}$${\displaystyle b}$${\displaystyle \alpha _{i}}$${\displaystyle b}$

Los enfoques de aprendizaje semisupervisado para el aprendizaje de múltiples núcleos son similares a otras extensiones de los enfoques de aprendizaje supervisado. Se ha desarrollado un procedimiento inductivo que utiliza una pérdida empírica de verosimilitud logarítmica y una regularización LASSO de grupo con consenso de expectativa condicional sobre datos no etiquetados para la categorización de imágenes. Podemos definir el problema de la siguiente manera. Sea los datos etiquetados y sea el conjunto de datos no etiquetados. Luego, podemos escribir la función de decisión de la siguiente manera. ${\displaystyle L={(x_{i},y_{i})}}$${\displaystyle U={x_{i}}}$

${\displaystyle f(x)=\alpha _{0}+\sum _{i=1}^{|L|}\alpha _{i}K_{i}(x)}$

El problema se puede escribir como

${\displaystyle \min _{f}L(f)+\lambda R(f)+\gamma \Theta (f)}$

donde es la función de pérdida (log-verosimilitud negativa ponderada en este caso), es el parámetro de regularización ( LASSO de grupo en este caso) y es la penalización de consenso de expectativa condicional (CEC) en datos no etiquetados. La penalización de CEC se define de la siguiente manera. Sea la densidad de kernel marginal para todos los datos ${\displaystyle L}$${\displaystyle R}$${\displaystyle \Theta }$

${\displaystyle g_{m}^{\pi }(x)=\langle \phi _{m}^{\pi },\psi _{m}(x)\rangle }$

donde (la distancia del núcleo entre los datos etiquetados y todos los datos etiquetados y no etiquetados) y es un vector aleatorio no negativo con una norma 2 de 1. El valor de es la cantidad de veces que se proyecta cada núcleo. Luego, se realiza la regularización de expectativas en el MKD, lo que da como resultado una expectativa de referencia y una expectativa de modelo . Luego, definimos ${\displaystyle \psi _{m}(x)=[K_{m}(x_{1},x),\ldots ,K_{m}(x_{L},x)]^{T}}$${\displaystyle \phi _{m}^{\pi }}$${\displaystyle \Pi }$${\displaystyle q_{m}^{pi}(y|g_{m}^{\pi }(x))}$${\displaystyle p_{m}^{\pi }(f(x)|g_{m}^{\pi }(x))}$

${\displaystyle \Theta ={\frac {1}{\Pi }}\sum _{\pi =1}^{\Pi }\sum _{m=1}^{M}D(q_{m}^{pi}(y|g_{m}^{\pi }(x))||p_{m}^{\pi }(f(x)|g_{m}^{\pi }(x)))}$

donde es la divergencia de Kullback-Leibler . El problema de minimización combinado se optimiza utilizando un algoritmo de descenso de gradiente de bloques modificado. Para obtener más información, consulte Wang et al. ^[15]${\displaystyle D(Q||P)=\sum _{i}Q(i)\ln {\frac {Q(i)}{P(i)}}}$

Zhuang et al. también han propuesto algoritmos de aprendizaje de múltiples núcleos no supervisados . El problema se define de la siguiente manera. Sea un conjunto de datos sin etiquetar. La definición del núcleo es el núcleo lineal combinado . En este problema, los datos deben "agruparse" en grupos según las distancias del núcleo. Sea un grupo o clúster del cual es un miembro. Definimos la función de pérdida como . Además, minimizamos la distorsión minimizando . Finalmente, agregamos un término de regularización para evitar el sobreajuste. Combinando estos términos, podemos escribir el problema de minimización de la siguiente manera. ${\displaystyle U={x_{i}}}$${\displaystyle K'=\sum _{i=1}^{M}\beta _{i}K_{m}}$${\displaystyle B_{i}}$${\displaystyle x_{i}}$${\displaystyle \sum _{i=1}^{n}\left\Vert x_{i}-\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})x_{j}\right\Vert ^{2}}$${\displaystyle \sum _{i=1}^{n}\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})\left\Vert x_{i}-x_{j}\right\Vert ^{2}}$

${\displaystyle \min _{\beta ,B}\sum _{i=1}^{n}\left\Vert x_{i}-\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})x_{j}\right\Vert ^{2}+\gamma _{1}\sum _{i=1}^{n}\sum _{x_{j}\in B_{i}}K(x_{i},x_{j})\left\Vert x_{i}-x_{j}\right\Vert ^{2}+\gamma _{2}\sum _{i}|B_{i}|}$

donde . Una formulación de esto se define de la siguiente manera. Sea una matriz tal que significa que y son vecinos. Entonces, . Nótese que estos grupos también deben aprenderse. Zhuang et al. resuelven este problema mediante un método de minimización alternada para y los grupos . Para obtener más información, consulte Zhuang et al. ^[16]${\displaystyle D\in {0,1}^{n\times n}}$${\displaystyle D_{ij}=1}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle B_{i}={x_{j}:D_{ij}=1}}$${\displaystyle K}$${\displaystyle B_{i}}$

Las bibliotecas MKL disponibles incluyen

• SPG-GMKL: una biblioteca SVM MKL C++ escalable que puede manejar un millón de núcleos. ^[17]
• GMKL: Código de aprendizaje de núcleo múltiple generalizado en MATLAB , funciones y regularización para el aprendizaje supervisado. ^[18]${\displaystyle \ell _{1}}$${\displaystyle \ell _{2}}$
• (Otro) GMKL: Un código MKL de MATLAB diferente que también puede realizar regularización de red elástica ^[19]
• SMO-MKL: código fuente en C++ para un algoritmo MKL de optimización mínima secuencial. Realiza regularización -n orm. ^[20]${\displaystyle p}$
• SimpleMKL: un código MATLAB basado en el algoritmo SimpleMKL para MKL SVM. ^[21]
• MKLPy: un marco Python para máquinas MKL y kernel compatible con scikit con diferentes algoritmos, por ejemplo, EasyMKL ^[22] y otros.