máquina de aprendizaje extremo

Las máquinas de aprendizaje extremo son redes neuronales de alimentación directa para clasificación , regresión , agrupamiento , aproximación dispersa , compresión y aprendizaje de características con una o varias capas de nodos ocultos, donde los parámetros de los nodos ocultos (no solo los pesos que conectan las entradas con los nodos ocultos) deben ajustarse. Estos nodos ocultos pueden asignarse aleatoriamente y no actualizarse nunca (es decir, son proyecciones aleatorias pero con transformaciones no lineales), o pueden heredarse de sus ancestros sin modificarse. En la mayoría de los casos, los pesos de salida de los nodos ocultos se aprenden en un solo paso, lo que equivale esencialmente a aprender un modelo lineal.

El nombre "máquina de aprendizaje extremo" (ELM) fue dado a estos modelos por Guang-Bin Huang, quien originalmente propuso redes con cualquier tipo de nodos ocultos continuos por partes no lineales, incluyendo neuronas biológicas y diferentes tipos de funciones base matemáticas. ^{[ 1 ] [ 2 ]} La idea de las redes neuronales artificiales se remonta a Frank Rosenblatt , quien no solo publicó un perceptrón de una sola capa en 1958, ^{[ 3 ]} sino que también introdujo un perceptrón multicapa con 3 capas: una capa de entrada, una capa oculta con pesos aleatorios que no aprendía y una capa de salida de aprendizaje. ^{[ 4 ]}

Según algunos investigadores, estos modelos son capaces de producir un buen rendimiento de generalización y aprenden miles de veces más rápido que las redes entrenadas mediante retropropagación . ^{[ 5 ]} En la literatura, también se muestra que estos modelos pueden superar a las máquinas de vectores de soporte tanto en aplicaciones de clasificación como de regresión. ^{[ 6 ] [ 1 ] [ 7 ]}

Entre 2001 y 2010, la investigación sobre ELM se centró principalmente en el marco de aprendizaje unificado para redes neuronales de alimentación directa de una sola capa oculta "generalizadas" (SLFN), incluyendo, entre otras, redes sigmoideas, redes RBF, redes de umbral, ^{[ 8 ]} redes trigonométricas, sistemas de inferencia difusa, series de Fourier, ^{[ 9 ] [ 10 ]} transformada laplaciana, redes wavelet, ^{[ 11 ]} etc. Un logro significativo alcanzado en esos años fue demostrar con éxito las capacidades de aproximación y clasificación universales de ELM en teoría. ^{[ 9 ] [ 12 ] [ 13 ]}

Entre 2010 y 2015, la investigación sobre ELM se extendió al marco de aprendizaje unificado para el aprendizaje de kernels, SVM y algunos métodos típicos de aprendizaje de características, como el análisis de componentes principales (PCA) y la factorización de matrices no negativas (NMF). Se demuestra que SVM proporciona soluciones subóptimas en comparación con ELM, y que ELM puede proporcionar el mapeo de kernel de caja blanca, implementado mediante el mapeo aleatorio de características de ELM, en lugar del kernel de caja negra utilizado en SVM. PCA y NMF pueden considerarse casos especiales donde se utilizan nodos ocultos lineales en ELM. ^{[ 14 ] [ 15 ]}

Entre 2015 y 2017, se ha puesto mayor énfasis en las implementaciones jerárquicas ^{[ 16 ] [ 17 ]} de ELM. Además, desde 2011, se han realizado estudios biológicos significativos que respaldan ciertas teorías de ELM. ^{[ 18 ] [ 19 ] [ 20 ]}

Desde 2017 en adelante, para superar el problema de baja convergencia durante el entrenamiento , los enfoques basados ​​en la descomposición LU , la descomposición de Hessenberg y la descomposición QR con regularización han comenzado a atraer la atención ^{[ 21 ] [ 22 ] [ 23 ].}

En 2017, el blog de Google Scholar publicó una lista de "Artículos clásicos: Artículos que han resistido el paso del tiempo". ^{[ 24 ]} Entre ellos se encuentran dos artículos escritos sobre ELM que se muestran en los estudios 2 y 7 de la "Lista de 10 artículos clásicos sobre IA de 2006". ^{[ 25 ] [ 26 ] [ 27 ]}

Dado un único nivel oculto de ELM, supongamos que la función de salida del${\displaystyle i}$-th nodo oculto es${\displaystyle h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )}$, dónde${\displaystyle \mathbf {a} _{i}}$y${\displaystyle b_{i}}$son los parámetros de la${\displaystyle i}$-ésimo nodo oculto. La función de salida del ELM para redes de alimentación directa de una sola capa oculta (SLFN) con${\displaystyle L}$Los nodos ocultos son:

${\displaystyle f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})}$, dónde${\displaystyle {\boldsymbol {\beta }}_{i}}$es el peso de salida del${\displaystyle i}$-º nodo oculto.

${\displaystyle \mathbf {h} (\mathbf {x} )=[h_{1}(\mathbf {x} ),...,h_{L}(\mathbf {x} )]}$es el mapeo de salida de la capa oculta de ELM. Dado${\displaystyle N}$muestras de entrenamiento, la matriz de salida de la capa oculta${\displaystyle \mathbf {H} }$El valor de ELM se da como:${\displaystyle {\bf {H}}=\left[{\begin{matrix}{\bf {h}}({\bf {x}}_{1})\\\vdots \\{\bf {h}}({\bf {x}}_{N})\end{matrix}}\right]=\left[{\begin{matrix}G({\bf {a}}_{1},b_{1},{\bf {x}}_{1})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{1})\\\vdots &\vdots &\vdots \\G({\bf {a}}_{1},b_{1},{\bf {x}}_{N})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{N})\end{matrix}}\right]}$

y${\displaystyle \mathbf {T} }$es la matriz objetivo de datos de entrenamiento:${\displaystyle {\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]}$

En términos generales, ELM es un tipo de red neuronal de regularización, pero con asignaciones de capa oculta no ajustadas (formadas por nodos ocultos aleatorios, núcleos u otras implementaciones), y su función objetivo es:

${\displaystyle {\text{Minimize: }}\|{\boldsymbol {\beta }}\|_{p}^{\sigma _{1}}+C\|{\bf {H}}{\boldsymbol {\beta }}-{\bf {T}}\|_{q}^{\sigma _{2}}}$

dónde${\displaystyle \sigma _{1}>0,\sigma _{2}>0,p,q=0,{\frac {1}{2}},1,2,\cdots ,+\infty }$.

Diferentes combinaciones de${\displaystyle \sigma _{1}}$,${\displaystyle \sigma _{2}}$,${\displaystyle p}$y${\displaystyle q}$Se puede utilizar y da como resultado diferentes algoritmos de aprendizaje para regresión, clasificación, codificación dispersa, compresión, aprendizaje de características y agrupamiento.

Como caso especial, un algoritmo de entrenamiento ELM más simple aprende un modelo de la forma (para redes neuronales sigmoide de una sola capa oculta):

${\displaystyle \mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)}$

donde W ₁ es la matriz de pesos de la capa de entrada a la capa oculta,${\displaystyle \sigma }$es una función de activación, y W ₂ es la matriz de pesos de la capa oculta a la capa de salida. El algoritmo procede de la siguiente manera:

1. Rellene W ₁ con valores aleatorios (por ejemplo, ruido aleatorio gaussiano );
2. estimar W ₂ mediante ajuste por mínimos cuadrados a una matriz de variables de respuesta Y , calculada utilizando la pseudoinversa ⋅ ⁺ , dada una matriz de diseño X :

   ${\displaystyle \mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y} }$

En la mayoría de los casos, ELM se utiliza como una red neuronal de alimentación directa de una sola capa oculta (SLFN), incluyendo, entre otras, redes sigmoideas, redes RBF, redes de umbral, redes de inferencia difusa, redes neuronales complejas, redes wavelet, transformada de Fourier, transformada laplaciana, etc. Debido a sus diferentes implementaciones de algoritmos de aprendizaje para regresión, clasificación, codificación dispersa, compresión, aprendizaje de características y agrupamiento, se han utilizado múltiples ELM para formar redes de múltiples capas ocultas, aprendizaje profundo o redes jerárquicas. ^{[ 16 ] [ 17 ] [ 28 ]}

Un nodo oculto en ELM es un elemento computacional que no necesariamente debe considerarse una neurona clásica. Un nodo oculto en ELM puede ser una neurona artificial clásica, una función base o una subred formada por varios nodos ocultos. ^{[ 12 ]}

Tanto la aproximación universal como las capacidades de clasificación ^{[ 6 ] [ 1 ]} han sido demostradas para ELM en la literatura. En particular, Guang-Bin Huang y su equipo dedicaron casi siete años (2001-2008) a las pruebas rigurosas de la capacidad de aproximación universal de ELM. ^{[ 9 ] [ 12 ] [ 13 ]}

Una amplia gama de funciones no lineales continuas por partes${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )}$se puede utilizar en neuronas ocultas de ELM, por ejemplo:

El carácter de caja negra de las redes neuronales en general y de las máquinas de aprendizaje extremo (ELM) en particular es una de las principales preocupaciones que disuade a los ingenieros de su aplicación en tareas de automatización inseguras. Este problema se ha abordado mediante diversas técnicas. Un enfoque consiste en reducir la dependencia de la entrada aleatoria. ^{[ 29 ] [ 30 ]} Otro enfoque se centra en la incorporación de restricciones continuas en el proceso de aprendizaje de las ELM ^{[ 31 ] [ 32 ]} que se derivan del conocimiento previo sobre la tarea específica. Esto es razonable, ya que las soluciones de aprendizaje automático deben garantizar un funcionamiento seguro en muchos dominios de aplicación. Los estudios mencionados revelaron que la forma especial de las ELM, con su separación funcional y los pesos de lectura lineal, es particularmente adecuada para la incorporación eficiente de restricciones continuas en regiones predefinidas del espacio de entrada.

Hay dos quejas principales de la comunidad académica con respecto a este trabajo, la primera es sobre "reinventar e ignorar ideas anteriores", la segunda es sobre "nomenclatura y popularización inapropiadas", como se muestra en algunos debates en 2008 y 2015. ^{[ 33 ]} En particular, se señaló en una carta ^{[ 34 ]} al editor de IEEE Transactions on Neural Networks que la idea de usar una capa oculta conectada a las entradas por pesos aleatorios no entrenados ya se sugirió en los artículos originales sobre redes RBF a finales de la década de 1980; Guang-Bin Huang respondió señalando diferencias sutiles. ^{[ 35 ]} En un artículo de 2015, ^{[ 1 ]} Huang respondió a las quejas sobre su invención del nombre ELM para métodos ya existentes, quejándose de "comentarios muy negativos e inútiles sobre ELM, ni académicos ni profesionales, debido a diversas razones e intenciones" y un "ataque anónimo irresponsable que pretende destruir el entorno de investigación de la armonía", argumentando que su trabajo "proporciona una plataforma de aprendizaje unificadora" para varios tipos de redes neuronales, ^{[ 1 ]} incluyendo ELM estructurado jerárquicamente. ^{[ 28 ]} En 2015, Huang también dio una refutación formal a lo que consideró "malévolo y un ataque". ^{[ 36 ]} Investigaciones recientes reemplazan los pesos aleatorios con pesos aleatorios restringidos. ^{[ 6 ] [ 37 ]}

• Biblioteca de Matlab
• Biblioteca de Python ^{[ 38 ]}

• computación de reservorio
• Proyección aleatoria
• Matriz aleatoria