Hispanopedia Wiki
Articulo de referencia

Metaaprendizaje (informática)

El metaaprendizaje [ 1 ] [ 2 ] es un subcampo del aprendizaje automático donde se aplican algoritmos de aprendizaje automático a metadatos sobre experimentos de aprendizaje auto...

Hispanopedia WikiContenido en espanolLectura gratuita

El metaaprendizaje [ 1 ] [ 2 ] es un subcampo del aprendizaje automático donde se aplican algoritmos de aprendizaje automático a metadatos sobre experimentos de aprendizaje automático. Hasta 2017, el término no había encontrado una interpretación estándar; sin embargo, el objetivo principal es utilizar dichos metadatos para comprender cómo el aprendizaje automático puede volverse flexible para resolver problemas de aprendizaje, y así mejorar el rendimiento de los algoritmos de aprendizaje existentes o aprender (inducir) el propio algoritmo de aprendizaje; de ​​ahí el término alternativo «aprender a aprender» . [ 1 ]

La flexibilidad es importante porque cada algoritmo de aprendizaje se basa en un conjunto de supuestos sobre los datos, su sesgo inductivo . [ 3 ] Esto significa que solo aprenderá bien si el sesgo coincide con el problema de aprendizaje. Un algoritmo de aprendizaje puede tener un rendimiento excelente en un dominio, pero no en otro. Esto impone fuertes restricciones al uso de técnicas de aprendizaje automático o minería de datos , ya que la relación entre el problema de aprendizaje (a menudo algún tipo de base de datos ) y la eficacia de los diferentes algoritmos de aprendizaje aún no se comprende.

Al utilizar diferentes tipos de metadatos, como propiedades del problema de aprendizaje, propiedades del algoritmo (como medidas de rendimiento) o patrones derivados previamente de los datos, es posible aprender, seleccionar, alterar o combinar diferentes algoritmos de aprendizaje para resolver eficazmente un problema de aprendizaje dado. Las críticas a los enfoques de metaaprendizaje guardan un fuerte parecido con la crítica a la metaheurística , un problema posiblemente relacionado. Una buena analogía con el metaaprendizaje, y la inspiración para el trabajo inicial de Jürgen Schmidhuber (1987) [ 1 ] y el trabajo de Yoshua Bengio et al. (1991), [ 4 ] considera que la evolución genética aprende el procedimiento de aprendizaje codificado en los genes y ejecutado en el cerebro de cada individuo. En un sistema de metaaprendizaje jerárquico abierto [ 1 ] que utiliza programación genética , se pueden aprender mejores métodos evolutivos mediante metaevolución, que a su vez puede mejorarse mediante meta metaevolución, etc. [ 1 ]

Definición

Una definición propuesta [ 5 ] para un sistema de metaaprendizaje combina tres requisitos:

  • El sistema debe incluir un subsistema de aprendizaje.
  • La experiencia se obtiene explotando el metaconocimiento extraído.
    • en un episodio de aprendizaje anterior sobre un único conjunto de datos, o
    • de diferentes dominios.
  • El sesgo de aprendizaje debe elegirse de forma dinámica.

El sesgo se refiere a las suposiciones que influyen en la elección de hipótesis explicativas [ 6 ] y no a la noción de sesgo representada en el dilema sesgo-varianza . El metaaprendizaje se ocupa de dos aspectos del sesgo de aprendizaje.

  • El sesgo declarativo especifica la representación del espacio de hipótesis y afecta el tamaño del espacio de búsqueda (por ejemplo, representar las hipótesis utilizando solo funciones lineales).
  • El sesgo procedimental impone restricciones en el orden de las hipótesis inductivas (por ejemplo, prefiriendo las hipótesis más pequeñas). [ 7 ]

Enfoques comunes

Existen tres enfoques comunes: [ 8 ]

  1. utilizando redes (cíclicas) con memoria externa o interna (basadas en modelos)
  2. Aprendizaje de métricas de distancia efectivas (basadas en métricas)
  3. Optimización explícita de los parámetros del modelo para un aprendizaje rápido (basado en la optimización).

Basado en modelos

Los modelos de metaaprendizaje basados ​​en modelos actualizan sus parámetros rápidamente con pocos pasos de entrenamiento, lo que puede lograrse mediante su arquitectura interna o ser controlado por otro modelo de metaaprendizaje. [ 8 ]

Redes neuronales con memoria aumentada

Se afirma que una red neuronal con memoria aumentada , o MANN por sus siglas en inglés, es capaz de codificar información nueva rápidamente y, por lo tanto, de adaptarse a nuevas tareas después de solo unos pocos ejemplos. [ 9 ]

Meta Redes

Meta Networks (MetaNet) aprende un conocimiento de nivel meta en todas las tareas y cambia sus sesgos inductivos a través de una parametrización rápida para una generalización rápida. [ 10 ]

Basado en el sistema métrico

La idea central del metaaprendizaje basado en métricas es similar a la de los algoritmos de vecinos más cercanos , donde el peso se genera mediante una función kernel. Su objetivo es aprender una métrica o función de distancia entre objetos. La noción de una buena métrica depende del problema. Debe representar la relación entre las entradas en el espacio de la tarea y facilitar la resolución del problema. [ 8 ]

Red neuronal convolucional siamesa

La red neuronal siamesa se compone de dos redes gemelas cuya salida se entrena conjuntamente. Existe una función anterior para aprender la relación entre pares de muestras de datos de entrada. Las dos redes son idénticas, compartiendo los mismos pesos y parámetros de red. [ 11 ]

Redes de emparejamiento

Las redes de coincidencia aprenden una red que asigna un pequeño conjunto de soporte etiquetado y un ejemplo sin etiquetar a su etiqueta, obviando la necesidad de un ajuste fino para adaptarse a nuevos tipos de clases. [ 12 ]

Red de relaciones

La red de relaciones (RN) se entrena de extremo a extremo desde cero. Durante el metaaprendizaje, aprende una métrica de distancia profunda para comparar un pequeño número de imágenes dentro de episodios, cada uno de los cuales está diseñado para simular el entorno de pocos disparos. [ 13 ]

Redes prototípicas

Las redes prototípicas aprenden un espacio métrico en el que la clasificación se puede realizar calculando distancias a las representaciones prototípicas de cada clase. En comparación con los enfoques recientes para el aprendizaje con pocos ejemplos, reflejan un sesgo inductivo más simple que resulta beneficioso en este régimen de datos limitados y logran resultados satisfactorios. [ 14 ]

Basado en optimización

Lo que pretenden los algoritmos de metaaprendizaje basados ​​en optimización es ajustar el algoritmo de optimización para que el modelo pueda aprender bien con pocos ejemplos. [ 8 ]

Metaaprendizaje LSTM

El metaaprendizaje basado en LSTM consiste en aprender el algoritmo de optimización exacto utilizado para entrenar otro clasificador de red neuronal de aprendizaje en el régimen de pocos ejemplos. La parametrización le permite aprender actualizaciones de parámetros apropiadas específicamente para el escenario donde se realizará una cantidad fija de actualizaciones, al tiempo que aprende una inicialización general de la red de aprendizaje (clasificador) que permite una rápida convergencia del entrenamiento. [ 15 ]

Discreción temporal

El metaaprendizaje independiente del modelo (MAML) es un algoritmo de optimización bastante general , compatible con cualquier modelo que aprenda mediante descenso de gradiente. [ 16 ]

Reptil

Reptile es un algoritmo de optimización de metaaprendizaje notablemente simple, dado que ambos componentes se basan en la metaoptimización mediante descenso de gradiente y ambos son independientes del modelo. [ 17 ]

Ejemplos

Algunos enfoques que se han considerado ejemplos de metaaprendizaje:

  • Las redes neuronales recurrentes (RNN) son computadoras universales. En 1993, Jürgen Schmidhuber demostró cómo las RNN "autorreferenciales" pueden, en principio, aprender mediante retropropagación para ejecutar su propio algoritmo de cambio de peso, que puede ser bastante diferente de la retropropagación. [ 18 ] En 2001, Sepp Hochreiter , AS Younger y PR Conwell construyeron un metaaprendizaje supervisado exitoso basado en RNN de memoria a corto y largo plazo . Aprendió mediante retropropagación un algoritmo de aprendizaje para funciones cuadráticas que es mucho más rápido que la retropropagación. [ 19 ] [ 2 ] Investigadores de Deepmind (Marcin Andrychowicz et al.) extendieron este enfoque a la optimización en 2017. [ 20 ]
  • En la década de 1990, el aprendizaje por refuerzo meta (Meta RL) se logró en el grupo de investigación de Schmidhuber mediante políticas automodificables escritas en un lenguaje de programación universal que contiene instrucciones especiales para modificar la propia política. Existe un único ensayo de por vida. El objetivo del agente RL es maximizar la recompensa. Aprende a acelerar la obtención de recompensas mejorando continuamente su propio algoritmo de aprendizaje, que forma parte de la política "autorreferencial". [ 21 ] [ 22 ]
  • Un tipo extremo de aprendizaje por refuerzo meta está representado por la máquina de Gödel , una construcción teórica que puede inspeccionar y modificar cualquier parte de su propio software, el cual también contiene un demostrador general de teoremas . Puede lograr una auto-mejora recursiva de manera demostrablemente óptima. [ 23 ] [ 2 ]
  • El metaaprendizaje independiente del modelo (MAML) fue introducido en 2017 por Chelsea Finn et al. [ 16 ] Dada una secuencia de tareas, los parámetros de un modelo dado se entrenan de tal manera que unas pocas iteraciones de descenso de gradiente con pocos datos de entrenamiento de una nueva tarea conducirán a un buen rendimiento de generalización en esa tarea. MAML "entrena el modelo para que sea fácil de ajustar". [ 16 ] MAML se aplicó con éxito a puntos de referencia de clasificación de imágenes con pocos ejemplos y al aprendizaje por refuerzo basado en gradiente de política. [ 16 ]
  • Variational Bayes-Adaptive Deep RL (VariBAD) se introdujo en 2019. [ 24 ] Mientras que MAML se basa en la optimización, VariBAD es un método basado en modelos para el aprendizaje por refuerzo meta y aprovecha un autoencoder variacional para capturar la información de la tarea en una memoria interna, condicionando así su toma de decisiones a la tarea.
  • Al abordar un conjunto de tareas, la mayoría de los enfoques de metaaprendizaje optimizan la puntuación promedio en todas las tareas. Por lo tanto, ciertas tareas pueden sacrificarse en favor de la puntuación promedio, lo cual suele ser inaceptable en aplicaciones del mundo real. Por el contrario, el Aprendizaje por Refuerzo Meta Robusto (RoML) se centra en mejorar las tareas de baja puntuación, aumentando la robustez a la selección de tareas. [ 25 ] RoML funciona como un metaalgoritmo, ya que puede aplicarse sobre otros algoritmos de metaaprendizaje (como MAML y VariBAD) para aumentar su robustez. Es aplicable tanto al metaaprendizaje supervisado como al metaaprendizaje por refuerzo .
  • El descubrimiento de metaconocimiento funciona mediante la inducción de conocimiento (por ejemplo, reglas) que expresa cómo se desempeñará cada método de aprendizaje en diferentes problemas de aprendizaje. Los metadatos se forman a partir de las características de los datos (generales, estadísticas, de teoría de la información, etc.) del problema de aprendizaje y las características del algoritmo de aprendizaje (tipo, configuración de parámetros, métricas de rendimiento, etc.). Otro algoritmo de aprendizaje aprende entonces cómo se relacionan las características de los datos con las del algoritmo. Dado un nuevo problema de aprendizaje, se miden las características de los datos y se predice el rendimiento de diferentes algoritmos de aprendizaje. Por lo tanto, se puede predecir qué algoritmos son los más adecuados para el nuevo problema.
  • La generalización apilada funciona combinando múltiples algoritmos de aprendizaje (diferentes). Los metadatos se forman a partir de las predicciones de dichos algoritmos. Otro algoritmo de aprendizaje aprende de estos metadatos para predecir qué combinaciones de algoritmos ofrecen buenos resultados en general. Ante un nuevo problema de aprendizaje, las predicciones del conjunto de algoritmos seleccionado se combinan (por ejemplo, mediante votación ponderada) para obtener la predicción final. Dado que se considera que cada algoritmo funciona en un subconjunto de problemas, se espera que la combinación sea más flexible y capaz de realizar buenas predicciones.
  • El boosting está relacionado con la generalización apilada, pero utiliza el mismo algoritmo varias veces, asignando diferentes ponderaciones a los ejemplos de los datos de entrenamiento en cada ejecución. Esto genera predicciones distintas, cada una centrada en predecir correctamente un subconjunto de los datos, y la combinación de estas predicciones conduce a mejores resultados (aunque más costosos).
  • La selección dinámica de sesgo funciona modificando el sesgo inductivo de un algoritmo de aprendizaje para adaptarlo al problema planteado. Esto se logra alterando aspectos clave del algoritmo, como la representación de la hipótesis, las fórmulas heurísticas o los parámetros. Existen diversos enfoques.
  • La transferencia inductiva estudia cómo se puede mejorar el proceso de aprendizaje con el tiempo. Los metadatos consisten en conocimiento sobre episodios de aprendizaje previos y se utilizan para desarrollar de manera eficiente una hipótesis efectiva para una nueva tarea. Un enfoque relacionado se denomina aprender a aprender , cuyo objetivo es utilizar el conocimiento adquirido en un dominio para facilitar el aprendizaje en otros dominios.
  • Otros enfoques que utilizan metadatos para mejorar el aprendizaje automático son los sistemas de clasificación de aprendizaje , el razonamiento basado en casos y la satisfacción de restricciones .
  • Se ha iniciado un trabajo teórico inicial para utilizar el Análisis Conductual Aplicado como base para el metaaprendizaje mediado por agentes sobre el desempeño de los aprendices humanos y ajustar el curso de instrucción de un agente artificial. [ 26 ]
  • AutoML como el proyecto "IA construyendo IA" de Google Brain, que según Google superó brevemente los puntos de referencia existentes de ImageNet en 2017. [ 27 ] [ 28 ]

Referencias

  1. 1 2 3 4 5 Schmidhuber, Jürgen (1987). "Principios evolutivos en el aprendizaje autorreferencial, o sobre aprender a aprender: el meta-meta-... gancho" (PDF) . Tesis de diploma, Universidad Técnica de Múnich .
  2. 1 2 3 Schaul, Tom; Schmidhuber, Jürgen (2010). "Metaaprendizaje" . Scholarpedia . 5 (6): 4650. Código bibliográfico : 2010SchpJ...5.4650S . doi : 10.4249/scholarpedia.4650 .
  3. ↑ PE Utgoff (1986). "Cambio de sesgo para el aprendizaje inductivo de conceptos" . En R. Michalski; J. Carbonell; T. Mitchell (eds.). Aprendizaje automático: un enfoque de inteligencia artificial . Morgan Kaufmann. pp. 163–190 . ISBN  978-0-934613-00-2.
  4. ↑ Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Aprender a aprender una regla sináptica (PDF) . IJCNN'91.
  5. ↑ Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metaaprendizaje: una revisión de tendencias y tecnologías" . Artificial Intelligence Review . 44 (1): 117– 130. doi : 10.1007/s10462-013-9406-y . ISSN 0269-2821 . PMC 4459543. PMID 26069389 .   
  6. ^ Brasil, Pavel; Portador, Christophe Giraud; Soares, Carlos; Vilalta, Ricardo (2009). Metaaprendizaje - Springer . Tecnologías cognitivas. doi : 10.1007/978-3-540-73263-1 . ISBN 978-3-540-73262-4.
  7. ↑ Gordon, Diana; Desjardins, Marie (1995). "Evaluación y selección de sesgos en el aprendizaje automático" (PDF) . Aprendizaje automático . 20 ( 1–2 ): 5–22 . doi : 10.1023/A:1022630017346 . Recuperado el 27 de marzo de 2020 .
  8. 1 2 3 4 Weng, Lilian (30 de noviembre de 2018). "Meta-aprendizaje: aprender a aprender rápido" . Blog de OpenAI . Recuperado el 27 de octubre de 2019 .
  9. ↑ Santoro, Adam; Bartunov, Sergey; Wierstra, Daan; Lillicrap, Timothy. "Metaaprendizaje con redes neuronales aumentadas con memoria" (PDF) . Google DeepMind . Consultado el 29 de octubre de 2019 .
  10. ↑ Munkhdalai, Tsendsuren; Yu, Hong (2017). "Meta Networks" . Actas de la investigación en aprendizaje automático . 70 : 2554–2563 . arXiv : 1703.00837 . PMC 6519722. PMID 31106300 .  
  11. ↑ Koch, Gregory; Zemel, Richard; Salakhutdinov, Ruslan (2015). "Redes neuronales siamesas para el reconocimiento de imágenes de una sola toma" (PDF) . Toronto, Ontario, Canadá: Departamento de Ciencias de la Computación, Universidad de Toronto.
  12. ↑ Vinyals, O.; Blundell, C.; Lillicrap, T.; Kavukcuoglu, K.; Wierstra, D. (2016). "Matching networks for one shot learning" (PDF) . Google DeepMind . Recuperado el 3 de noviembre de 2019 .
  13. ↑ Sung, F.; Yang, Y.; Zhang, L.; Xiang, T.; Torr, PHS; Hospedales, TM (2018). "Aprender a comparar: red de relaciones para el aprendizaje con pocos ejemplos" (PDF) .
  14. ↑ Snell, J.; Swersky, K.; Zemel, RS (2017). "Redes prototípicas para el aprendizaje con pocos ejemplos" (PDF) .
  15. ↑ Ravi, Sachin; Larochelle, Hugo (2017). Optimización como modelo para el aprendizaje con pocos ejemplos . ICLR 2017. Recuperado el 3 de noviembre de 2019 .
  16. 1 2 3 4 Finn, Chelsea; Abbeel, Pieter; Levine, Sergey (2017). "Metaaprendizaje independiente del modelo para la adaptación rápida de redes profundas". arXiv : 1703.03400 [ cs.LG ].
  17. ↑ Nichol, Alex; Achiam, Joshua; Schulman, John (2018). "Sobre algoritmos de metaaprendizaje de primer orden". arXiv : 1803.02999 [ cs.LG ].
  18. ↑ Schmidhuber, Jürgen (1993). "Una matriz de ponderación autorreferencial". Actas de ICANN'93, Ámsterdam : 446–451 .
  19. ↑ Hochreiter, Sepp; Younger, AS; Conwell, PR (2001). "Aprender a aprender usando el descenso de gradiente". Actas de ICANN'01 : 87–94 .
  20. ↑ Andrychowicz, Marcin; Denil, Misha; Gomez, Sergio; Hoffmann, Matthew; Pfau, David; Schaul, Tom; Shillingford, Brendan; de Freitas, Nando (2017). "Learning to learn by gradient descent by gradient descent". Proceedings of ICML'17, Sydney, Australia . arXiv : 1606.04474 .
  21. ↑ Schmidhuber, Jürgen (1994). "Sobre aprender a aprender estrategias de aprendizaje" (PDF) . Informe técnico FKI-198-94, Universidad Técnica de Múnich .
  22. ↑ Schmidhuber, Jürgen; Zhao, J.; Wiering, M. (1997). "Cambio del sesgo inductivo con algoritmo de historia de éxito, búsqueda adaptativa de Levin y auto-mejora incremental" . Machine Learning . 28 : 105–130 . doi : 10.1023/a:1007383707642 .
  23. ↑ Schmidhuber, Jürgen (2006). "Máquinas de Gödel: Automejoradores universales óptimos totalmente autorreferenciales" . En B. Goertzel y C. Pennachin, Eds.: Inteligencia general artificial : 199–226 .
  24. ↑ Zintgraf, Luisa; Schulze, Sebastián; Lu, Cong; Feng, Leo; Igl, Maximiliano; Shiarlis, Kyriacos; Gal, Yarin; Hofmann, Katja; Whiteson, Shimón (2021). "VariBAD: RL profundo adaptativo de Bayes variacional mediante metaaprendizaje" . Revista de investigación sobre aprendizaje automático . 22 (289): 1– 39. ISSN 1533-7928 . 
  25. ↑ Greenberg, Ido; Mannor, Shie; Chechik, Gal; Meirom, Eli (15 de diciembre de 2023). "Entrena duro, lucha fácil: aprendizaje por refuerzo meta robusto" . Advances in Neural Information Processing Systems . 36 : 68276–68299 .
  26. ↑ Begoli, Edmon (mayo de 2014). "Arquitectura de razonamiento procedimental para instrucciones basadas en análisis de comportamiento aplicado" . Tesis doctorales . Knoxville, Tennessee, EE. UU.: Universidad de Tennessee, Knoxville: 44–79 . Recuperado el 14 de octubre de 2017 .
  27. ↑ "Los robots ahora 'crean nuevos robots', dice un periodista especializado en tecnología" . NPR.org . 2018. Consultado el 29 de marzo de 2018 .
  28. ↑ "AutoML para la clasificación de imágenes a gran escala y la detección de objetos" . Blog de investigación de Google . Noviembre de 2017. Consultado el 29 de marzo de 2018 .
  • Artículo sobre metaaprendizaje en Scholarpedia.
  • Vilalta, R.; Drissi, Y. (2002). "Una perspectiva y revisión del metaaprendizaje" (PDF) . Artificial Intelligence Review . 18 (2): 77– 95. doi : 10.1023/A:1019956318069 .
  • Giraud-Carrier, C.; Keller, J. (2002). "Meta-aprendizaje". En Meij, J. (ed.). Cómo lidiar con la avalancha de datos . La Haya: STT/Beweton.
  • Brazdil, P.; Giraud-Carrier, C.; Soares, C.; Vilalta, R. (2009). «Metaaprendizaje: conceptos y sistemas». Metaaprendizaje: aplicaciones a la minería de datos . Springer. ISBN 978-3-540-73262-4.
  • Cursos en vídeo sobre metaaprendizaje con explicación paso a paso de MAML , redes prototípicas y redes relacionales .
Lecturas relacionadas
6 articulos
Aprendizaje automáticoAprendizaje automáticoEl aprendizaje automático ( ML ) es un campo de estudio en inteligencia artificial que se ocupa del desarrollo y estudio de algoritmos estadísticos...MetadatosMetadatosLos metadatos (o metainformación ) son « datos que proporcionan información sobre otros datos», [1] pero no el contenido de los datos en sí, como e...Aprendizaje automáticoAprendizaje automáticoEl aprendizaje automático ( ML ) es un campo de estudio en inteligencia artificial que se ocupa del desarrollo y estudio de algoritmos estadísticos...Minería de datosMinería de datosLa minería de datos es el proceso de extracción y descubrimiento de patrones en grandes conjuntos de datos que involucra métodos en la intersección...Base de datosBase de datosUna sentencia de selección SQL y su resultado En informática , una base de datos es una colección organizada de datos o un tipo de almacenamiento d...MetaheurísticaMetaheurísticaEn informática y optimización matemática , una metaheurística es un procedimiento o heurística de nivel superior diseñado para encontrar, generar, ...