Aprendizaje del currículo

El aprendizaje curricular es una técnica de aprendizaje automático en la que un modelo se entrena con ejemplos de dificultad creciente, donde la definición de "dificultad" puede proporcionarse externamente o descubrirse como parte del proceso de entrenamiento. Esto tiene como objetivo lograr un buen rendimiento más rápidamente o converger a un óptimo local mejor si no se encuentra el óptimo global . ^{[ 1 ] [ 2 ]}

En términos generales, el aprendizaje curricular es una técnica en la que la dificultad de los ejemplos del conjunto de entrenamiento presentados a un modelo aumenta gradualmente a lo largo de múltiples iteraciones de entrenamiento. Esto puede producir mejores resultados que exponer el modelo al conjunto de entrenamiento completo de inmediato en ciertas circunstancias; por lo general, cuando el modelo puede aprender principios generales a partir de ejemplos más sencillos y luego incorporar gradualmente información más compleja y matizada a medida que se introducen ejemplos más difíciles, como casos límite o negativos difíciles . Se ha demostrado que esto funciona en muchos dominios, probablemente como una forma de regularización . ^{[ 3 ]}

Existen varias variaciones importantes en la forma en que se aplica la técnica:

• Es necesario definir el concepto de "dificultad". Este puede provenir de la anotación humana ^{[ 4 ] [ 5 ]} o de una heurística externa ; por ejemplo, en el modelado del lenguaje , las oraciones más cortas podrían clasificarse como más fáciles que las más largas. ^{[ 6 ]} Otro enfoque consiste en utilizar el rendimiento de otro modelo, clasificando como más fáciles los ejemplos predichos con precisión por dicho modelo (lo que establece una conexión con el boosting ).
• La dificultad puede incrementarse progresivamente ^{[ 7 ]} o en épocas distintas ^{[ 8 ]} , y según un cronograma determinista o una distribución de probabilidad . Esto también puede verse moderado por la necesidad de diversidad en cada etapa, en los casos en que los ejemplos más fáciles tiendan a ser desproporcionadamente similares entre sí ^{[ 9 ] .}
• Las aplicaciones también deben definir el cronograma para aumentar la dificultad. Los enfoques sencillos pueden usar un cronograma fijo, como entrenar con ejemplos fáciles durante la mitad de las iteraciones disponibles y luego con todos los ejemplos durante la segunda mitad. ^{[ 3 ]} Otros enfoques utilizan el aprendizaje a ritmo propio para aumentar la dificultad en proporción al rendimiento del modelo en el conjunto actual. ^{[ 10 ]}

Dado que el aprendizaje curricular solo concierne a la selección y ordenación de los datos de entrenamiento, puede combinarse con muchas otras técnicas de aprendizaje automático. El éxito del método presupone que un modelo entrenado para una versión más sencilla del problema puede generalizar a versiones más complejas, por lo que puede considerarse una forma de aprendizaje por transferencia . Algunos autores también consideran que el aprendizaje curricular incluye otras formas de complejidad progresivamente creciente, como el aumento del número de parámetros del modelo. ^{[ 11 ]} Se combina frecuentemente con el aprendizaje por refuerzo , como aprender primero una versión simplificada de un juego. ^{[ 12 ]}

Algunos dominios han demostrado éxito con el aprendizaje anticurricular : entrenar primero con los ejemplos más difíciles. Un ejemplo es el método ACCAN para el reconocimiento de voz , que entrena primero con los ejemplos con la menor relación señal-ruido . ^{[ 13 ]}

El término "aprendizaje curricular" fue introducido por Yoshua Bengio et al. en 2009, ^{[ 14 ]} en referencia a la técnica psicológica de modelado en animales y la educación estructurada para humanos: comenzar con los conceptos más simples y luego construir sobre ellos. Los autores también señalan que la aplicación de esta técnica en el aprendizaje automático tiene sus raíces en el estudio inicial de redes neuronales como el artículo de Jeffrey Elman de 1993, Aprendizaje y desarrollo en redes neuronales: la importancia de empezar con lo pequeño . ^{[ 15 ]} Bengio et al. mostraron buenos resultados para problemas en clasificación de imágenes , como la identificación de formas geométricas con formas progresivamente más complejas, y modelado del lenguaje , como el entrenamiento con un vocabulario que se expande gradualmente . Concluyen que, para las estrategias curriculares, "su efecto beneficioso es más pronunciado en el conjunto de prueba", lo que sugiere una buena generalización.

Desde entonces, la técnica se ha aplicado a muchos otros ámbitos:

• Procesamiento del lenguaje natural :
  • Etiquetado de partes de la oración ^{[ 16 ]}
  • Detección de intenciones ^{[ 17 ]}
  • Análisis de sentimientos ^{[ 18 ]}
  • Traducción automática ^{[ 19 ] [ 20 ]}
  • Reconocimiento de voz ^{[ 21 ]}
  • Preentrenamiento del modelo de lenguaje ^{[ 22 ]}
• Reconocimiento de imágenes :
  • Reconocimiento facial ^{[ 23 ]}
  • Detección de objetos ^{[ 24 ]}
• Aprendizaje por refuerzo :
  • Juego ^{[ 25 ]}
• Aprendizaje de grafos ^{[ 26 ] [ 27 ]}
• Factorización matricial ^{[ 28 ]}

• Aprendizaje curricular: una encuesta
• Una encuesta sobre el aprendizaje del currículo
• Aprendizaje curricular para dominios de aprendizaje por refuerzo: un marco y una encuesta.
• Aprendizaje curricular en IEEE Xplore