Autómata de aprendizaje

Un autómata de aprendizaje es un tipo de algoritmo de aprendizaje automático que se estudia desde la década de 1970. Los autómatas de aprendizaje seleccionan su acción actual basándose en experiencias pasadas del entorno. Se enmarca dentro del aprendizaje por refuerzo si el entorno es estocástico y se utiliza un proceso de decisión de Markov (MDP).

La investigación sobre autómatas de aprendizaje se remonta a la obra de Michael Lvovitch Tsetlin a principios de la década de 1960 en la Unión Soviética. Junto con algunos colegas, publicó una colección de artículos sobre cómo utilizar matrices para describir las funciones de los autómatas. Además, Tsetlin trabajó en el comportamiento razonable y colectivo de los autómatas , así como en juegos de autómatas . Los autómatas de aprendizaje también fueron objeto de investigación en Estados Unidos durante la década de 1960. Sin embargo, el término «autómata de aprendizaje» no se utilizó hasta que Narendra y Thathachar lo introdujeron en un artículo de revisión en 1974.

Un autómata de aprendizaje es una unidad de toma de decisiones adaptativa ubicada en un entorno aleatorio que aprende la acción óptima mediante interacciones repetidas con dicho entorno. Las acciones se eligen según una distribución de probabilidad específica que se actualiza en función de la respuesta del entorno que el autómata obtiene al realizar una acción determinada.

En el campo del aprendizaje por refuerzo , los autómatas de aprendizaje se caracterizan como iteradores de políticas . A diferencia de otros sistemas de aprendizaje por refuerzo, los iteradores de políticas manipulan directamente la política π. Otro ejemplo de iteradores de políticas son los algoritmos evolutivos .

Formalmente, Narendra y Thathachar definen un autómata estocástico como compuesto por:

• un conjunto X de posibles entradas,
• un conjunto Φ = { Φ ₁ , ..., Φ _s } de posibles estados internos,
• un conjunto α = { α ₁ , ..., α _r } de posibles salidas o acciones, con r ≤ s ,
• un vector de probabilidad de estado inicial p(0) = ≪ p ₁ (0), ..., p _s (0) ≫,
• una función computable A que después de cada paso de tiempo t genera p ( t +1) a partir de p ( t ), la entrada actual y el estado actual, y
• una función G : Φ → α que genera la salida en cada paso de tiempo.

En su artículo, investigan únicamente autómatas estocásticos con r = s y G siendo biyectivo , lo que les permite confundir acciones y estados. Los estados de dicho autómata corresponden a los estados de un " proceso de Markov de estado discreto y parámetro discreto ". ^{[ 1 ]} En cada paso de tiempo t =0,1,2,3,..., el autómata lee una entrada de su entorno, actualiza p ( t ) a p ( t +1) por A , elige aleatoriamente un estado sucesor de acuerdo con las probabilidades p ( t +1) y produce la acción correspondiente. El entorno del autómata, a su vez, lee la acción y envía la siguiente entrada al autómata. Con frecuencia, se utiliza el conjunto de entrada X = { 0,1 }, donde 0 y 1 corresponden a una respuesta sin penalización y con penalización del entorno, respectivamente; En este caso, el autómata debe aprender a minimizar el número de respuestas de penalización , y el bucle de retroalimentación entre el autómata y el entorno se denomina "modelo P". De forma más general, un "modelo Q" permite un conjunto de entrada finito arbitrario ^X , y un "modelo S" utiliza el intervalo [0,1] de números reales como X. [ ^{2 ]}

Una demostración visualizada ^{[ 3 ] [ 4 ]} / Obra de arte de un solo autómata de aprendizaje fue desarrollada por el Grupo de Investigación μSystems (microSystems) en la Universidad de Newcastle.

Los autómatas de aprendizaje de conjunto de acciones finito (FALA) son una clase de autómatas de aprendizaje para los cuales el número de acciones posibles es finito o, en términos más matemáticos, para los cuales el tamaño del conjunto de acciones es finito. ^{[ 5 ]}

• Aprendizaje por refuerzo
• teoría de juegos
• teoría de autómatas

• Philip Aranzulla y John Mellor ( página de inicio ):
  • Mellor J y Aranzulla P (2000): "Uso de un entorno de respuesta de modelo S con esquemas de enrutamiento basados ​​en autómatas de aprendizaje para redes IP", Actas del octavo taller IFIP sobre modelado y evaluación del rendimiento de redes ATM e IP, págs. 56/1-56/12, Ilkley, Reino Unido.
  • Aranzulla P y Mellor J (1997): "Comparación de dos algoritmos de enrutamiento que requieren señalización reducida cuando se aplican a redes ATM", Actas del Decimocuarto Simposio Británico de Teletraffic sobre Ingeniería de Rendimiento en Sistemas de Información, págs. 20/1-20/4, UMIST, Manchester, Reino Unido.
• Narendra K.; Thathachar MAL (julio de 1974). "Autómatas de aprendizaje: una revisión" (PDF) . IEEE Transactions on Systems, Man, and Cybernetics . SMC-4 (4): 323–334 . CiteSeerX 10.1.1.295.2280 . doi : 10.1109/tsmc.1974.5408453 . 
• Tsetlin ML. Teoría de la automatización y modelado de sistemas biológicos. Academic Press; 1973.