Problema del coche de montaña

Mountain Car , un dominio de prueba estándar en el aprendizaje por refuerzo , es un problema en el que un automóvil con poca potencia debe subir una pendiente pronunciada. Dado que la gravedad es más fuerte que el motor del automóvil, incluso a toda velocidad, el automóvil no puede simplemente acelerar por la pendiente pronunciada. El automóvil está situado en un valle y debe aprender a aprovechar la energía potencial subiendo la colina opuesta antes de poder llegar a la meta en la cima de la colina más a la derecha. El dominio se ha utilizado como banco de pruebas en varios artículos sobre aprendizaje por refuerzo .

El problema del coche de montaña, aunque es bastante simple, se aplica comúnmente porque requiere que un agente de aprendizaje de refuerzo aprenda sobre dos variables continuas: posición y velocidad. Para cualquier estado dado (posición y velocidad) del coche, el agente tiene la posibilidad de conducir hacia la izquierda, hacia la derecha o no usar el motor en absoluto. En la versión estándar del problema, el agente recibe una recompensa negativa en cada paso de tiempo en el que no se alcanza el objetivo; el agente no tiene información sobre el objetivo hasta que se logra un éxito inicial.

El problema del coche de montaña apareció por primera vez en la tesis doctoral de Andrew Moore (1990). ^[1] Más tarde se definió de forma más estricta en el artículo de aprendizaje de refuerzo de Singh y Sutton con rastros de elegibilidad. ^[2] El problema se estudió más ampliamente cuando Sutton y Barto lo añadieron a su libro Reinforcement Learning: An Introduction (1998). ^[3] A lo largo de los años se han utilizado muchas versiones del problema, como las que modifican la función de recompensa , la condición de terminación y el estado de inicio .

Es necesario ampliar el aprendizaje Q y otras técnicas similares para mapear estados discretos a acciones discretas para poder abordar el espacio de estados continuo del problema. Los enfoques a menudo se dividen en dos categorías: discretización del espacio de estados o aproximación de funciones .

En este enfoque, dos variables de estado continuas se introducen en estados discretos agrupando cada variable continua en múltiples estados discretos. Este enfoque funciona con parámetros ajustados correctamente, pero tiene la desventaja de que la información recopilada de un estado no se utiliza para evaluar otro estado. La codificación de mosaicos se puede utilizar para mejorar la discretización e implica la asignación de variables continuas a conjuntos de grupos separados entre sí. Cada paso del entrenamiento tiene un impacto más amplio en la aproximación de la función de valor porque cuando se suman las cuadrículas de separación, la información se difunde. ^[4]

La aproximación de funciones es otra forma de resolver el problema del coche de montaña. Al elegir un conjunto de funciones base de antemano o al generarlas mientras el coche se desplaza, el agente puede aproximar la función de valor en cada estado. A diferencia de la versión escalonada de la función de valor creada con discretización, la aproximación de funciones puede estimar de forma más clara la verdadera función suave del dominio del coche de montaña. ^[5]

Un aspecto del problema implica el retraso de la recompensa real. El agente no puede aprender acerca del objetivo hasta que lo complete con éxito. Dado un enfoque ingenuo para cada prueba, el automóvil solo puede respaldar ligeramente la recompensa del objetivo. Esto es un problema para la discretización ingenua porque cada estado discreto solo se respaldará una vez, lo que requiere una mayor cantidad de episodios para aprender el problema. Este problema se puede aliviar mediante el mecanismo de rastros de elegibilidad, que respaldará automáticamente la recompensa otorgada a los estados anteriores, lo que aumenta drásticamente la velocidad de aprendizaje. Los rastros de elegibilidad se pueden considerar como un puente entre los métodos de aprendizaje de diferencia temporal y los métodos de Monte Carlo . ^[6]

El problema del coche de montaña ha sufrido muchas iteraciones. Esta sección se centra en la versión estándar bien definida de Sutton (2008). ^[7]

Espacio de estados continuo bidimensional.

${\displaystyle Velocidad=(-0.07,0.07)}$

${\displaystyle Posición=(-1.2,0.6)}$

Espacio de acción discreto unidimensional.

${\displaystyle motor=(izquierda,neutral,derecha)}$

Para cada paso de tiempo:

${\displaystyle recompensa=-1}$

Para cada paso de tiempo:

${\displaystyle Acción=[-1,0,1]}$

${\displaystyle Velocidad=Velocidad+(Acción)*0,001+\cos(3*Posición)*(-0,0025)}$

${\displaystyle Posición=Posición+Velocidad}$

Opcionalmente, muchas implementaciones incluyen aleatoriedad en ambos parámetros para mostrar un mejor aprendizaje generalizado.

${\displaystyle Posición=-0.5}$

${\displaystyle Velocidad=0.0}$

Finalice la simulación cuando:

${\displaystyle Posición\geq 0.6}$

Existen muchas versiones del coche de montaña que se desvían de diferentes maneras del modelo estándar. Las variables que varían incluyen, entre otras, el cambio de las constantes (gravedad y pendiente) del problema, de modo que el ajuste específico para políticas específicas se vuelve irrelevante, y la alteración de la función de recompensa para afectar la capacidad del agente de aprender de una manera diferente. Un ejemplo es cambiar la recompensa para que sea igual a la distancia desde el objetivo, o cambiar la recompensa a cero en todas partes y a uno en el objetivo. Además, se puede utilizar un coche de montaña en 3D, con un espacio de estados continuo en 4D. ^[8]

• Software para coches de montaña en C++. Richard S. Sutton.
• Coche Java Mountain con soporte para RL Glue
• Python, con una buena discusión (publicación del blog, página siguiente)

• Sutton, Richard S. (1996). Mountain Car with Sparse Coarse Coding. Avances en sistemas de procesamiento de información neuronal. MIT Press. págs. 1038–1044. CiteSeer ^x : 10.1.1.51.4764.
• Coche de montaña con sustitución de rastros de elegibilidad
• "Más discusión sobre espacios de estados continuos". 2000. pp. 903–910. CiteSeerX  10.1.1.97.9314 .
• Procesos gaussianos con Mountain Car