Aprendizaje por diferencia temporal

El aprendizaje por diferencia temporal ( TD ) se refiere a una clase de métodos de aprendizaje por refuerzo sin modelo que aprenden mediante el remuestreo (bootstrapping) a partir de la estimación actual de la función de valor. Estos métodos toman muestras del entorno, como los métodos de Monte Carlo , y realizan actualizaciones basadas en las estimaciones actuales, como los métodos de programación dinámica . ^{[ 1 ]}

Mientras que los métodos de Monte Carlo solo ajustan sus estimaciones una vez que se conoce el resultado, los métodos TD ajustan las predicciones para que coincidan con predicciones posteriores y más precisas sobre el futuro, antes de que se conozca el resultado. ^{[ 2 ]} Esta es una forma de remuestreo (bootstrapping ), como se ilustra con el siguiente ejemplo:

Supongamos que desea predecir el tiempo para el sábado y dispone de un modelo que lo predice basándose en el tiempo de cada día de la semana. En el caso habitual, esperaría hasta el sábado y luego ajustaría todos sus modelos. Sin embargo, si es, por ejemplo, viernes, debería tener una idea bastante clara de cómo será el tiempo el sábado y, por lo tanto, podría modificar el modelo del sábado antes de que llegue ese día. ^{[ 2 ]}

Los métodos de diferencia temporal están relacionados con el modelo de diferencia temporal del aprendizaje animal . ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}

El método TD(0) tabular es uno de los métodos TD más simples. Es un caso especial de métodos de aproximación estocástica más generales. Estima la función de valor de estado de un proceso de decisión de Markov (MDP) de estado finito bajo una política${\displaystyle \pi }$. Dejar${\displaystyle V^{\pi }}$denotamos la función de valor de estado del MDP con estados${\displaystyle (S_{t})_{t\in \mathbb {N} }}$, recompensas${\displaystyle (R_{t})_{t\in \mathbb {N} }}$y tasa de descuento ^{[ 8 ]}${\displaystyle \gamma }$bajo la política${\displaystyle \pi }$: ^{[ 9 ]}

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.}$

Por comodidad, omitimos la acción de la notación.${\displaystyle V^{\pi }}$satisface la ecuación de Bellman :

${\displaystyle V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},}$

entonces${\displaystyle R_{1}+\gamma V^{\pi }(S_{1})}$es una estimación imparcial para${\displaystyle V^{\pi }(s)}$Esta observación motiva el siguiente algoritmo para estimar${\displaystyle V^{\pi }}$.

El algoritmo comienza inicializando una tabla.${\displaystyle V(s)}$arbitrariamente, con un valor para cada estado del MDP. Una tasa de aprendizaje positiva.${\displaystyle \alpha }$es elegido.

Luego evaluamos repetidamente la política.${\displaystyle \pi }$, obtener una recompensa${\displaystyle r}$y actualiza la función de valor para el estado actual usando la regla: ^{[ 10 ]}

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{tasa de aprendizaje}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{El objetivo TD}}]}$

dónde${\displaystyle S_{t}}$y${\displaystyle S_{t+1}}$son los estados actual y siguiente, respectivamente. El valor${\displaystyle R_{t+1}+\gamma V(S_{t+1})}$se conoce como el objetivo TD, y${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$Se conoce como error TD.

TD-Lambda es un algoritmo de aprendizaje inventado por Richard S. Sutton, basado en trabajos previos sobre aprendizaje por diferencia temporal realizados por Arthur Samuel . ^{[ 11 ]} Este algoritmo fue aplicado de forma destacada por Gerald Tesauro para crear TD-Gammon , un programa que aprendió a jugar al backgammon al nivel de jugadores humanos expertos. ^{[ 12 ]}

La lambda (${\displaystyle \lambda }$El parámetro ) se refiere al parámetro de decaimiento de traza, con${\displaystyle 0\leqslant \lambda \leqslant 1}$. Los ajustes más altos dan lugar a huellas más duraderas; es decir, se puede dar una mayor proporción de crédito de una recompensa a estados y acciones más distantes cuando${\displaystyle \lambda }$es más alto, con${\displaystyle \lambda =1}$producir aprendizaje paralelo a algoritmos de aprendizaje por refuerzo de Monte Carlo. ^{[ 13 ]}

El algoritmo TD también ha recibido atención en el campo de la neurociencia . Los investigadores descubrieron que la tasa de disparo de las neuronas dopaminérgicas en el área tegmental ventral (VTA) y la sustancia negra (SNc) parecen imitar la función de error en el algoritmo. ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]} La función de error informa la diferencia entre la recompensa estimada en cualquier estado o paso de tiempo dado y la recompensa real recibida. Cuanto mayor sea la función de error, mayor será la diferencia entre la recompensa esperada y la real. Cuando esto se combina con un estímulo que refleja con precisión una recompensa futura, el error puede usarse para asociar el estímulo con la recompensa futura .

Las células dopaminérgicas parecen comportarse de manera similar. En un experimento, se realizaron mediciones de células dopaminérgicas mientras se entrenaba a un mono para asociar un estímulo con la recompensa de jugo. ^{[ 14 ]} Inicialmente, las células dopaminérgicas aumentaron sus tasas de disparo cuando el mono recibió jugo, lo que indica una diferencia entre las recompensas esperadas y las reales. Con el tiempo, este aumento en el disparo se propagó hacia el primer estímulo confiable para la recompensa. Una vez que el mono estuvo completamente entrenado, no hubo aumento en la tasa de disparo al presentarse la recompensa predicha. Posteriormente, la tasa de disparo de las células dopaminérgicas disminuyó por debajo de la activación normal cuando no se produjo la recompensa esperada. Esto imita de cerca cómo se utiliza la función de error en TD para el aprendizaje por refuerzo .

La relación entre el modelo y la función neurológica potencial ha dado lugar a investigaciones que intentan utilizar la TD para explicar muchos aspectos de la investigación conductual. ^{[ 15 ] [ 16 ]} También se ha utilizado para estudiar afecciones como la esquizofrenia o las consecuencias de las manipulaciones farmacológicas de la dopamina en el aprendizaje. ^{[ 17 ]}

• PVLV
• Aprendizaje Q
• Modelo de Rescorla-Wagner
• Estado-acción-recompensa-estado-acción (SARSA)

• Meyn, SP (2007). Técnicas de control para redes complejas . Cambridge University Press. ISBN 978-0521884419.Véase el capítulo final y el apéndice.
• Sutton, RS; Barto, AG (1990). "Modelos de derivada temporal del refuerzo pavloviano" (PDF) . Aprendizaje y neurociencia computacional: fundamentos de redes adaptativas : 497–537 . Archivado del original (PDF) el 30 de marzo de 2017. Recuperado el 29 de marzo de 2017 .

• Applet Connect Four TDGravity archivado el 24/07/2012 en Wayback Machine (+ versión para teléfono móvil) – autoaprendizaje mediante el método TD-Leaf (combinación de TD-Lambda con búsqueda en árbol superficial)
• Autoaprendizaje Meta-Tic-Tac-Toe Archivado el 19/03/2014 en Wayback Machine Ejemplo de aplicación web que muestra cómo se puede utilizar el aprendizaje por diferencia temporal para aprender constantes de evaluación de estado para una IA minimax que juega un juego de mesa simple.
• Problema de aprendizaje por refuerzo , documento que explica cómo se puede utilizar el aprendizaje por diferencia temporal para acelerar el aprendizaje Q.
• TD-Simulator Simulador de diferencia temporal para condicionamiento clásico