Aprendizaje por imitación

La clonación de comportamiento (BC) es la forma más básica de aprendizaje por imitación. Esencialmente, utiliza el aprendizaje supervisado para entrenar una política.${\displaystyle \pi _{\theta }}$de tal manera que, dada una observación${\displaystyle o_{t}}$generaría una distribución de acciones.${\displaystyle \pi _{\theta }(\cdot |o_{t})}$eso es aproximadamente lo mismo que la distribución de acciones de los expertos. ^{[ 13 ]}

BC es susceptible a cambios en la distribución . Específicamente, si la política entrenada difiere de la política experta, podría desviarse de la trayectoria experta hacia observaciones que nunca habrían ocurrido en las trayectorias expertas. ^{[ 13 ]}

Esto ya lo había señalado ALVINN , que entrenó una red neuronal para conducir una furgoneta utilizando demostraciones humanas. Observaron que, dado que un conductor humano nunca se desvía mucho de la trayectoria, la red nunca sería entrenada para saber qué acción tomar si alguna vez se encontrara muy lejos de ella. ^{[ 6 ]}

DAgger ( Agregación de conjuntos de datos ) ^{[ 14 ]} mejora la clonación de comportamientos mediante el entrenamiento iterativo en un conjunto de datos de demostraciones de expertos. En cada iteración, el algoritmo primero recopila datos implementando la política aprendida.${\displaystyle \pi _{\theta }}$Luego, consulta al experto para obtener la acción óptima.${\displaystyle a_{t}^{*}}$en cada observación${\displaystyle o_{t}}$encontrados durante el despliegue. Finalmente, agrega los nuevos datos al conjunto de datos.$${\displaystyle D\leftarrow D\cup \{(o_{1},a_{1}^{*}),(o_{2},a_{2}^{*}),...,(o_{T},a_{T}^{*})\}}$$y entrena una nueva política en el conjunto de datos agregado. ^{[ 13 ]}

El enfoque Decision Transformer modela el aprendizaje por refuerzo como un problema de modelado de secuencias. ^{[ 15 ]} De manera similar a Behavior Cloning, entrena un modelo de secuencia, como un Transformer , que modela secuencias de despliegue.$${\displaystyle (R_{1},o_{1},a_{1}),(R_{2},o_{2},a_{2}),\dots ,(R_{t},o_{t},a_{t}),}$$dónde${\displaystyle R_{t}=r_{t}+r_{t+1}+\dots +r_{T}}$es la suma de la recompensa futura en el despliegue. Durante el tiempo de entrenamiento, el modelo de secuencia se entrena para predecir cada acción.${\displaystyle a_{t}}$, teniendo en cuenta el lanzamiento anterior como contexto:$${\displaystyle (R_{1},o_{1},a_{1}),(R_{2},o_{2},a_{2}),\dots ,(R_{t},o_{t})}$$Durante el tiempo de inferencia, para utilizar el modelo de secuencia como un controlador eficaz, simplemente se le proporciona una predicción de recompensa muy alta.${\displaystyle R}$y se generalizaría prediciendo una acción que resultaría en una alta recompensa. Se demostró que esto se escalaba de manera predecible a un Transformer con mil millones de parámetros que es sobrehumano en 41 juegos de Atari . ^{[ 16 ]}

Consulte ^{[ 17 ] [ 18 ]} para ver más ejemplos.