MuZero

MuZero es un programa informático desarrollado por la empresa de investigación de inteligencia artificial DeepMind , una subsidiaria de Google , para dominar juegos sin conocer sus reglas y dinámicas subyacentes. ^{[ 1 ] [ 2 ] [ 3 ]} Su lanzamiento en 2019 incluyó pruebas de rendimiento en Go , ajedrez , shogi y una suite de 57 juegos diferentes de Atari . El algoritmo utiliza un enfoque similar a AlphaZero , donde se implementa una combinación de una búsqueda basada en árboles y un modelo aprendido. Igualó el rendimiento de AlphaZero en ajedrez y shogi, mejoró su rendimiento en Go y mejoró el estado del arte en el dominio de una suite de 57 juegos de Atari (el Arcade Learning Environment), un dominio visualmente complejo.

MuZero se entrenó mediante autoaprendizaje , sin acceso a reglas, libros de aperturas ni bases de datos de finales. El algoritmo entrenado utilizó la misma arquitectura convolucional y residual que AlphaZero, pero con un 20 por ciento menos de pasos de cálculo por nodo en el árbol de búsqueda. ^{[ 4 ]}

MuZero está descubriendo por sí mismo cómo construir un modelo y comprenderlo partiendo de los principios básicos.

El 19 de noviembre de 2019, el equipo de DeepMind publicó una versión preliminar en la que presentaba MuZero.

MuZero utilizó 16 unidades de procesamiento tensorial (TPU) de tercera generación para el entrenamiento y 1000 TPU para el autoaprendizaje de juegos de mesa, con 800 simulaciones por paso, y 8 TPU para el entrenamiento y 32 TPU para el autoaprendizaje de juegos de Atari, con 50 simulaciones por paso.

AlphaZero utilizó 64 TPU de segunda generación para el entrenamiento y 5000 TPU de primera generación para el juego por cuenta propia. Dado que el diseño de las TPU ha mejorado (los chips de tercera generación son el doble de potentes individualmente que los de segunda generación, con avances adicionales en el ancho de banda y la interconexión entre chips en un mismo módulo), estas configuraciones de entrenamiento son comparables.

R2D2 fue entrenado durante 5 días a través de 2 millones de pasos de entrenamiento.

MuZero fue visto como un avance significativo con respecto a AlphaZero y un paso adelante generalizable en las técnicas de aprendizaje no supervisado. ^{[ 8 ] [ 9 ]} El trabajo fue visto como un avance en la comprensión de cómo componer sistemas a partir de componentes más pequeños, un desarrollo a nivel de sistemas más que un desarrollo de aprendizaje automático puro. ^{[ 10 ]}

Aunque el equipo de desarrollo solo publicó pseudocódigo, Werner Duvaud produjo una implementación de código abierto basada en él. ^{[ 11 ]}

MuZero se ha utilizado como implementación de referencia en otros trabajos, por ejemplo, como una forma de generar comportamiento basado en modelos. ^{[ 12 ]}

A finales de 2021, se propuso una variante más eficiente de MuZero, denominada EfficientZero. Esta variante "alcanza un rendimiento humano medio del 194,3 % y un rendimiento mediano del 109,0 % en la prueba de rendimiento Atari 100k con tan solo dos horas de experiencia de juego en tiempo real". ^{[ 13 ]}

A principios de 2022, se propuso una variante de MuZero para jugar juegos estocásticos (por ejemplo, 2048 , backgammon ), llamada Stochastic MuZero, que utiliza dinámicas de estado posterior y códigos de probabilidad para tener en cuenta la naturaleza estocástica del entorno al entrenar la red dinámica. ^{[ 14 ]}

En febrero de 2022, DeepMind informó sobre la primera aplicación de MuZero a una tarea del mundo real, en colaboración con YouTube para mejorar la compresión de vídeo en el códec de código abierto VP9. Una versión llamada MuZero-RC reemplazó el mecanismo de control de tasa predeterminado de VP9, ​​seleccionando el parámetro de cuantificación para cada fotograma, y ​​logró una reducción promedio del 4 % en la tasa de bits en un conjunto diverso de vídeos sin degradación de la calidad. ^{[ 15 ]}

• Juego general
• Aprendizaje no supervisado

• Preimpresión inicial de MuZero
• Implementaciones de código abierto