Bosque oscuro

Darkforest es un programa informático de go desarrollado por Meta Platforms , basado en técnicas de aprendizaje profundo utilizando una red neuronal convolucional . Su versión actualizada Darkfores2 combina las técnicas de su predecesor con la búsqueda de árboles de Monte Carlo . ^{[1] [2]} El MCTS toma de manera efectiva los métodos de búsqueda de árboles que se ven comúnmente en los programas de ajedrez de computadora y los aleatoriza. ^[3] Con la actualización, el sistema se conoce como Darkfmcts3 . ^[4]

Darkforest tiene una fuerza similar a la de programas como CrazyStone y Zen. ^[5] Se ha probado contra un jugador profesional humano en la Copa UEC de 2016. El programa AlphaGo de Google ganó contra un jugador profesional en octubre de 2015 utilizando una combinación similar de técnicas. ^[6]

Darkforest recibe su nombre de la novela de ciencia ficción El bosque oscuro de Liu Cixin . ^[7]

Competir con los mejores jugadores humanos en el antiguo juego de Go ha sido un objetivo a largo plazo de la inteligencia artificial. El alto factor de ramificación de Go hace que las técnicas de búsqueda tradicionales sean ineficaces, incluso en hardware de última generación, y la función de evaluación de Go podría cambiar drásticamente con un cambio de un tiro. Sin embargo, al utilizar una red neuronal convolucional profunda diseñada para predicciones a largo plazo, Darkforest ha podido mejorar sustancialmente la tasa de victorias de los bots en comparación con los enfoques más tradicionales basados ​​en la búsqueda de árboles de Monte Carlo .

Contra jugadores humanos, Darkfores2 logra una clasificación estable en 3D en el servidor KGS Go , que corresponde aproximadamente a un jugador humano amateur avanzado. Sin embargo, después de agregar Monte Carlo Tree Search a Darkfores2 para crear un jugador mucho más fuerte llamado darkfmcts3, puede lograr una clasificación de 5D en el servidor KGS Go.

darkfmcts3 está a la par de las IA de Go de última generación como Zen, DolBaram y Crazy Stone, pero está por detrás de AlphaGo. ^[8] Ganó el tercer lugar en el torneo KGS Bot de enero de 2016 contra otras IA de Go.

Después de que AlphaGo de Google venciera a Fan Hui en 2015, Facebook hizo públicos los diseños de hardware de su IA, además de publicar el código detrás de DarkForest como código abierto y realizar un fuerte reclutamiento para fortalecer su equipo de ingenieros de IA. ^[3]

Darkforest utiliza una red neuronal para clasificar las 10 ¹⁰⁰ posiciones del tablero y encontrar el siguiente movimiento más poderoso. ^[9] Sin embargo, las redes neuronales por sí solas no pueden igualar el nivel de los buenos jugadores amateurs o los mejores motores de Go basados ​​en búsquedas, por lo que Darkfores2 combina el enfoque de la red neuronal con una máquina basada en búsquedas. Se utilizó una base de datos de 250 000 juegos de Go reales en el desarrollo de Darkforest , con 220 000 utilizados como conjunto de entrenamiento y el resto utilizado para probar la capacidad de la red neuronal para predecir los próximos movimientos realizados en los juegos reales. Esto le permite a Darkforest evaluar con precisión el estado global del tablero, pero las tácticas locales aún eran deficientes. Los motores basados ​​en búsquedas tienen una evaluación global deficiente, pero son buenos en tácticas locales. Combinar estos dos enfoques es difícil porque los motores basados ​​en búsquedas funcionan mucho más rápido que las redes neuronales, un problema que se resolvió en Darkfores2 ejecutando los procesos en paralelo con una comunicación frecuente entre los dos. ^[9]

En general, el Go se juega analizando la posición de las piezas en el tablero. Algunos jugadores avanzados lo han descrito como un juego en parte inconsciente. A diferencia del ajedrez y las damas, donde los jugadores de IA pueden simplemente mirar más adelante para ver los movimientos que los jugadores humanos, pero como cada ronda de Go tiene en promedio 250 movimientos posibles, ese enfoque es ineficaz. En cambio, las redes neuronales copian el juego humano entrenando a los sistemas de IA con imágenes de movimientos exitosos, la IA puede aprender de manera efectiva a interpretar cómo se ve el tablero, como lo hacen muchos grandes maestros. ^[10] En noviembre de 2015, Facebook demostró la combinación de MCTS con redes neuronales, que jugaban con un estilo que "se sentía humano". ^[10]

Se ha observado que Darkforest aún tiene fallas en su estilo de juego. A veces, el bot juega tenuki ("moverse a otro lugar") sin sentido cuando se requieren movimientos locales poderosos. Cuando el bot está perdiendo, muestra el comportamiento típico de MCTS, juega malos movimientos y pierde más. El equipo de IA de Facebook ha reconocido que estas son áreas de mejora futura. ^[11]

La familia de programas informáticos Go de Darkforest se basa en redes neuronales convolucionales . ^[3] Los avances más recientes en Darkfmcts3 combinaron redes neuronales convolucionales con una búsqueda de árbol de Monte Carlo más tradicional . ^[3] Darkfmcts3 es la versión más avanzada de Darkforest, que combina la arquitectura de red neuronal convolucional más avanzada de Facebook de Darkfores2 con una búsqueda de árbol de Monte Carlo .

Darkfmcts3 se basa en una red neuronal convolucional que predice los próximos k movimientos en función del estado actual del juego. Trata el tablero como una imagen de 19x19 con múltiples canales. Cada canal representa un aspecto diferente de la información del tablero en función del estilo de juego específico. Para el juego estándar y extendido, hay 21 y 25 canales diferentes, respectivamente. En el juego estándar, las libertades de cada jugador se representan como seis canales binarios o planos. El plano respectivo es verdadero si el jugador tiene una, dos o tres o más libertades disponibles. Ko (es decir, movimientos ilegales) se representa como un plano binario. La colocación de piedras para cada oponente y las posiciones vacías del tablero se representan como tres planos binarios, y el tiempo transcurrido desde que se colocó una piedra se representa como números reales en dos planos, uno para cada jugador. Por último, el rango de los oponentes se representa mediante nueve planos binarios, donde si todos son verdaderos, el jugador es un nivel 9d, si son verdaderos 8, un nivel 8d, y así sucesivamente. El juego extendido también considera el borde (plano binario que es verdadero en el borde), la máscara de posición (representada como la distancia desde el centro del tablero, es decir , donde es un número real en una posición) y el territorio de cada jugador (binario, basado en a qué jugador está más cerca una ubicación). ${\displaystyle x^{(-0.5*distancia^{2})}}$${\estilo de visualización x}$

Darkfmct3 utiliza una red convolucional completa de 12 capas con un ancho de 384 nodos sin compartir peso ni agrupación. Cada capa convolucional es seguida por una unidad lineal rectificada , una función de activación popular para redes neuronales profundas. ^[12] Una innovación clave de Darkfmct3 en comparación con los enfoques anteriores es que utiliza solo una función softmax para predecir el próximo movimiento, lo que permite que el enfoque reduzca la cantidad total de parámetros. ^[3] Darkfmct3 se entrenó contra 300 juegos seleccionados al azar de un conjunto de datos empíricos que representan diferentes etapas del juego. La tasa de aprendizaje se determinó mediante el descenso de gradiente estocástico vainilla .

Darkfmct3 acopla de forma sincrónica una red neuronal convolucional con una búsqueda de árbol de Monte Carlo . Debido a que la red neuronal convolucional es exigente en términos computacionales, la búsqueda de árbol de Monte Carlo enfoca el cálculo en las trayectorias de juego más probables. Al ejecutar la red neuronal de forma sincrónica con la búsqueda de árbol de Monte Carlo, es posible garantizar que cada nodo se expanda con los movimientos predichos por la red neuronal.

Darkfores2 supera a Darkforest , su predecesor basado únicamente en redes neuronales, alrededor del 90% de las veces, y a Pachi, uno de los mejores motores de búsqueda, alrededor del 95% de las veces. ^[9] En el sistema de clasificación Kyu , Darkforest tiene un nivel de 1-2d. Darkfores2 logra un nivel 3d estable en KGS Go Server como un bot clasificado. ^[1] Con la búsqueda de árbol de Monte Carlo agregada , Darkfmcts3 con 5000 lanzamientos supera a Pachi con 10k lanzamientos en los 250 juegos; con 75k lanzamientos logra un nivel 5d estable en el servidor KGS, a la par con las IA de Go de última generación (por ejemplo, Zen, DolBaram, CrazyStone); con 110k lanzamientos, ganó el tercer lugar en el torneo KGS Go de enero. ^[4]

• Go y matemáticas

• Código fuente en Github