AlphaDev

Para utilizar AlphaZero en la programación en lenguaje ensamblador, los autores crearon una representación vectorial basada en Transformer de los programas en lenguaje ensamblador diseñada para capturar su estructura subyacente. ^{[ 1 ]} Esta representación finita permite que una red neuronal juegue a la programación en lenguaje ensamblador como un juego con un número finito de movimientos posibles (como el Go),

La representación utiliza los siguientes componentes:

• En una red Transformer, los códigos de operación de ensamblaje se convierten a codificaciones one-hot y se concatenan para formar la secuencia de entrada sin procesar.
• Una red perceptrón multicapa , que codifica el "estado de la CPU", es decir, los estados de cada registro y ubicación de memoria para un conjunto dado de entradas,

El estado del juego es el programa en lenguaje ensamblador generado hasta un punto determinado.

El movimiento del juego es una instrucción adicional que se agrega al programa de ensamblaje actual.

La recompensa del juego depende de la corrección y la latencia del programa ensamblador. Para reducir costos, AlphaDev solo calcula la latencia real medida en menos del 0,002 % de los programas generados, ya que no la evalúa durante el proceso de búsqueda. En su lugar, utiliza dos funciones que estiman la corrección y la latencia mediante aprendizaje supervisado, utilizando los valores reales de corrección y latencia medidos.

AlphaDev desarrolló algoritmos de hash para entradas de 9 a 16 bytes para Abseil, una colección de código abierto de algoritmos preescritos en C++. ^{[ 8 ]}

AlphaDev descubrió nuevos algoritmos de ordenación que permitieron mejoras de hasta un 70 % en la biblioteca de ordenación LLVM libc++ para secuencias cortas y de aproximadamente un 1,7 % para secuencias de más de 250 000 elementos. Estas mejoras se aplican a los tipos de datos uint32, uint64 y float para las arquitecturas de CPU ARMv8, Intel Skylake y AMD Zen 2. El ensamblaje condicional sin bifurcaciones y el nuevo movimiento de intercambio de AlphaDev contribuyeron a estas mejoras de rendimiento. Los algoritmos descubiertos se obtuvieron mediante ingeniería inversa, desde el lenguaje ensamblador de bajo nivel a C++, y se han incluido oficialmente en la biblioteca de ordenación estándar libc++. ^{[ 6 ]}

AlphaDev aprendió una función de deserialización de VarInt optimizada en protobuf [ ^{9 ] ,} superando la prueba de referencia humana para entradas de un solo valor en aproximadamente tres veces en términos de velocidad. AlphaDev también descubrió un nuevo movimiento de asignación de VarInt, que combina dos operaciones en una sola instrucción para reducir la latencia.

El rendimiento de AlphaDev se comparó con la superoptimización estocástica, ^{[ 10 ]} un enfoque de IA lógica. Este último se ejecutó con al menos la misma cantidad de recursos y tiempo de ejecución que AlphaDev. Los resultados mostraron que AlphaDev-S requiere una cantidad prohibitiva de tiempo para optimizar directamente la latencia, ya que esta debe calcularse después de cada mutación. Por lo tanto, AlphaDev-S optimiza para un indicador de latencia, específicamente la longitud del algoritmo, y, luego, al final del entrenamiento, se buscan todos los programas correctos generados por AlphaDev-S.