El juego de evaluación comparativa de lenguajes informáticos

El Computer Language Benchmarks Game (anteriormente llamado The Great Computer Language Shootout ) es un proyecto de software libre para comparar cómo se puede implementar un subconjunto dado de algoritmos simples en varios lenguajes de programación populares .

El proyecto consta de:

• Un conjunto de problemas algorítmicos muy simples (trece en total) ^{[ 1 ]}
• Diversas implementaciones de los problemas anteriores en varios lenguajes de programación.
• Un conjunto de pruebas unitarias para verificar que las implementaciones enviadas resuelven el enunciado del problema.
• Un marco para ejecutar y cronometrar las implementaciones.
• Un sitio web para facilitar la comparación interactiva de los resultados.

Se miden los siguientes aspectos de cada implementación dada: ^{[ 2 ]}

• tiempo de ejecución general del usuario
• asignación máxima de memoria
• Tamaño comprimido con gzip del código fuente de la solución
• suma del tiempo total de CPU en todos los hilos
• utilización individual de la CPU

Es común encontrar múltiples soluciones para un mismo problema en un mismo lenguaje de programación. Esto demuestra que, dentro de las limitaciones de un lenguaje determinado, se puede ofrecer una solución que sea altamente abstracta, eficiente en el uso de memoria, rápida o que permita una mejor paralelización.

Desde el principio se optó por incluir únicamente problemas de juguete muy sencillos, cada uno de los cuales planteaba un desafío de programación diferente. ^{[ 3 ]} Esto brinda a los usuarios del Juego de Referencia la oportunidad de analizar las distintas implementaciones. ^{[ 4 ]}

• árboles binarios
• chameneos-redux
• fannkuch-redux
• fasta
• k-nucleótido
• Mandelbrot
• concurso de meteoritos
• n-cuerpos
• dígitos pi
• regex-redux
• complemento inverso
• norma espectral
• anillo de hilo

El proyecto se conoció como The Great Computer Language Shootout hasta 2007. ^{[ 5 ]}

Entre 2002 y 2003 se mantuvo por separado una versión para Windows. ^{[ 6 ]}

Las fuentes se han archivado en GitLab. ^{[ 7 ]}

También hay bifurcaciones más antiguas en GitHub. ^{[ 8 ]}

El proyecto está en constante evolución. La lista de lenguajes de programación compatibles se actualiza aproximadamente una vez al año, siguiendo las tendencias del mercado. Los usuarios también pueden enviar soluciones mejoradas a cualquiera de los problemas o sugerir mejoras en la metodología de pruebas. ^{[ 9 ]}

Los propios desarrolladores destacan que quienes realizan investigaciones deben tener precaución al utilizar este tipo de microbenchmarks:

[...] Los benchmarks de JavaScript son efímeros y se comportan de maneras significativamente diferentes a las aplicaciones reales. Hemos documentado numerosas diferencias de comportamiento y, a partir de estas diferencias medidas, concluimos que los resultados basados ​​en los benchmarks pueden inducir a error a los desarrolladores de motores JavaScript. Además, observamos comportamientos interesantes en aplicaciones JavaScript reales que los benchmarks no muestran, lo que sugiere que estrategias de optimización previamente inexploradas podrían ser productivas en la práctica.

Los resultados de las pruebas de rendimiento han revelado diversos problemas en los compiladores. En ocasiones, un compilador determinado no lograba procesar construcciones inusuales, pero gramaticalmente válidas. En otras ocasiones, el rendimiento en tiempo de ejecución resultó ser inferior al esperado, lo que impulsó a los desarrolladores de compiladores a revisar sus capacidades de optimización.

Diversos artículos de investigación se han basado en los puntos de referencia, sus resultados y su metodología. ^{[ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ]}

• Prueba de rendimiento (informática)
• Comparación de lenguajes de programación

• Sitio web oficial