SGLang

SGLang (abreviatura de Structured Generation Language ) es un marco de código abierto para programar y servir modelos de lenguaje grandes y modelos multimodales . Fue introducido por investigadores afiliados a LMSYS ^{[ 1 ]} y otras instituciones como un sistema que combina un lenguaje integrado en Python para la generación estructurada con un entorno de ejecución para inferencia de alto rendimiento. ^{[ 2 ] [ 3 ] [ 4 ]}

El proyecto está diseñado para cargas de trabajo de inferencia de baja latencia y alto rendimiento, y su documentación describe la compatibilidad con características como salidas estructuradas, decodificación especulativa , procesamiento por lotes continuo, cuantización y compatibilidad con API de estilo OpenAI . ^{[ 5 ]}

SGLang fue presentado públicamente en enero de 2024 por investigadores afiliados a Stanford , UC Berkeley , Texas A&M y la Universidad Jiao Tong de Shanghái . ^{[ 2 ]} Su descripción académica apareció posteriormente en las actas de NeurIPS 2024. [ ^{3 ] En} enero de 2026, TechCrunch informó que los colaboradores asociados al proyecto habían formado la startup RadixArk para comercializar servicios relacionados con SGLang mientras continuaban su desarrollo de código abierto. ^{[ 6 ] [ 7 ]}

Según el artículo de NeurIPS , SGLang consta de dos componentes principales: un lenguaje de interfaz integrado en Python y un entorno de ejecución de back-end para ejecutar programas de modelos de lenguaje de manera eficiente. ^{[ 3 ]} La interfaz proporciona primitivas para la generación, selección y control de flujo paralelo, mientras que el entorno de ejecución utiliza un conjunto de optimizaciones destinadas a reducir los cálculos repetitivos y mejorar el rendimiento. ^{[ 3 ]}

Entre las técnicas descritas por el proyecto se encuentran RadixAttention para reutilizar el estado de caché clave-valor en múltiples llamadas de generación, máquinas de estados finitos comprimidas para una decodificación restringida más rápida y ejecución especulativa para modelos basados ​​en API. ^{[ 3 ]} La documentación actual también describe la compatibilidad para servir modelos de lenguaje y modelos multimodales en una variedad de backends de hardware. ^{[ 5 ]}

• Listados de software de inteligencia artificial de código abierto
• Lista de software desarrollado en universidades
• llama.cpp
• OpenVINO
• Intercambio abierto de redes neuronales
• TensorRT-LLM
• vLLM
• Comparación de software de aprendizaje profundo
• Comparación de software de aprendizaje automático

• Descripción general de SGLang en la documentación de NVIDIA.
• Repositorio de código fuente de la documentación de SGLang en GitHub