llama.cpp

llama.cpp es una biblioteca de software de código abierto que realiza inferencias en varios modelos de lenguaje grandes como Llama . ^{[ 3 ]} Se desarrolla en colaboración con el proyecto GGML , una biblioteca de tensores de propósito general . ^{[ 4 ]}

La biblioteca incluye herramientas de línea de comandos , ^{[ 5 ]} junto con un servidor con una interfaz web sencilla . ^{[ 6 ] [ 7 ]}

llama.cpp ha sido considerado como el estándar de facto como el núcleo de casi todas las herramientas de inferencia local, incluidas Ollama y LM  Studio. ^{[ 8 ]}

Hacia finales de septiembre de 2022, Georgi Gerganov comenzó a trabajar en la biblioteca GGML, una biblioteca en C que implementa álgebra tensorial . Gerganov desarrolló la biblioteca con la intención de lograr una gestión estricta de la memoria y el procesamiento multihilo. La creación de GGML se inspiró en el trabajo de Fabrice Bellard sobre LibNC. ^{[ 9 ]}

Antes de llama.cpp, Gerganov trabajó en una biblioteca similar llamada whisper.cpp que implementaba Whisper , un modelo de voz a texto de OpenAI . ^{[ 10 ]}

llama.cpp comenzó su desarrollo en marzo de 2023 por Georgi Gerganov como una implementación del código de inferencia Llama en C/C++ puro sin dependencias. Esto mejoró el rendimiento en computadoras sin GPU u otro hardware dedicado, lo cual era un objetivo del proyecto. ^{[ 3 ] [ 11 ] [ 12 ]} llama.cpp ganó popularidad entre los usuarios que carecían de hardware especializado, ya que podía ejecutarse solo en una CPU . Si bien inicialmente se diseñó para CPU, posteriormente se agregó soporte para backend de GPU y NPU. ^{[ 13 ]} A partir de mayo de 2026, tiene más de 109.000 estrellas en GitHub. ^{[ 14 ]}

El 30 de abril de 2024 se presentó FlashAttention .

El 10 de abril de 2025 se presentó libmtmd, lo que revitalizó el apoyo a los modelos multimodales que anteriormente se encontraba estancado.

El 17 de diciembre de 2025, se introdujo la aceleración completa en dispositivos Android y ChromeOS a través de un nuevo enlace GUI ^{[ 15 ]} , que desbloquea el desarrollo de aplicaciones nativas más allá del enfoque anterior de compilación cruzada y ejecución de CLI ^{[ 11 ] [ 16 ] [ 17 ]} en un shell adb .

llama.cpp admite múltiples plataformas de hardware, incluyendo x86 , ARM , Metal , BLAS , BLIS , zDNN , ZenDNN , SYCL , MUSA , CUDA , HIP , CANN , OpenCL , RPC y Vulkan (versión 1.2 o superior). ^{[ 18 ] [ 19 ] [ 20 ] [ 21 ]} Estos back-ends conforman la biblioteca de tensores GGML, utilizada por el código llama.cpp específico del modelo del front-end. ^{[ 22 ]} llama.cpp utiliza varias extensiones de CPU para la optimización:

• AVX , AVX2 , AVX-512 , AVX-VNNI y AMX para X86-64 .
• Neon , i8MM , SVE , SVE2 , SME y SME2 para AArch64 (ARM64).
• VXE2 (Vector Enhancement Facility 2) para S390x .
• El silicio de Apple es un objetivo importante para el proyecto. ^{[ 14 ] [ 23 ]}

llama.cpp admite una variedad de características destinadas a la inferencia en dispositivos periféricos, tales como:

• Cuantización del modelo por adelantado y cuantización de la caché kv sobre la marcha. ^{[ 24 ]}
• Decodificación especulativa . ^{[ 7 ]}
• Descarga parcial de capas del modelo a la RAM del sistema , lo que permite a los dispositivos cargar modelos que serían demasiado grandes para caber únicamente en la VRAM de la GPU .

Además, llama.cpp admite una variedad de características y API para la comunicación con el frontend, tales como:

• Puntos finales compatibles con OpenAI como v1/chat/completions.
• Formato de salida basado en gramática como JSON . ^{[ 12 ]}

El formato de archivo GGUF ( GGML Universal File) ^{[ 27 ]} es un formato binario que almacena tanto tensores como metadatos en un solo archivo, y está diseñado para guardar y cargar rápidamente datos de modelos. ^{[ 28 ]} Fue introducido en agosto de 2023 por el proyecto llama.cpp para mantener mejor la compatibilidad con versiones anteriores a medida que se agregaba soporte para otras arquitecturas de modelos. ^{[ 13 ] [ 29 ]} Reemplazó formatos anteriores utilizados por el proyecto, como GGML, y generalmente se produce mediante la conversión de modelos desarrollados con una biblioteca de aprendizaje automático diferente, como PyTorch . ^{[ 28 ]}

// ejemplo de metadatos general . arquitectura : 'llama' , general . nombre : 'LLaMA v2' , llama . longitud_contexto : 4096 , ... , general . tipo_archivo : 10 , // (normalmente indica el nivel de cuantización, aquí "MOSTLY_Q2_K") tokenizador . ggml . modelo : ' llama' , tokenizador . ggml . tokens : [ '<unk>' , ' <s>' , ' </s>' , ' ' , ' 
' , ' ' , ' ' , '' , '' , ' ' , ' ' , '' , .

// Nombre del n-ésimo tensor : cadena GGUF , // ej.: "blk.0.ffn_gate.weight" n_dimensiones : UINT32 , // ej.: 2 dimensiones : UINT64 [], // ej.: [ 4096, 32000 ] tipo : UINT32 , // ej.: 10 (normalmente indica el nivel de cuantización, aquí "GGML_TYPE_Q2_K") desplazamiento : UINT64 // posición inicial dentro del bloque tensor_data, relativa al inicio del bloque // (n+1)-ésimo tensor ...

Llama.cpp admite muchos modelos de lenguaje grandes, incluidos Llama , Mistral , Gemma , DeepSeek , gpt-oss , Phi y Qwen . ^{[ 34 ]}

• Ollama
• SGLang : marco para la generación estructurada y la inferencia y distribución de modelos de lenguaje grandes de alto rendimiento.
• vLLM : motor de inferencia y servicio de modelos de lenguaje a gran escala