DuckDB

DuckDB es un sistema de gestión de bases de datos relacionales (RDBMS) orientado a columnas de código abierto . ^{[ 1 ]} Está diseñado para proporcionar un alto rendimiento en consultas complejas sobre grandes bases de datos en configuración integrada, ^{[ 2 ]} como la combinación de tablas con cientos de columnas y miles de millones de filas. A diferencia de otras bases de datos integradas (por ejemplo, SQLite ), DuckDB no se centra en aplicaciones transaccionales ( OLTP ) y, en cambio, está especializado en cargas de trabajo de procesamiento analítico en línea (OLAP). ^{[ 3 ]} El proyecto tiene más de 6 millones de descargas al mes. ^{[ 4 ] [ 5 ] [ 6 ]}

DuckDB fue desarrollado originalmente por Mark Raasveldt y Hannes Mühleisen en el Centrum Wiskunde & Informatica (CWI) en los Países Bajos . ^{[ 2 ]} Los cofundadores del proyecto diseñaron DuckDB para abordar la necesidad de una solución de base de datos OLAP en proceso. ^{[ 7 ]} DuckDB se lanzó por primera vez en 2019. ^{[ 8 ]} La versión 1.0.0 de DuckDB se lanzó el 3 de junio de 2024, bajo el nombre en clave SnowDuck. ^{[ 9 ]}

DuckDB utiliza un motor de procesamiento de consultas vectorizado . ^{[ 3 ]} DuckDB es especial entre los sistemas de gestión de bases de datos porque no tiene dependencias externas y puede construirse con solo un compilador C++17. ^{[ 10 ]} DuckDB también se desvía del modelo tradicional cliente-servidor al ejecutarse dentro de un proceso anfitrión (tiene enlaces, por ejemplo, para un intérprete de Python con la capacidad de colocar datos directamente en matrices NumPy ^{[ 2 ]} ). El analizador SQL de DuckDB deriva de la biblioteca pg_query desarrollada por Lukas Fittl, que a su vez deriva del analizador SQL de PostgreSQL que se ha simplificado al máximo. ^{[ 3 ] [ 11 ]} DuckDB utiliza un formato de almacenamiento de archivo único para almacenar datos en disco, diseñado para admitir escaneos eficientes y actualizaciones, adiciones y eliminaciones masivas. ^{[ 12 ]} DuckDB también se compila a WebAssembly usando emscripten, lo que permite que DuckDB ejecute SQL en herramientas de análisis basadas en navegador. ^{[ 13 ] [ 14 ]}

En su nicho OLAP, DuckDB no compite con los sistemas de gestión de bases de datos tradicionales como MSSQL , PostgreSQL y Oracle . Si bien utiliza SQL para las consultas, DuckDB está orientado a aplicaciones sin servidor y proporciona respuestas extremadamente rápidas mediante archivos Apache Parquet o su propio formato de almacenamiento. Estas características lo convierten en una opción popular para el análisis de grandes conjuntos de datos en modo interactivo. ^{[ 15 ]}

DuckDB se utiliza en Facebook , Google y Airbnb . ^{[ 16 ]}

Mühleisen, coautor de DuckDB, también dirige una empresa de soporte y consultoría para el software, DuckLabs. ^{[ 8 ]} La empresa ha optado por no aceptar financiación de capital riesgo, declarando: «Creemos que la inversión forzaría la dirección del proyecto hacia la monetización, y preferimos mantener DuckDB abierto y disponible para la mayor cantidad de personas posible». ^{[ 6 ]} Otra empresa, MotherDuck , ha recibido 100 millones de dólares de financiación para su plataforma de datos basada en DuckDB, con inversores como Andreessen Horowitz . ^{[ 17 ]}

La empresa DuckLabs era conocida anteriormente como DuckDB Labs. ^{[ 18 ]}

La Fundación DuckDB, una organización independiente sin ánimo de lucro, garantiza el mantenimiento y desarrollo a largo plazo de DuckDB. La fundación posee gran parte de la propiedad intelectual del proyecto y se financia mediante donaciones benéficas. ^{[ 19 ]} Los estatutos de la Fundación DuckDB aseguran que DuckDB siga siendo de código abierto bajo la licencia MIT a perpetuidad. ^{[ 20 ]}

Además de las API nativas de C y C++ , DuckDB admite una variedad de lenguajes de programación.

La arquitectura de DuckDB admite extensiones, lo que permite agregar funcionalidad adicional de forma dinámica. ^{[ 34 ]} Muchas extensiones populares son mantenidas por el equipo principal de DuckDB, y existen más de 30 extensiones de la comunidad mantenidas por terceros. ^{[ 35 ] [ 36 ] [ 37 ]}

La arquitectura de DuckDB admite extensiones de carga dinámica. Las extensiones principales mantenidas por el equipo de DuckDB incluyen:

• httpfs : acceso remoto a archivos mediante HTTP, HTTPS y almacenamiento de objetos compatible con S3 (incluida la compatibilidad con escritura en Azure desde la versión 1.5).
• espacial — funciones geoespaciales (familia ST_*); GEOMETRY se convirtió en un tipo básico integrado en la versión 1.5.
• iceberg : lectura/escritura de tablas de Apache Iceberg, incluyendo compatibilidad con catálogos REST.
• delta — Lectura/escritura de tablas de Delta Lake a través del núcleo Delta
• ducklake : formato lakehouse que almacena todos los metadatos en una base de datos SQL con semántica ACID; admite viajes en el tiempo, evolución de esquemas y transacciones de varias tablas.

Además, existen más de 30 extensiones comunitarias mantenidas por terceros, que abarcan casos de uso desde consultas de grafos (SQL/PGQ) hasta la integración con Kafka y la inferencia de aprendizaje automático. La lista completa está disponible en el registro de extensiones comunitarias de DuckDB .

• Woodie, Alex (5 de marzo de 2024). "DuckDB sigue su propio ritmo en cuanto a análisis" . Datanami .

• Sitio web oficial
• DuckDB en GitHub