MonetDB

El reciclaje de consultas es una arquitectura para reutilizar los subproductos del paradigma de operador a operador en un sistema de gestión de bases de datos (DBMS) de almacenamiento en columnas. El reciclaje utiliza la idea genérica de almacenar y reutilizar los resultados de cálculos costosos. A diferencia de las cachés de instrucciones de bajo nivel, el reciclaje de consultas utiliza un optimizador para preseleccionar las instrucciones que se almacenarán en caché. La técnica está diseñada para mejorar los tiempos de respuesta y el rendimiento de las consultas, al tiempo que funciona de forma autoorganizada. ^{[ 16 ]} Los autores del grupo CWI Database Architectures, compuesto por Milena Ivanova, Martin Kersten , Niels Nes y Romulo Goncalves, ganaron el segundo premio al mejor artículo en la conferencia ACM SIGMOD 2009 por su trabajo sobre reciclaje de consultas. ^{[ 17 ] [ 18 ]}

MonetDB fue una de las primeras bases de datos en introducir el craqueo de bases de datos. El craqueo de bases de datos es una indexación parcial incremental y/o ordenación de los datos. Explota directamente la naturaleza columnar de MonetDB. El craqueo es una técnica que traslada el costo del mantenimiento de índices de las actualizaciones al procesamiento de consultas. Los optimizadores de la canalización de consultas se utilizan para modificar los planes de consulta para craquear y propagar esta información. La técnica permite mejorar los tiempos de acceso y el comportamiento autoorganizado. ^{[ 19 ]} El craqueo de bases de datos recibió el premio J. Gray a la mejor tesis doctoral en ACM SIGMOD 2011. ^{[ 20 ]}

MonetDB/SQL es una extensión de nivel superior que proporciona soporte completo para transacciones en cumplimiento con el estándar SQL:2003 . ^{[ 15 ]}

MonetDB/GIS es una extensión de MonetDB/SQL con soporte para el estándar Simple Features Access del Open Geospatial Consortium (OGC). ^{[ 2 ]}

SciQL es un lenguaje de consulta basado en SQL para aplicaciones científicas con matrices como elementos de primera clase. SciQL permite que MonetDB funcione eficazmente como una base de datos de matrices . SciQL se utiliza en el proyecto PlanetData de la Unión Europea (archivado el 30 de mayo de 2014 en Wayback Machine) y en el proyecto TELEIOS , junto con la tecnología Data Vault, que proporciona acceso transparente a grandes repositorios de datos científicos. ^{[ 21 ]} Data Vaults asigna los datos de los repositorios distribuidos a matrices SciQL, lo que permite un manejo mejorado de los datos espaciotemporales en MonetDB. ^{[ 22 ]} SciQL se ampliará aún más para el Proyecto Cerebro Humano . ^{[ 23 ]}

Data Vault es un repositorio de archivos externo conectado a la base de datos para MonetDB, similar al estándar SQL/MED . La tecnología Data Vault permite una integración transparente con repositorios de archivos distribuidos/remotos. Está diseñado para la exploración y minería de datos científicos , específicamente para datos de teledetección . ^{[ 22 ]} Admite los formatos GeoTIFF ( observación de la Tierra ), FITS ( astronomía ), MiniSEED ( sismología ) y NetCDF . ^{[ 22 ] [ 24 ]} Los datos se almacenan en el repositorio de archivos en su formato original y se cargan en la base de datos de forma diferida , solo cuando es necesario. El sistema también puede procesar los datos al momento de la ingesta, si el formato de datos lo requiere. ^{[ 25 ]} Como resultado, incluso repositorios de archivos muy grandes pueden analizarse de manera eficiente, ya que solo se procesan los datos necesarios en la base de datos. Se puede acceder a los datos a través de las interfaces SQL o SciQL de MonetDB. La tecnología Data Vault se utilizó en el proyecto TELEIOS de la Unión Europea , cuyo objetivo era construir un observatorio virtual para datos de observación de la Tierra. ^{[ 24 ]} Los Data Vaults para archivos FITS también se han utilizado para procesar datos de estudios astronómicos para el Sondeo Fotométrico H-Alfa INT (IPHAS) ^{[ 26 ] [ 27 ]}

MonetDB/RDF es una extensión basada en SPARQL para trabajar con datos enlazados, que añade soporte para RDF y permite que MonetDB funcione como un almacén de triples . En desarrollo para el proyecto Linked Open Data 2. ^{[ 3 ]}

El módulo MonetDB/R permite ejecutar funciones definidas por el usuario (UDF) escritas en R en la capa SQL del sistema. Esto se logra mediante la compatibilidad nativa de R para la ejecución integrada en otra aplicación, en este caso dentro del sistema de gestión de bases de datos relacionales (RDBMS). Anteriormente, el conector MonetDB.R permitía utilizar fuentes de datos de MonetDB y procesarlas en una sesión de R. La nueva función de integración de R de MonetDB no requiere la transferencia de datos entre el RDBMS y la sesión de R, lo que reduce la sobrecarga y mejora el rendimiento. Esta función está diseñada para brindar a los usuarios acceso a las funciones del software estadístico R para el análisis en línea de los datos almacenados en el RDBMS. Complementa la compatibilidad existente con las UDF de C y está pensada para el procesamiento dentro de la base de datos . ^{[ 29 ]}

De forma similar a las UDF de R integradas en MonetDB, la base de datos ahora admite UDF escritas en Python / NumPy . La implementación utiliza matrices NumPy (que a su vez son envoltorios de Python para matrices C), lo que resulta en una sobrecarga mínima, proporcionando una integración funcional de Python con una velocidad comparable a la de las funciones SQL nativas. Las funciones Python integradas también admiten operaciones mapeadas, lo que permite al usuario ejecutar funciones Python en paralelo dentro de consultas SQL. El aspecto práctico de esta característica brinda a los usuarios acceso a las bibliotecas de Python/NumPy/ SciPy , que ofrecen una amplia selección de funciones estadísticas y analíticas. ^{[ 30 ]}

Tras el lanzamiento de un controlador integrado para R y UDFs de R en MonetDB (MonetDB/R), los autores crearon una versión integrada de MonetDB en R llamada MonetDBLite , a la que siguieron versiones integradas para Python y Java. Se distribuyen como paquetes integrables, eliminando la necesidad de gestionar un servidor de base de datos, requerido para las integraciones de API anteriores. El DBMS se ejecuta dentro del propio proceso, eliminando la sobrecarga de comunicación por sockets y serialización, lo que mejora enormemente la eficiencia. La idea es integrar fácilmente un paquete similar a SQLite con el rendimiento de un almacenamiento columnar optimizado en memoria. ^{[ 31 ]}

Varias extensiones anteriores han sido descontinuadas y eliminadas de la base de código estable con el tiempo. Algunos ejemplos notables incluyen una extensión XQuery eliminada en la versión 5 de MonetDB; una extensión JAQL y una extensión de datos en tiempo real llamada Data Cell . ^{[ 15 ] [ 32 ] [ 33 ]}