rasdaman

Basándose en un álgebra de matrices ^{[ 10 ]} desarrollada específicamente para bases de datos , rasdaman añade un nuevo tipo de atributo, la matriz, al modelo relacional. Dado que esta definición de matriz está parametrizada, constituye una construcción o plantilla de segundo orden ; este hecho se refleja en los funcionales de segundo orden del álgebra y del lenguaje de consulta.

Por razones históricas, las tablas se denominan colecciones , ya que el diseño inicial priorizaba su integración en el estándar de bases de datos orientadas a objetos, ODMG . Anticipando una integración completa con SQL, las colecciones de rasdaman representan una relación binaria donde el primer atributo es un identificador de objeto y el segundo es el array. Esto permite establecer referencias de clave externa entre arrays y tuplas relacionales regulares .

El lenguaje de consulta rasdaman, rasql, se integra en SQL estándar y su procesamiento orientado a conjuntos. Para el nuevo tipo de atributo, los arreglos multidimensionales, se proporciona un conjunto de operaciones adicionales basadas en un conjunto mínimo de operadores básicos definidos algebraicamente, un constructor de arreglos (que crea un nuevo arreglo y lo llena con valores) y un condensador de arreglos (que, de forma similar a las agregaciones SQL, obtiene información de resumen escalar de un arreglo). El lenguaje de consulta es declarativo (y, por lo tanto, optimizable) y seguro en su evaluación; es decir, se garantiza que cada consulta devolverá un resultado después de un número finito de pasos de procesamiento.

La guía de consultas de rasql ^{[ 11 ]} proporciona detalles; aquí algunos ejemplos pueden ilustrar su uso:

• "A partir de todos los cubos de datos de simulación climática 4D x/y/z/t, se extrae un recorte que contiene todos los datos en x, ay entre 100 y 200, todos los disponibles a lo largo de z, y una sección en la posición 42 (lo que resulta efectivamente en un cubo 3D x/y/z)":

seleccione c [ * : * , 100 : 200 , * : * , 42 ] de ClimateSimulations como c

• "En todas las imágenes satelitales Landsat, suprima todas las áreas que no sean verdes":

seleccionar img * ( img . green > 130 ) de LandsatArchive como img

Nota: Este ejemplo ilustra un enfoque básico; el análisis práctico de la vegetación suele emplear la fórmula NDVI , el enmascaramiento de nubes y técnicas de procesamiento adicionales.

• "Todas las imágenes de resonancia magnética en las que, en alguna región definida por las máscaras de bits, la intensidad supera un umbral de 250":

seleccionar img de MRI como img , Masks como m donde some_cells ( img > 250 y m )

• "Una sección transversal 2D x/y de todos los cubos de datos de simulación climática 4D, cada uno codificado en formato PNG":

seleccione png ( c [ * : * , * : * , 100 , 42 ] ) de ClimateSimulations como c

Los objetos ráster se particionan en mosaicos . ^{[ 12 ]} Además de una subdivisión regular, es posible cualquier partición generada por el usuario o el sistema. Dado que los mosaicos forman la unidad de acceso al disco, es importante que el patrón de mosaico se ajuste a los patrones de acceso a las consultas; varias estrategias de mosaico ayudan a establecer un mosaico de buen rendimiento. Se emplea un índice geográfico para determinar rápidamente los mosaicos afectados por una consulta. Opcionalmente, los mosaicos se comprimen utilizando una de varias opciones, ^{[ 13 ]} incluyendo algoritmos sin pérdida y con pérdida (wavelet); independientemente de eso, los resultados de la consulta se pueden comprimir para transferirlos al cliente. Tanto la estrategia de mosaico como la compresión comprenden parámetros de ajuste de la base de datos.

Los mosaicos y el índice de mosaicos se almacenan en disco en la base de datos rasdaman, ^{[ 14 ]} junto con el diccionario de datos necesario para el sistema de tipos dinámicos de rasdaman. Para matrices mayores que el espacio en disco, se ha desarrollado soporte para la gestión de almacenamiento jerárquico (HSM). ^{[ 15 ]}

La ejecución de consultas se basa en la transmisión de bloques. ^{[ 16 ]} La ejecución sigue un paradigma de transmisión de bloques : siempre que sea posible, los bloques de la matriz a los que apunta una consulta se obtienen secuencialmente, y cada bloque se descarta después de su procesamiento. Esto da como resultado una arquitectura escalable a volúmenes de datos que superan la memoria principal del servidor en varios órdenes de magnitud.

Las consultas se someten a una optimización intensiva. ^{[ 17 ]} El servidor aplica reglas de optimización algebraica (heurística) al árbol de consultas cuando corresponde; de ​​las 150 reglas de reescritura algebraica, 110 se utilizan para optimizar, mientras que las otras 40 transforman la consulta a su forma canónica. Además, se aplica una optimización basada en costos. El análisis sintáctico y la optimización en conjunto tardan menos de un milisegundo en una computadora portátil.

Además, las consultas se paralelizan. ^{[ 18 ]} Rasdaman ofrece paralelismo entre consultas (un despachador programa las solicitudes en un grupo de procesos de servidor sobre la base de cada transacción) y paralelismo dentro de la consulta (distribución transparente de subárboles de consulta entre los núcleos, GPU o nodos de nube disponibles).

La interfaz principal de rasdaman es el lenguaje de consulta. Las integraciones en las API de C++ y Java permiten invocar consultas, así como funciones de conveniencia del lado del cliente para el manejo de matrices. Las matrices se entregan en el formato de memoria principal del lenguaje del cliente y la arquitectura del procesador, listas para su posterior procesamiento. Los códecs de formato de datos permiten recuperar matrices en formatos ráster comunes, como CSV , PNG y NetCDF .

Se proporciona un kit de herramientas de diseño web, raswct, que facilita la creación de interfaces de consulta web, incluyendo widgets gráficos para el manejo de consultas parametrizadas, como controles deslizantes para umbrales en las consultas.

Petascope , un servlet Java que se ejecuta como cliente rasdaman, ofrece interfaces de servicio web específicas para el acceso, procesamiento y filtrado de datos geográficos. Se admiten los siguientes estándares OGC : WMS , WCS , WCPS y WPS .

Para WCS y WCPS , rasdaman es la implementación de referencia .

En 2008, el Open Geospatial Consortium publicó el estándar Web Coverage Processing Service , que define un lenguaje de consulta ráster (a menudo llamado "cubo de datos") basado en el concepto de cobertura . La semántica de los operadores ^{[ 22 ]} está influenciada por el álgebra de matrices rasdaman.

En 2016, INSPIRE (Marco Legal para la Información Espacial en Europa ^{[ 23 ]} ) adoptó WCPS como componente opcional de INSPIRE-WCS. ^{[ 24 ]}

En 2023, la norma WCPS fue adoptada por ISO TC211 como ISO 19123-3:2023. ^{[ 25 ]}

En 2024, OGC adoptó la misma especificación como Abstract Topic 6.3. ^{[ 26 ]}

En 2019, ISO adoptó el lenguaje de consulta de matrices rasql como ^{[ 27 ]} para el estándar SQL , con solo pequeños ajustes sintácticos a SQL.

Dos proyectos seleccionados pueden ilustrar el uso de rasdaman en servicios geográficos.

El entorno abierto Earth Datacube Playground ^{[ 28 ]} es una plataforma para el análisis de geodatacubos procesables, que ofrece casos de uso de acceso a datos ráster y procesamiento ad hoc desde una dimensión hasta cuatro dimensiones. Esta plataforma está construida con rasdaman.

EarthServer ^{[ 29 ]} es una federación global de proveedores independientes de cubos de datos. Las ofertas combinadas de cubos de datos se ponen a disposición como un único espacio de cubos de datos homogeneizado. El acceso es totalmente transparente a la ubicación: cualquier nodo puede recibir una consulta y responderla, independientemente de en qué nodo de la federación se encuentren los datos; esto incluye la fusión automática de datos distribuidos. La participación es gratuita para los colaboradores de cubos de datos.