Formato de datos jerárquico

El formato de datos jerárquico ( HDF ) es un conjunto de formatos de archivo ( HDF4 , HDF5 ) diseñados para almacenar y organizar grandes cantidades de datos. Desarrollado originalmente en el Centro Nacional de Aplicaciones de Supercomputación de EE . UU., cuenta con el respaldo de The HDF Group, una corporación sin fines de lucro cuya misión es garantizar el desarrollo continuo de las tecnologías HDF5 y la accesibilidad constante de los datos almacenados en HDF.

En consonancia con este objetivo, las bibliotecas HDF y las herramientas asociadas están disponibles bajo una licencia permisiva, similar a la BSD, para uso general. HDF es compatible con numerosas plataformas de software y lenguajes de programación, tanto comerciales como no comerciales. La distribución HDF, de libre acceso, incluye la biblioteca, utilidades de línea de comandos, el código fuente del conjunto de pruebas, una interfaz Java y el visor HDF View (HDFView), basado en Java. ^{[ 1 ]}

La versión actual, HDF5, difiere significativamente en diseño y API de la versión anterior principal, HDF4.

La búsqueda de un formato de datos científicos portátil, originalmente denominado AEHOO (Formato Orientado a Objetos Jerárquico Integral), comenzó en 1987 a cargo del Grupo de Trabajo de Fundamentos Gráficos (GFTF) del Centro Nacional de Aplicaciones de Supercomputación (NCSA). Las subvenciones de la NSF recibidas en 1990 y 1992 fueron importantes para el proyecto. Por esa época, la NASA investigó 15 formatos de archivo diferentes para su uso en el proyecto del Sistema de Observación de la Tierra (EOS). Tras un proceso de revisión de dos años, se seleccionó HDF como el sistema estándar de datos e información. ^{[ 2 ]}

HDF4 es la versión anterior del formato, aunque sigue recibiendo soporte activo por parte de The HDF Group. Admite una gran variedad de modelos de datos, incluyendo matrices multidimensionales, imágenes ráster y tablas. Cada uno define un tipo de datos agregado específico y proporciona una API para leer, escribir y organizar los datos y metadatos. Los desarrolladores o usuarios de HDF pueden añadir nuevos modelos de datos.

HDF es autodescriptivo, lo que permite que una aplicación interprete la estructura y el contenido de un archivo sin información externa. Un archivo HDF puede contener una combinación de objetos relacionados a los que se puede acceder como un grupo o como objetos individuales. Los usuarios pueden crear sus propias estructuras de agrupación llamadas "vgroups". ^{[ 3 ]}

El formato HDF4 tiene muchas limitaciones. ^{[ 4 ] [ 5 ]} Carece de un modelo de objetos claro, lo que dificulta su soporte y mejora continuos. La compatibilidad con diversos estilos de interfaz (imágenes, tablas, matrices) da lugar a una API compleja. La compatibilidad con metadatos depende de la interfaz utilizada; los objetos SD (Scientific Dataset) admiten atributos con nombres arbitrarios, mientras que otros tipos solo admiten metadatos predefinidos. Quizás lo más importante sea que el uso de enteros con signo de 32 bits para el direccionamiento limita los archivos HDF4 a un máximo de 2 GB, lo cual resulta inaceptable en muchas aplicaciones científicas modernas.

El formato HDF5 está diseñado para abordar algunas de las limitaciones de la biblioteca HDF4 y para satisfacer los requisitos actuales y futuros de los sistemas y aplicaciones modernos. En 2002, ganó el premio R&D 100. ^{[ 6 ]}

HDF5 simplifica la estructura de archivos para incluir solo dos tipos principales de objetos:

• Conjuntos de datos, que son matrices multidimensionales tipificadas
• Los grupos, que son estructuras de contenedores que pueden albergar conjuntos de datos y otros grupos.

Esto da como resultado un formato de datos verdaderamente jerárquico, similar a un sistema de archivos. De hecho, se puede acceder a los recursos de un archivo HDF5 mediante la sintaxis tipo POSIX /ruta/al/recurso . Los metadatos se almacenan en forma de atributos con nombre definidos por el usuario, asociados a grupos y conjuntos de datos. Posteriormente, se pueden crear API de almacenamiento más complejas que representen imágenes y tablas utilizando conjuntos de datos, grupos y atributos.

Además de estas mejoras en el formato de archivo, HDF5 incluye un sistema de tipos optimizado y objetos de espacio de datos que representan selecciones sobre regiones de conjuntos de datos. La API también está orientada a objetos en lo que respecta a conjuntos de datos, grupos, atributos, tipos, espacios de datos y listas de propiedades.

La última versión de NetCDF , la versión 4, está basada en HDF5.

Debido a que utiliza árboles B para indexar los objetos de tabla, HDF5 funciona bien para datos de series temporales , como series de precios de acciones, datos de monitorización de redes y datos meteorológicos 3D. La mayor parte de los datos se almacena en matrices sencillas (los objetos de tabla) a las que se puede acceder mucho más rápido que a las filas de una base de datos SQL , pero el acceso mediante árboles B está disponible para datos que no son matrices. El mecanismo de almacenamiento de datos de HDF5 puede ser más simple y rápido que un esquema de estrella SQL .

• do
• C++
• CLI - .NET
• Fortran , Fortran 90
• HDF5 Lite (H5LT): una interfaz ligera para C
• Imagen HDF5 (H5IM): una interfaz C para imágenes o rásteres.
• Tabla HDF5 (H5TB): una interfaz C para tablas
• Tabla de paquetes HDF5 (H5PT): interfaces para que C y C++ gestionen datos de "paquetes", a los que se accede a alta velocidad.
• Escala de dimensión HDF5 (H5DS): permite agregar escalas de dimensión a HDF5.
• Java

• Formato de datos común (CDF)
• FITS , un formato de datos utilizado en astronomía
• GRIB (GRIdded Binary), un formato de datos utilizado en meteorología.
• Explorador HDF
• NetCDF , la biblioteca Java de NetCDF lee HDF5, HDF4, HDF-EOS y otros formatos utilizando Java puro.
• Protocol Buffers : el formato de intercambio de datos de Google.
• Zarr , un formato de datos con similitudes a HDF5.

• Sitio web oficial
• ¿Qué es HDF5?
• Centro de información y herramientas HDF-EOS
• Superficie de navegación abierta