OPENDAP

OPeNDAP ( Proyecto de código abierto para un protocolo de acceso a datos de red ) es una iniciativa centrada en mejorar la recuperación de datos estructurados remotos a través de una arquitectura basada en la web y un protocolo de acceso a datos (DAP) independiente de la disciplina.

El protocolo , ampliamente utilizado, especialmente en ciencias de la Tierra , se basa en HTTP y su especificación actual es DAP4, ^{[ 1 ]} aunque la versión anterior DAP2 sigue siendo de uso generalizado. Desarrollado y mejorado (de forma abierta y colaborativa) por la organización sin ánimo de lucro OPeNDAP, Inc., ^{[ 2 ]} DAP tiene como objetivo permitir la recuperación remota y selectiva de datos como un servicio web de fácil invocación. OPeNDAP, Inc. también desarrolla y mantiene implementaciones gratuitas (de referencia) del protocolo DAP tanto en software del lado del servidor como del lado del cliente.

"OPeNDAP" se usa a menudo en lugar de "DAP" para referirse al protocolo, pero también puede aludir a una arquitectura completa de recuperación de datos basada en DAP. Otras arquitecturas centradas en DAP, como THREDDS ^{[ 3 ]} y ERDDAP, y el NOAA GEO-IDE UAF ERDDAP ^{[ 4 ],} muestran una interoperabilidad significativa entre sí, así como con sistemas que emplean los servidores y el software (de código abierto) de OPeNDAP.

Un cliente DAP puede ser un navegador común o incluso una hoja de cálculo , aunque con funcionalidad limitada (consulte la página web de OPeNDAP sobre el software cliente disponible ). Lo más habitual es que los clientes DAP sean:

• Herramientas de análisis o visualización de datos (como MATLAB , IDL , Panoply , GrADS , Integrated Data Viewer , Ferret y ncBrowse ^{[ 5 ]} ) que sus autores han adaptado para permitir la entrada de datos basada en DAP;
• Aplicaciones web adaptadas de forma similar (como Dapper Data Viewer, también conocido como DChart) ^{[ 6 ]}
• Programas para usuarios finales adaptados de forma similar (en lenguajes comunes).

Independientemente de su tipo y de si fueron desarrollados comercialmente o por un usuario final, los clientes se conectan casi universalmente a los servidores DAP mediante bibliotecas que implementan el protocolo DAP2 o DAP4 en uno u otro lenguaje. OPeNDAP ofrece bibliotecas de código abierto en C++ y Java , pero muchos clientes dependen de bibliotecas desarrolladas por la comunidad, como PyDAP o, especialmente, el conjunto de herramientas NetCDF . Desarrolladas y mantenidas por el Programa Unidata de la UCAR en varios lenguajes de programación, todas las bibliotecas NetCDF incluyen funcionalidades integradas para recuperar datos (en formato de matriz) de los servidores DAP.

Un cliente que utiliza datos hace referencia a un conjunto de datos mediante su URL y solicita metadatos o contenido enviando (generalmente a través de una biblioteca DAP integrada) una solicitud HTTP a un servidor DAP. Las solicitudes de contenido suelen ir precedidas de solicitudes de metadatos que describen la estructura y otros detalles del conjunto de datos referenciado. Con esta información, el cliente puede construir expresiones de restricción DAP ^{[ 7 ]} para recuperar contenido específico (es decir, subconjuntos) de la fuente. Los servidores OPeNDAP ofrecen varios tipos de respuestas, según el formato específico de la solicitud del cliente, incluyendo XML, JSON, HTML y ASCII. En respuesta a las solicitudes de contenido , los servidores OPeNDAP pueden responder con documentos MIME multiparte que incluyen una parte binaria con codificación NetCDF o nativa de DAP. (Estos formatos binarios ofrecen una forma compacta de entregar grandes volúmenes de contenido, e incluso se puede transmitir el formato nativo de DAP si se desea).

El software de OPeNDAP para la creación de servidores DAP (sobre Apache ) se denomina Hyrax e incluye adaptadores que facilitan la entrega de una amplia variedad de datos de origen. Los servidores DAP suelen permitir el acceso (remoto) a archivos HDF o NetCDF (de gran tamaño), pero los datos de origen pueden encontrarse en bases de datos u otros formatos, incluidos los definidos por el usuario. Cuando los datos de origen están organizados como archivos, las recuperaciones DAP permiten, mediante la creación de subconjuntos , un acceso más granular que el que ofrece FTP . Además, los servidores OPeNDAP pueden agregar subconjuntos de varios archivos para su entrega en una única recuperación. En conjunto, la creación de subconjuntos, la agregación y la transmisión de datos pueden generar una eficiencia sustancial en el acceso a los datos, incluso en presencia de redes lentas.

OPeNDAP y otros servidores DAP se utilizan operativamente en agencias gubernamentales, como la NASA y la NOAA , para proporcionar acceso a datos de ciencias de la Tierra , incluyendo imágenes satelitales y otras fuentes de información de gran volumen. El modelo de datos DAP abarca un conjunto integral de estructuras de datos, incluyendo matrices multidimensionales y secuencias anidadas (es decir, registros), complementado por un conjunto igualmente rico de expresiones de restricción. Por lo tanto, la arquitectura de recuperación de datos de OPeNDAP ha demostrado su utilidad en una amplia gama de tipos de datos científicos, incluyendo datos generados mediante simulaciones y datos generados mediante observaciones (ya sean de teledetección o medidas in situ).

• OPeNDAP.org
• Tutorial sobre el uso de OPeNDAP para el acceso a datos en PO.DAAC (Centro de Archivo Activo Distribuido de Oceanografía Física de la NASA).
• THREDDS -- Servicios temáticos de datos ambientales distribuidos en tiempo real. Archivado el 3 de noviembre de 2013 en Wayback Machine.
• dapper - Servidor OPeNDAP para datos in situ
• DChart - Visor web para datos del Sistema de Observación de la NOAA (datos in situ)
• GRADUADOS
• ncBrowse: visor Java para archivos netCDF de OPeNDAP (compatible con una amplia gama de convenciones netCDF).
• netCDF Explorer : netCDF Explorer es un navegador gráfico multiplataforma para archivos netCDF. netCDF Explorer puede explorar archivos localmente o de forma remota, mediante OPeNDAP.
• Lenguaje de comandos NCAR: software de análisis y visualización
• Hurón
• Pydap: implementación cliente/servidor escrita en Python.
• ERDDAP: servidor OPeNDAP para datos en cuadrícula y tabulares; admite una amplia gama de formatos de archivo de salida.
• Portal GCMD OPeNDAP de la NASA Directorio Maestro de Cambios Globales (GCMD)
• Centro de Investigación de Datos de Asia-Pacífico: un ejemplo de manual de implementación de OpenDAP.