Articulo de referencia

Cubo de datos geocientíficos australianos

El Cubo de Datos Geocientíficos Australianos ( AGDC ) es un método para almacenar, procesar y analizar grandes conjuntos de datos de observación de la Tierra. Esta tecnología es...

El Cubo de Datos Geocientíficos Australianos ( AGDC ) es un método para almacenar, procesar y analizar grandes conjuntos de datos de observación de la Tierra. Esta tecnología está diseñada para responder a desafíos de interés nacional, gracias a su agilidad y flexibilidad para manejar grandes cantidades de datos de cuadrícula estratificados.

El AGDC reduce el tiempo de procesamiento del análisis de imágenes tradicional mediante la calibración, el cálculo previo de extensiones conocidas, la alineación de píxeles y el almacenamiento de metadatos en una estructura de red celular. Los datos alineados temporal y temporalmente a menudo se pueden analizar más rápidamente en las dimensiones espacio-temporales que las técnicas anteriores basadas en escenas. Esto permite que el AGDC sea flexible para abordar desafíos futuros y mejorar los tiempos de análisis en repositorios de datos de observación de la Tierra cada vez mayores .

El AGDC también se ha utilizado internacionalmente [ 1 ] para permitir a los países mantener programas ecológicamente sostenibles y reducir la curva de dificultad de utilizar datos de teledetección . [ 2 ]

Fondo

El AGDC fue concebido originalmente por Geoscience Australia , pero ahora se mantiene mediante una colaboración entre Geoscience Australia , la Organización de Investigación Científica e Industrial de la Commonwealth (CSIRO) y la Instalación Nacional de Infraestructura Computacional (Australia) (NCI). Esto es posible gracias a la financiación de la colaboración y de varias organizaciones, como la Estrategia Nacional de Infraestructura de Investigación Colaborativa (NCRIS). [ 3 ]

Datos listos para el análisis, ingesta e indexación.

Los datos procesados ​​en el cubo se preparan para el análisis [ 4 ] antes de ser ingeridos e indexados en el AGDC. Los datos preparados para el análisis son datos preprocesados ​​a los que se les han aplicado correcciones para la calibración del instrumento (ganancias y desplazamientos), la geolocalización (alineación espacial) y la radiometría (iluminación solar, ángulo de incidencia, topografía, interferencia atmosférica). El proceso de ingesta gestiona la traducción de los conjuntos de datos a las unidades de almacenamiento, manteniendo un índice de la base de datos. Se puede acceder a los datos dentro del almacenamiento y el índice mediante llamadas a la API, a menudo compiladas en código como Python (lenguaje de programación) .

Ejemplo:

s2a_l1c = dc.load(product='s2a_level1c_granule',x=(147.36, 147.41), y=(-35.1, -35.15), measurements=['04','03','02'], output_crs='EPSG:4326', resolution=(-0.00025,0.00025))

Conjuntos de datos almacenados actualmente

Conjuntos de datos que se han probado

Código abierto

El código fuente de AGDC se encuentra en GitHub como un repositorio abierto. [ 5 ] El código fuente principal se trasladó a Open Data Cube a principios de 2017 como parte de una colaboración internacional. Si bien el código fuente es Open Data Cube , existen cubos individuales como entidades independientes, como AGDC en la National Computational Infrastructure National Facility (Australia) (NCI) que utiliza el High-Performance Computing Cluster (HPCC) . El código fuente principal se puede instalar en computadoras personales o públicas (usando git) y cuenta con numerosas pruebas unitarias.

La documentación del código fuente se encuentra en Read the Docs. [ 6 ]

Desafíos de la AGDC

El AGDC está diseñado para afrontar desafíos de importancia nacional como los siguientes.

Premios internacionales

La AGDC ganó el premio a la Plataforma de Contenido del Año 2016 del Geospatial World Forum. [ 7 ] [ 8 ]

Referencias

  1. "CEOs" . Archivado del original el 14-11-2019 . Consultado el 14-03-2017 .
  2. "Plataforma de cubos de datos CEOS versión 2 (CEOS2)" . software.nasa.gov . Archivado del original el 15 de marzo de 2017.
  3. "Estrategia Nacional de Infraestructura para la Investigación Colaborativa (NCRIS)" . 5 de octubre de 2021.
  4. "Open Data Cube | Open Source" . Open Data Cube .
  5. ^ "Opendatacube/Datacube-núcleo" . GitHub . 20 de enero de 2022.
  6. "Manual de Open Data Cube — Documentación de Open Data Cube 1.8" .
  7. "La innovación australiana del Cubo de Datos Geocientíficos es reconocida a nivel mundial" . 23 de enero de 2017.
  8. "Foro Mundial Geoespacial 2024 : 13-16 de mayo, Rotterdam, Países Bajos | Una conferencia geoespacial" . geospatialworldforum.org .