Repositorios de datos

Data Commons es una plataforma de código abierto ^{[ 1 ]} creada por Google ^{[ 2 ]} que proporciona un grafo de conocimiento abierto , que combina conjuntos de datos económicos, científicos y otros conjuntos de datos públicos en una vista unificada. ^{[ 3 ]} Ramanathan V. Guha , creador de estándares web como RDF , ^{[ 4 ]} RSS y Schema.org , ^{[ 5 ]} fundó el proyecto, ^{[ 6 ]} que ahora está dirigido por Prem Ramaswami. ^{[ 7 ]}

El sitio web Data Commons se lanzó en mayo de 2018 con un conjunto de datos inicial que consistía en datos de verificación de hechos publicados en formato Schema.org "ClaimReview" por varios verificadores de hechos de la Red Internacional de Verificación de Hechos . ^{[ 8 ] [ 9 ]} Google ha trabajado con socios como las Naciones Unidas (ONU) para alimentar el repositorio, ^{[ 2 ]} que también incluye datos del Censo de los Estados Unidos , el Banco Mundial , la Oficina de Estadísticas Laborales de los Estados Unidos , ^{[ 10 ]} Wikipedia , la Administración Nacional Oceánica y Atmosférica y la Oficina Federal de Investigación . ^{[ 11 ]}

El servicio se expandió durante 2019 para incluir un grafo de conocimiento de estilo RDF alimentado a partir de varios conjuntos de datos abiertos, en su mayoría estadísticos. El servicio se anunció a un público más amplio en 2019. ^{[ 12 ]} En 2020, el servicio mejoró su cobertura de conjuntos de datos no estadounidenses, al tiempo que aumentó su cobertura de bioinformática y coronavirus . ^{[ 13 ]} En 2023, el servicio se relanzó con una interfaz de lenguaje natural impulsada por un gran modelo de lenguaje . ^{[ 2 ]} También se lanzó como el backend del portal de datos de la ONU con datos de los Objetivos de Desarrollo Sostenible . ^{[ 14 ]}

Data Commons pone mayor énfasis en los datos estadísticos que las iniciativas de datos enlazados y grafos de conocimiento . Incluye datos geográficos, demográficos, meteorológicos e inmobiliarios junto con otras categorías, ^{[ 3 ]} describiendo estados, distritos congresionales y ciudades en los Estados Unidos, así como especímenes biológicos, centrales eléctricas y elementos del genoma humano a través del proyecto Encyclopedia of DNA Elements (ENCODE) . ^{[ 11 ]} Representa los datos como triples semánticos, cada uno de los cuales puede tener su propia procedencia. ^{[ 3 ]} Se centra en la integración orientada a entidades de observaciones estadísticas de una variedad de conjuntos de datos públicos. Aunque admite un subconjunto del lenguaje de consulta SPARQL del W3C , ^{[ 15 ]} sus API ^{[ 16 ]} también incluyen herramientas, como una interfaz de dataframe de Pandas , orientadas a la ciencia de datos, la estadística y la visualización de datos.

Data Commons es integrador, lo que significa que no proporciona una plataforma de alojamiento para diferentes conjuntos de datos, sino que intenta consolidar gran parte de la información proporcionada por los conjuntos de datos en un único gráfico de datos.

Data Commons se basa en un modelo de datos de grafo . Se puede acceder al grafo a través de una interfaz de navegador y varias API, ^{[ 3 ] [ 11 ]} y se expande mediante la carga de datos (normalmente plantillas basadas en CSV y MCF ). ^{[ 17 ]} Se puede acceder al grafo mediante consultas en lenguaje natural en la Búsqueda de Google . ^{[ 18 ]} El vocabulario de datos utilizado para definir el grafo de datacommons.org se basa en Schema.org . ^{[ 3 ]} En particular, los términos de Schema.org StatisticalPopulation ^{[ 19 ]} y Observation ^{[ 20 ]} se propusieron a Schema.org para admitir casos de uso similares a datacommons. ^{[ 21 ]}

El software del proyecto está disponible en GitHub bajo ^la licencia Apache 2. ^{[ 22} ]

• Sitio web oficial
• Repositorio de GitHub