Sistema de Datos Astrofísicos

El Sistema de Datos Astrofísicos ( ADS ) del SAO/NASA es un portal de biblioteca digital para investigadores en astronomía y física , operado para la NASA por el Observatorio Astrofísico Smithsoniano . ADS mantiene tres colecciones bibliográficas con más de 15 millones de registros, incluyendo todas las preimpresiones de arXiv . ^{[ 1 ]} Los resúmenes y el texto completo de las principales publicaciones de astronomía y física están indexados y se pueden buscar a través del portal.

Johann Friedrich Weidler publicó la primera historia completa de la astronomía en 1741 y la primera bibliografía astronómica en 1755. Esto representó un esfuerzo por archivar y clasificar los conocimientos y trabajos astronómicos anteriores.

Este esfuerzo fue continuado por Jérôme de La Lande, quien publicó su Bibliographie astronomique en 1803, una obra que abarcaba el período desde el 480 a. C. hasta el año de su publicación.

La Bibliographie générale de l'astronomie, Volumen I y Volumen II , publicada por JC Houzeau y A. Lancaster, siguió en 1882 hasta 1889. ^{[ 2 ] [ 3 ]}

A medida que aumentaba el número de astrónomos y publicaciones astronómicas, las labores bibliográficas se convirtieron en tareas institucionales, primero en el Observatorio Real de Bélgica , donde se publicó la Bibliografía de Astronomía desde 1881 hasta 1898, y luego en el Instituto de Cálculo Astronómico de Heidelberg, donde se publicó el Informe Anual Astronómico desde 1899 hasta 1968. Después de 1968, este fue reemplazado por la serie anual de libros Resúmenes de Astronomía y Astrofísica , que continuó hasta finales del siglo XX.

La primera sugerencia de una base de datos digital de resúmenes de artículos de revistas se hizo en una conferencia sobre Astronomía a partir de grandes bases de datos celebrada en Garching bei München en 1987. ^{[ 4 ] [ 5 ] [ 6 ] [ 7 ]}

En 1988 se creó una versión inicial de ADS, con una base de datos de 40 artículos, como prueba de concepto. El Servicio de Resúmenes de ADS estuvo disponible para uso general a través de un software de red propietario en abril de 1993, y se conectó a SIMBAD unos meses después. A principios de 1994 se lanzó el servicio web de ADS, que prácticamente cuadruplicó el número de usuarios activos en las cinco semanas posteriores a su lanzamiento. ^{[ 8 ]}

En 2011, ADS lanzó ADS Labs Streamlined Search, que introdujo facetas para refinar y seleccionar consultas. En 2013, ADS Labs 2.0 comenzó a presentar un nuevo motor de búsqueda, funcionalidad de búsqueda de texto completo, facetas escalables y se introdujo una API. En 2015, el nuevo ADS, con nombre en clave Bumblebee, se lanzó como ADS-beta. El sistema ADS-beta presenta una API de microservicios y carga dinámica de páginas del lado del cliente servida en una plataforma en la nube. En mayo de 2018, se eliminó la etiqueta beta y Bumblebee se convirtió en la interfaz predeterminada de ADS, con algunas funciones heredadas (ADS Classic) aún disponibles. ^{[ 9 ]} El desarrollo continúa hasta el día de hoy, con una API extensible disponible: lo que permite a los usuarios crear sus propias utilidades sobre el registro bibliográfico de ADS.

El servicio ADS se distribuye mundialmente con doce sitios espejo en doce países y con la base de datos sincronizada mediante actualizaciones semanales usando rsync , una utilidad de replicación que permite actualizar solo las partes de la base de datos que han cambiado. Todas las actualizaciones se activan de forma centralizada, pero inician scripts en los sitios espejo que "extraen" los datos actualizados de los servidores principales de ADS. ^{[ 10 ]}

Inicialmente, los artículos de revistas disponibles a través de ADS eran exclusivamente mapas de bits escaneados a partir de las revistas impresas y los resúmenes creados mediante software de reconocimiento óptico de caracteres . Algunos de estos artículos escaneados, hasta aproximadamente 1995, están disponibles gratuitamente gracias a un acuerdo con las editoriales de las revistas, ^{[ 11 ]} y algunos datan incluso de principios del siglo XIX. Con el tiempo, debido a la mayor difusión de las ediciones en línea de las publicaciones de revistas, los resúmenes comenzaron a cargarse directamente en ADS.

Los artículos se indexan en la base de datos mediante su registro bibliográfico, que contiene los detalles de la revista en la que se publicaron y diversos metadatos asociados , como listas de autores, referencias y citas . Originalmente, estos datos se almacenaban en formato ASCII, pero las limitaciones de este formato impulsaron a los responsables de la base de datos a migrar todos los registros a un formato XML (Lenguaje de Marcado Extensible) en el año 2000. Los registros bibliográficos se almacenan ahora como un elemento XML con subelementos para los distintos metadatos. ^{[ 10 ]}

Los artículos escaneados se almacenan en formato TIFF con resolución media y alta . Los archivos TIFF se convierten bajo demanda a archivos GIF para su visualización en pantalla y a archivos PDF o PostScript para su impresión. Los archivos generados se almacenan en caché para evitar regeneraciones innecesariamente frecuentes de los artículos más populares. En el año 2000, ADS contenía 250 GB de escaneos, que comprendían 1.128.955 páginas de artículos correspondientes a 138.789 artículos. En 2005, esta cifra había aumentado a 650 GB y se esperaba que creciera aún más hasta aproximadamente 900 GB en 2007. ^{[ 11 ]} No se ha publicado más información (2005).

La base de datos inicialmente contenía solo referencias astronómicas, pero ahora ha crecido hasta incorporar tres bases de datos, que abarcan referencias de astronomía (incluidas ciencias planetarias y física solar), referencias de física (incluidas instrumentación y geociencias), así como preimpresiones de artículos científicos de arXiv . La base de datos de astronomía es, con diferencia, la más avanzada y su uso representa aproximadamente el 85 % del uso total de ADS. Los artículos se asignan a las diferentes bases de datos según el tema, en lugar de la revista en la que se publican, de modo que los artículos de una misma revista pueden aparecer en las tres bases de datos temáticas. La separación de las bases de datos permite personalizar las búsquedas en cada disciplina, de manera que las palabras pueden recibir automáticamente diferentes ponderaciones en las distintas búsquedas en las bases de datos, según su frecuencia en el campo correspondiente. ^{[ 10 ]}

Los datos del archivo de preimpresiones se actualizan diariamente desde arXiv, el repositorio dominante de preimpresiones de física y astronomía. La aparición de servidores de preimpresiones, como ADS, ha tenido un impacto significativo en el ritmo de la investigación astronómica, ya que los artículos suelen estar disponibles en estos servidores semanas o meses antes de su publicación en las revistas. La incorporación de preimpresiones de arXiv a ADS permite que el motor de búsqueda devuelva la investigación más reciente disponible, con la salvedad de que las preimpresiones podrían no haber sido revisadas por pares ni corregidas según el estándar requerido para su publicación en las principales revistas. La base de datos de ADS vincula las preimpresiones con los artículos publicados posteriormente siempre que sea posible, de modo que las búsquedas de citas y referencias devolverán enlaces al artículo de la revista donde se citó la preimpresión. ^{[ 12 ]}

El software se ejecuta en un sistema diseñado específicamente para el ADS, lo que permite una amplia personalización para necesidades astronómicas que no habría sido posible con un software de base de datos de propósito general . Los scripts están diseñados para ser lo más independientes posible de la plataforma, dada la necesidad de facilitar la replicación en diferentes sistemas alrededor del mundo, aunque el creciente uso de Linux como sistema operativo preferido en astronomía ha llevado a una mayor optimización de los scripts para su instalación en dicha plataforma. ^{[ 10 ]}

El servidor principal de ADS está ubicado en el Centro de Astrofísica | Harvard & Smithsonian en Cambridge, Massachusetts , y es un servidor Intel X86 dual de 64 bits con dos CPU de cuatro núcleos a 3,0 GHz y 32 GB de RAM , que ejecuta la distribución Linux CentOS 5.4 . ^{[ 11 ]} A partir de 2022, existen réplicas ubicadas en China, Chile, Francia, Alemania, Japón, Rusia, Reino Unido y Ucrania. ^{[ 13 ]}

Actualmente (2005), ADS recibe resúmenes o tablas de contenido de casi doscientas revistas científicas. El servicio puede recibir datos que se refieren al mismo artículo de múltiples fuentes y crea una referencia bibliográfica basada en los datos más precisos de cada fuente. El uso común de TeX y LaTeX por casi todas las revistas científicas facilita enormemente la incorporación de datos bibliográficos al sistema en un formato estandarizado, y la importación de artículos web codificados en HTML también es sencilla. ADS utiliza scripts de Python y Perl para importar, procesar y estandarizar datos bibliográficos. ^{[ 10 ]}

La tarea aparentemente sencilla de convertir los nombres de los autores al formato estándar Apellido , Inicial es, en realidad, una de las más difíciles de automatizar, debido a la gran variedad de convenciones de nomenclatura que existen en todo el mundo y a la posibilidad de que un nombre como Davis pueda ser nombre de pila , segundo nombre o apellido. La conversión precisa de nombres requiere un conocimiento detallado de los nombres de los autores que trabajan en astronomía, y ADS mantiene una extensa base de datos de nombres de autores, que también se utiliza para realizar búsquedas en la base de datos (véase más abajo).

Para los artículos electrónicos, la lista de referencias que aparece al final del artículo se extrae fácilmente. Para los artículos escaneados, la extracción de referencias se realiza mediante OCR. La base de datos de referencias se puede invertir para obtener las citas de cada artículo. Las listas de citas se han utilizado anteriormente para identificar artículos populares que faltaban en la base de datos; la mayoría eran anteriores a 1975 y ahora se han incorporado al sistema.

La base de datos contiene actualmente más de quince millones de artículos. En el caso de las principales revistas de astronomía ( Astrophysical Journal , Astronomical Journal , Astronomy and Astrophysics , Publications of the Astronomical Society of the Pacific y Monthly Notices of the Royal Astronomical Society ), la cobertura es completa, con todos los números indexados desde el 1 hasta el presente. Estas revistas representan aproximadamente dos tercios de los artículos de la base de datos, mientras que el resto consiste en artículos publicados en más de 100 revistas de todo el mundo, así como en actas de congresos. ^{[ 11 ]}

Si bien la base de datos contiene el contenido completo de todas las revistas principales y muchas secundarias, su cobertura de referencias y citas es mucho menos completa. Las referencias y citas de artículos en las revistas principales son bastante completas, pero no se pueden encontrar coincidencias con referencias como "comunicación privada", "en prensa" o "en preparación", y los errores de los autores en las listas de referencias también introducen posibles errores. Los artículos de astronomía pueden citar y ser citados por artículos en revistas que quedan fuera del alcance de ADS, como revistas de química , matemáticas o biología . ^{[ 14 ]}

Desde su creación, el ADS ha desarrollado un motor de búsqueda altamente complejo para consultar las bases de datos de resúmenes y objetos . El motor de búsqueda está diseñado específicamente para la búsqueda de resúmenes astronómicos, y tanto el motor como su interfaz de usuario presuponen que el usuario tiene amplios conocimientos de astronomía y es capaz de interpretar los resultados de búsqueda, los cuales están diseñados para devolver más que solo los artículos más relevantes. La base de datos se puede consultar por nombres de autores, nombres de objetos astronómicos , palabras del título y palabras en el texto del resumen, y los resultados se pueden filtrar según varios criterios. Funciona recopilando primero sinónimos y simplificando los términos de búsqueda como se describió anteriormente, y luego generando un "archivo invertido", que es una lista de todos los documentos que coinciden con cada término de búsqueda. La lógica y los filtros seleccionados por el usuario se aplican a esta lista invertida para generar los resultados de búsqueda finales. ^{[ 15 ]}

El sistema indexa los nombres de los autores por apellido e iniciales, y tiene en cuenta las posibles variaciones ortográficas mediante una lista de variantes. Esto es común en el caso de nombres que incluyen acentos como diéresis y transliteraciones del árabe o del alfabeto cirílico . Un ejemplo de entrada en la lista de sinónimos de autor es:

AFANASJEV, V

AFANAS'EV, V

AFANAS'IEV, V

AFANASEV, V

AFANASYEV, V

AFANS'IEV, V

AFANESEV, V

La capacidad de buscar artículos sobre objetos astronómicos específicos es una de las herramientas más potentes de ADS. El sistema utiliza datos de SIMBAD , la base de datos extragaláctica NASA/IPAC , las circulares de la Unión Astronómica Internacional y el Instituto Lunar y Planetario para identificar artículos que se refieren a un objeto determinado, y también puede buscar por posición del objeto, listando artículos que tratan sobre objetos dentro de un radio de 10 minutos de arco de una ascensión recta y declinación dadas . Estas bases de datos combinan las numerosas designaciones de catálogo que un objeto puede tener, de modo que una búsqueda de las Pléyades también encontrará artículos que listan el famoso cúmulo abierto en Tauro bajo cualquiera de sus otras designaciones de catálogo o nombres populares, como M45, las Siete Hermanas o Melotte 22. ^{[ 16 ]}

El motor de búsqueda primero filtra los términos de búsqueda de varias maneras. Una M seguida de un espacio o un guion se ve afectada, eliminando así el espacio o el guion, de modo que la búsqueda de objetos del catálogo Messier se simplifica y una entrada del usuario de M45, M 45 o M-45 da como resultado la misma consulta ejecutada; de manera similar, las designaciones NGC y los términos de búsqueda comunes como Shoemaker Levy y T Tauri se despojan de espacios. Las palabras sin importancia como AT, OR y TO se eliminan, aunque en algunos casos se mantiene la distinción entre mayúsculas y minúsculas , de modo que mientras que a nd se ignora, A nd se convierte en " Andromeda " y H er se convierte en " Hercules ", pero h er se ignora. ^{[ 17 ]}

Una vez preprocesados ​​los términos de búsqueda, se consulta la base de datos con el término revisado, así como con sus sinónimos. Además de la simple sustitución de sinónimos , como la búsqueda de formas tanto plurales como singulares , ADS también busca un gran número de sinónimos específicos del ámbito astronómico. Por ejemplo, espectrógrafo y espectroscopio tienen básicamente el mismo significado, y en un contexto astronómico, metalicidad y abundancia también son sinónimos. La lista de sinónimos de ADS se creó manualmente, agrupando las palabras de la base de datos según sus significados similares. ^{[ 10 ]}

Además de sinónimos en inglés , ADS también busca traducciones al inglés de términos de búsqueda extranjeros y viceversa, de modo que una búsqueda de la palabra francesa soleil recupera referencias a Sun , y los artículos en idiomas distintos del inglés pueden ser devueltos por términos de búsqueda en inglés.

La función de reemplazo de sinónimos puede desactivarse si es necesario, de modo que se pueda buscar específicamente un término poco frecuente que sea sinónimo de un término mucho más común (como " fecha límite " en lugar de " fecha ").

El motor de búsqueda permite la selección de términos tanto dentro de los campos como entre ellos. Los términos de búsqueda en cada campo se pueden combinar con OR, AND, lógica simple o lógica booleana , y el usuario puede especificar qué campos deben coincidir en los resultados de la búsqueda. Esto permite crear búsquedas complejas; por ejemplo, el usuario podría buscar artículos sobre NGC 6543 o NGC 7009 , cuyos títulos contengan (radio o velocidad) y no (abundancia o temperatura).

Los resultados de la búsqueda se pueden filtrar según diversos criterios, como especificar un rango de años (por ejemplo, de 1945 a 1975), del año 2000 a la actualidad o antes de 1900), y el tipo de revista en la que aparece el artículo (incluidos artículos no revisados ​​por pares, como actas de congresos ). Estos artículos se pueden excluir o buscar específicamente, o bien se pueden incluir o excluir revistas específicas de la búsqueda.

Aunque se concibió como un medio para acceder a resúmenes y artículos, ADS proporciona una cantidad considerable de información complementaria junto con los resultados de búsqueda. Para cada resumen devuelto, se proporcionan enlaces a otros artículos de la base de datos que se citan y que, a su vez, lo referencian, y un enlace a una preimpresión, si existe. El sistema también genera un enlace a artículos "leídos también", es decir, aquellos a los que han accedido con mayor frecuencia los lectores del artículo. De esta manera, un usuario de ADS puede determinar qué artículos son de mayor interés para los astrónomos interesados ​​en el tema de un artículo determinado. ^{[ 15 ]}

También se incluyen enlaces a las bases de datos de nombres de objetos SIMBAD y/o NASA Extragalactic Database , a través de las cuales un usuario puede encontrar rápidamente datos de observación básicos sobre los objetos analizados en un artículo y encontrar otros artículos sobre esos objetos.

ADS se utiliza casi universalmente como herramienta de investigación entre los astrónomos, y existen varios estudios que han estimado cuantitativamente cuánto más eficiente ha hecho ADS la astronomía; uno estimó que ADS aumentó la eficiencia de la investigación astronómica en 333 años de investigación equivalentes a tiempo completo por año, ^{[ 8 ]} y otro encontró que en 2002 su efecto fue equivalente a 736 investigadores a tiempo completo, o toda la investigación astronómica realizada en Francia. ^{[ 18 ]} ADS ha permitido que las búsquedas bibliográficas que antes habrían tardado días o semanas en realizarse se completen en segundos, y se estima que ADS ha aumentado la lectura y el uso de la literatura astronómica en un factor de aproximadamente tres desde su creación. ^{[ 18 ]}

En términos monetarios, este aumento de eficiencia representa una cantidad considerable. Existen alrededor de 12 000 investigadores astronómicos activos en todo el mundo, por lo que ADS equivale a aproximadamente el 5 % de la población activa de astrónomos. El presupuesto global para la investigación astronómica se estima entre 4000 y 5000 millones de dólares estadounidenses ^{[ 19 ]} , por lo que el valor de ADS para la astronomía sería de entre 200 y 250 millones de dólares estadounidenses anuales. Su presupuesto operativo es una pequeña fracción de esta cantidad ^{[ 18 ] .}

La gran importancia del ADS para los astrónomos ha sido reconocida por las Naciones Unidas , cuya Asamblea General ha elogiado al ADS por su labor y éxito, destacando en particular su importancia para los astrónomos del mundo en desarrollo, en informes del Comité de las Naciones Unidas sobre la Utilización del Espacio Ultraterrestre con Fines Pacíficos . Un informe de 2002 de un comité visitante al Centro de Astrofísica, por su parte, afirmó que el servicio había «revolucionado el uso de la literatura astronómica» y era «probablemente la contribución individual más valiosa a la investigación astronómica que el CfA ha realizado a lo largo de su historia». ^{[ 20 ]}

Debido a que es utilizado casi universalmente por los astrónomos, el ADS puede revelar mucho sobre cómo se distribuye la investigación astronómica en todo el mundo. La mayoría de los usuarios acceden al sistema desde instituciones de educación superior, cuya dirección IP puede usarse fácilmente para determinar la ubicación geográfica del usuario. Los estudios revelan que los astrónomos con mayor número de usuarios per cápita de ADS son los de Francia y los Países Bajos, y si bien los países más desarrollados (medidos por el PIB per cápita ) utilizan el sistema más que los países menos desarrollados, la relación entre el PIB per cápita y el uso de ADS no es lineal. El rango de uso de ADS per cápita supera con creces el rango del PIB per cápita, y se ha encontrado que la investigación básica realizada en un país, medida por el uso de ADS, es proporcional al cuadrado del PIB del país dividido por su población. ^{[ 18 ]} Las estadísticas también implican que hay aproximadamente tres veces más astrónomos en países de cultura europea que en países de cultura asiática , lo que tal vez sugiere diferencias culturales en la importancia que se le otorga a la investigación astronómica. ^{[ 18 ]} Se ha constatado que la cantidad de investigación básica realizada en un país es proporcional al número de astrónomos en ese país multiplicado por su PIB per cápita, con una dispersión considerable.

ADS también se ha utilizado para demostrar que la fracción de artículos de astronomía de un solo autor ha disminuido sustancialmente desde 1975 y que los artículos astronómicos con más de 50 autores se han vuelto más comunes desde 1990. ^{[ 21 ]}

• Lista de bases de datos académicas y motores de búsqueda
• Bibcode
• INSPIRE-HEP
• Sistema de Datos Planetarios (PDS) de la NASA
• PubMed
• Michael J. Kurtz

• Sitio web oficial