División de Supercomputación Avanzada de la NASA

La División de Supercomputación Avanzada (NAS) de la NASA está ubicada en el Centro de Investigación Ames de la NASA , Moffett Field, en el corazón de Silicon Valley , en Mountain View, California . Ha sido el principal recurso de supercomputación, modelado y simulación para las misiones de la NASA en aerodinámica, exploración espacial, estudios de patrones climáticos y corrientes oceánicas, y diseño y desarrollo de transbordadores espaciales y aeronaves durante casi cuarenta años.

En la actualidad, la instalación alberga las supercomputadoras de petaescala Pleiades , Aitken y Electra , así como la supercomputadora de teraescala Endeavour . Los sistemas se basan en la arquitectura SGI y HPE con procesadores Intel . El edificio principal también alberga sistemas de almacenamiento en disco y cinta de archivo con una capacidad de más de un exabyte de datos, el sistema de visualización de hipermuro y una de las redes InfiniBand más grandes del mundo. ^[4] La División NAS es parte de la Dirección de Tecnología de Exploración de la NASA y opera el Proyecto de Capacidad de Computación de Alta Gama (HECC) de la NASA. ^[5]

A mediados de la década de 1970, un grupo de ingenieros aeroespaciales del Centro de Investigación Ames comenzó a estudiar la posibilidad de trasladar la investigación y el desarrollo aeroespacial de las costosas y laboriosas pruebas en túneles de viento al diseño y la ingeniería basados ​​en simulación utilizando modelos de dinámica de fluidos computacional (CFD) en supercomputadoras más potentes que las que se comercializaban en ese momento. Esta iniciativa recibió más tarde el nombre de Proyecto Simulador Aerodinámico Numérico (NAS) y la primera computadora se instaló en la Instalación Central de Computación del Centro de Investigación Ames en 1984.

El 14 de marzo de 1985 se puso la primera piedra de una instalación de supercomputación de última generación con el fin de construir un edificio en el que expertos en CFD, científicos informáticos, especialistas en visualización e ingenieros de redes y almacenamiento pudieran estar bajo un mismo techo en un entorno colaborativo. En 1986, la NAS pasó a ser una división de la NASA de pleno derecho y en 1987, el personal y el equipo de la NAS, incluida una segunda supercomputadora, una Cray-2 llamada Navier, se trasladaron a la nueva instalación, que se inauguró el 9 de marzo de 1987. ^[6]

En 1995, NAS cambió su nombre a División de Simulación Aeroespacial Numérica, y en 2001 al nombre que tiene hoy.

NAS ha sido uno de los principales innovadores en el mundo de la supercomputación, desarrollando muchas herramientas y procesos que se utilizaron ampliamente en la supercomputación comercial. Algunas de estas innovaciones incluyen: ^[7]

• Se instaló la primera supercomputadora basada en UNIX de Cray ^[8]
• Se implementó un modelo cliente/servidor que vincula las supercomputadoras y las estaciones de trabajo para distribuir la computación y la visualización.
• Desarrolló e implementó una red de área amplia (WAN) de alta velocidad que conecta recursos de supercomputación con usuarios remotos (AEROnet)
• Co-desarrolló el primer método de la NASA para la distribución dinámica de cargas de producción entre recursos de supercomputación en ubicaciones geográficamente distantes (NASA Metacenter)
• Implementación de redes TCP/IP en un entorno de supercomputación
• Desarrolló un sistema de colas por lotes para supercomputadoras (NQS)
• Desarrolló un sistema de almacenamiento masivo jerárquico basado en UNIX (NAStore)
• Co-desarrolló (con SGI) las primeras supercomputadoras IRIX con imagen de sistema único de 256, 512 y 1024 procesadores
• Co-desarrolló (con SGI) las primeras supercomputadoras de 512 y 1024 procesadores con una imagen de sistema único basada en Linux
• Un entorno de memoria compartida de 2048 procesadores

La NAS desarrolla y adapta software para "complementar y mejorar el trabajo realizado en sus supercomputadoras, incluyendo software para soporte de sistemas, sistemas de monitoreo, seguridad y visualización científica", y a menudo proporciona este software a sus usuarios a través del Acuerdo de Código Abierto de la NASA (NOSA). ^[9]

Algunos de los desarrollos de software importantes de NAS incluyen:

• Los NAS Parallel Benchmarks (NPB) se desarrollaron para evaluar supercomputadoras altamente paralelas e imitar las características de las aplicaciones CFD a gran escala.
• Portable Batch System (PBS) fue el primer software de colas de lotes para sistemas paralelos y distribuidos. Se lanzó comercialmente en 1998 y todavía se utiliza ampliamente en la industria.
• PLOT3D se creó en 1982 y es un programa de gráficos por computadora que todavía se utiliza hoy en día para visualizar las cuadrículas y las soluciones de conjuntos de datos CFD estructurados. El equipo de PLOT3D recibió el cuarto premio más importante jamás otorgado por el Programa de la Ley Espacial de la NASA por el desarrollo de su software, que revolucionó la visualización y el análisis científicos de soluciones CFD en 3D. ^[6]
• FAST (Flow Analysis Software Toolkit) es un entorno de software basado en PLOT3D que se utiliza para analizar datos de simulaciones numéricas y que, aunque está adaptado a la visualización CFD, se puede utilizar para visualizar casi cualquier dato escalar y vectorial . Recibió el premio NASA Software of the Year en 1995. ^[10]
• INS2D e INS3D son códigos desarrollados por ingenieros de la NASA para resolver ecuaciones incompresibles de Navier-Stokes en coordenadas generalizadas bidimensionales y tridimensionales, respectivamente, para flujo en estado estable y variable en el tiempo. En 1994, INS3D ganó el premio al software del año de la NASA. ^[6]
• Cart3D es un paquete de análisis de alta fidelidad para el diseño aerodinámico que permite a los usuarios realizar simulaciones CFD automatizadas en formas complejas. Todavía se utiliza en la NASA y otras agencias gubernamentales para probar diseños conceptuales y preliminares de aeronaves y naves espaciales. ^[11] El equipo de Cart3D ganó el premio al Software del Año de la NASA en 2002.
• OVERFLOW (Solucionador de flujo de rejilla desbordada) es un paquete de software desarrollado para simular el flujo de fluidos alrededor de cuerpos sólidos utilizando ecuaciones de CFD de Navier-Stokes promediadas por Reynolds. Fue el primer código CFD de la NASA de propósito general para sistemas de rejilla desbordada (Chimera) y se lanzó fuera de la NASA en 1992.
• Chimera Grid Tools (CGT) es un paquete de software que contiene una variedad de herramientas para el enfoque de cuadrícula superpuesta de Chimera para resolver problemas de CFD de generación de cuadrículas de superficie y volumen; así como manipulación, suavizado y proyección de cuadrículas.
• HiMAP Un proceso de análisis multidisciplinario (fluidos, estructuras, controles) de alta fidelidad, paralelo, de tres niveles (intra/interdisciplinario, multicaso), ^{[12] [13]}

Desde su construcción en 1987, la Instalación de Supercomputación Avanzada de la NASA ha albergado y operado algunas de las supercomputadoras más poderosas del mundo. Muchas de estas computadoras incluyen sistemas de prueba construidos para probar nuevas arquitecturas, hardware o configuraciones de red que podrían utilizarse a mayor escala. ^{[6] [8]} El rendimiento máximo se muestra en operaciones de punto flotante por segundo (FLOPS) .

En 1987, NAS se asoció con la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) y la Universidad de California, Berkeley, en el proyecto RAID ( Redundant Array of Inexpensive Disks ), que buscaba crear una tecnología de almacenamiento que combinara múltiples componentes de unidades de disco en una unidad lógica. El proyecto RAID, finalizado en 1992, dio lugar a la tecnología de almacenamiento de datos distribuidos que se utiliza en la actualidad. ^[6]

Actualmente, la instalación NAS alberga un almacenamiento masivo en disco en un clúster DMF paralelo SGI con software de alta disponibilidad que consta de cuatro sistemas front-end de 32 procesadores, que están conectados a las supercomputadoras y al sistema de almacenamiento en cinta de archivo. El sistema tiene 192 GB de memoria por front-end ^[34] y 7,6 petabytes (PB) de caché de disco. ^[4] Los datos almacenados en disco se migran regularmente a los sistemas de almacenamiento en cinta de archivo de la instalación para liberar espacio para otros proyectos de usuario que se ejecutan en las supercomputadoras.

En 1987, NAS desarrolló el primer sistema de almacenamiento masivo jerárquico basado en UNIX, denominado NAStore. Contenía dos robots de cinta de cartucho StorageTek 4400, cada uno con una capacidad de almacenamiento de aproximadamente 1,1 terabytes, lo que reducía el tiempo de recuperación de la cinta de 4 minutos a 15 segundos. ^[6]

Con la instalación de la supercomputadora Pleiades en 2008, los sistemas StorageTek que NAS había estado utilizando durante 20 años no pudieron satisfacer las necesidades de la mayor cantidad de usuarios y los tamaños de archivo cada vez mayores de los conjuntos de datos de cada proyecto . ^[35] En 2009, NAS trajo sistemas de cinta robóticos Spectra Logic T950 que aumentaron la capacidad máxima en la instalación a 16 petabytes de espacio disponible para que los usuarios archiven sus datos de las supercomputadoras. ^[36] A marzo de 2019, la instalación NAS aumentó la capacidad total de almacenamiento de archivo de las bibliotecas de cintas Spectra Logic a 1048 petabytes (o 1 exabyte) con una compresión del 35%. ^[34] La Instalación de Migración de Datos (DMF) de SGI y OpenVault administran la migración de datos de disco a cinta y la desmigración de cinta a disco para la instalación NAS.

A partir de marzo de 2019, hay más de 110 petabytes de datos únicos almacenados en el sistema de almacenamiento de archivos NAS. ^[34]

En 1984, NAS adquirió 25 terminales gráficas SGI IRIS 1000, el comienzo de su larga asociación con la empresa con sede en Silicon Valley, que tuvo un impacto significativo en el posprocesamiento y la visualización de los resultados de CFD ejecutados en las supercomputadoras de la instalación. ^[6] La visualización se convirtió en un proceso clave en el análisis de los datos de simulación ejecutados en las supercomputadoras, lo que permitió a los ingenieros y científicos ver sus resultados espacialmente y de maneras que permitieron una mayor comprensión de las fuerzas de CFD en acción en sus diseños.

En 2002, los expertos en visualización de la NAS desarrollaron un sistema de visualización llamado "hipermuro", que incluía 49 paneles LCD conectados entre sí que permitían a los científicos ver conjuntos de datos complejos en una gran matriz de pantallas dinámicas de siete por siete. Cada pantalla tenía su propia potencia de procesamiento, lo que permitía que cada una de ellas mostrara, procesara y compartiera conjuntos de datos de modo que se pudiera mostrar una sola imagen en todas las pantallas o configurarla de modo que los datos se pudieran mostrar en "celdas" como una gigantesca hoja de cálculo visual. ^[37]

La segunda generación del "hyperwall-2" fue desarrollada en 2008 por NAS en asociación con Colfax International y está formada por 128 pantallas LCD dispuestas en una cuadrícula de 8x16 de 23 pies de ancho por 10 pies de alto. Es capaz de reproducir un cuarto de billón de píxeles , lo que lo convierte en el sistema de visualización científica de mayor resolución del mundo. ^[38] Contiene 128 nodos, cada uno con dos procesadores AMD Opteron ( Barcelona ) de cuatro núcleos y una unidad de procesamiento gráfico (GPU) Nvidia GeForce 480 GTX para una potencia de procesamiento máxima dedicada de 128 teraflops en todo el sistema, 100 veces más potente que el hyperwall original. ^[39] El hyperwall-2 está conectado directamente al sistema de archivos de la supercomputadora Pleiades a través de una red InfiniBand, lo que permite al sistema leer datos directamente desde el sistema de archivos sin necesidad de copiar archivos en la memoria del hyperwall-2.

En 2014, el hipermuro se actualizó con nuevo hardware: 256 procesadores Intel Xeon "Ivy Bridge" y 128 GPU NVIDIA Geforce 780 Ti. La actualización aumentó la potencia máxima de procesamiento del sistema de 9 teraflops a 57 teraflops, y ahora tiene casi 400 gigabytes de memoria gráfica. ^[40]

En 2020, el hipermuro se actualizó aún más con nuevo hardware: 256 procesadores Intel Xeon Platinum 8268 (Cascade Lake) y 128 GPU NVIDIA Quadro RTX 6000 con un total de 3,1 terabytes de memoria gráfica. La actualización aumentó la potencia máxima de procesamiento del sistema de 57 teraflops a 512 teraflops. ^[41]

Una característica importante de la tecnología de hiperpared desarrollada en NAS es que permite la "visualización concurrente" de datos, lo que permite a los científicos e ingenieros analizar e interpretar los datos mientras se ejecutan los cálculos en las supercomputadoras. Esto no solo muestra el estado actual del cálculo para la supervisión, el control y la finalización del tiempo de ejecución, sino que también "permite una visualización con una resolución temporal mayor en comparación con el posprocesamiento porque se obvian en gran medida los requisitos de espacio de almacenamiento y de E/S... [y] puede mostrar características en una simulación que de otro modo no serían visibles". ^[42]

El equipo de visualización de NAS desarrolló una secuencia de comandos simultánea configurable para su uso con un modelo de pronóstico masivamente paralelo ejecutado en la supercomputadora Columbia en 2005 para ayudar a predecir la temporada de huracanes del Atlántico para el Centro Nacional de Huracanes . Debido a las fechas límite para enviar cada uno de los pronósticos, era importante que el proceso de visualización no obstaculizara significativamente la simulación ni provocara fallas.

• Página de inicio de la División de Supercomputación Avanzada (NAS) de la NASA
• Página de inicio del entorno informático NAS
• Página de inicio de la supercomputadora NAS Pleiades
• Página de inicio de la supercomputadora NAS Aitken
• Página de inicio de la supercomputadora NAS Electra
• Página de inicio de sistemas de almacenamiento y archivo NAS
• Página de inicio de NAS Hyperwall-2

• Sitio web oficial de la NASA
• Página de inicio del Programa de Computación de Alta Gama de la NASA
• Página de inicio del Proyecto de Capacidad de Computación de Alta Gama de la NASA
• Sitio web oficial de TOP500