Sistema de almacenamiento de alto rendimiento

El Sistema de Almacenamiento de Alto Rendimiento ( HPSS ) es un producto de gestión de almacenamiento jerárquico (HSM) flexible, escalable , basado en políticas y definido por software, desarrollado por la Colaboración HPSS . Proporciona servicios escalables de HSM, archivo y sistema de archivos utilizando tecnologías de clúster, LAN y red de área de almacenamiento (SAN) para agregar la capacidad y el rendimiento de múltiples computadoras, discos, sistemas de discos, unidades de cinta y bibliotecas de cintas. ^{[ 1 ]}

HPSS admite diversos métodos para acceder y crear datos. Entre ellos se incluyen la compatibilidad con FTP , FTP paralelo, FUSE (Linux), así como una sólida API de cliente con soporte para E/S paralela.

HPSS es totalmente compatible con Red Hat Linux . La API del cliente HPSS es compatible con AIX , Linux y Solaris . ^{[ 1 ]}

El almacén de metadatos de backend está construido sobre Db2 de IBM, un sistema de gestión de bases de datos relacionales escalable .

A principios de 1992, varios laboratorios nacionales del Departamento de Energía de los Estados Unidos (DOE) —Lawrence Livermore (LLNL), Los Alamos (LANL), Oak Ridge (ORNL) y Sandia (SNL)— se unieron a IBM para formar el Laboratorio Nacional de Almacenamiento (NSL). ^{[ 2 ]} El propósito del NSL era comercializar tecnologías de software y hardware que superaran los cuellos de botella en computación y almacenamiento de datos. ^{[ 3 ]} La investigación del NSL sobre almacenamiento de datos dio origen a la colaboración que produce HPSS. Esta colaboración comenzó en el otoño de 1992 ^{[ 4 ]} e involucró a Houston Global Services de IBM y cinco laboratorios nacionales del DOE ( Lawrence Berkeley [LBL], LLNL, LANL, ORNL y SNL). ^{[ 1 ]} En ese momento, el equipo de diseño de HPSS en los laboratorios nacionales del DOE e IBM reconoció que habría una explosión en el almacenamiento de datos impulsada por el aumento de la potencia de cálculo a teraflops / petaflops , lo que requeriría que los datos almacenados en HSM aumentaran a petabytes y más, las tasas de transferencia de datos con el HSM aumentaran a gigabytes/s y superiores, y el rendimiento diario con un HSM en decenas de terabytes por día. Por lo tanto, la colaboración se propuso diseñar e implementar un sistema que escalara por un factor de 1000 o más y evolucionara desde la base anterior hacia estos objetivos previstos y más allá. ^{[ 5 ]}

La colaboración HPSS se basa en la premisa de que ninguna organización por sí sola posee la experiencia y los recursos necesarios para afrontar todos los desafíos que plantea el creciente desequilibrio entre la capacidad de procesamiento y la recopilación de datos, así como la capacidad, la funcionalidad y las operaciones de entrada/salida de los sistemas de almacenamiento. Más de veinte organizaciones de todo el mundo, entre las que se incluyen la industria, el Departamento de Energía de Estados Unidos (DOE), otros laboratorios federales, universidades, centros de supercomputación de la Fundación Nacional de Ciencias (NSF), el Comisariado de Energía Atómica de Francia (CEA) y Gleicher Enterprises, han contribuido a diversos aspectos de este esfuerzo.

A partir de 2022, el equipo principal de desarrollo de HPSS está compuesto por:

• IBM Global Business Services ( Houston , TX )
• Laboratorio Nacional de Los Álamos ( Los Álamos , Nuevo México )
• Laboratorio Nacional Lawrence Livermore ( Livermore , California )
• Centro Nacional de Computación Científica para la Investigación Energética Lawrence Berkeley ( Berkeley , California )
• Laboratorio Nacional de Oak Ridge ( Oak Ridge , Tennessee )
• Laboratorio Nacional Sandia ( Albuquerque , Nuevo México )

• En marzo de 2024, el ECMWF se convirtió en el primer sitio HPSS en alcanzar un exabyte de datos almacenados en un único espacio de nombres HPSS. ^{[ 6 ]}
• El 14 de noviembre de 2007, el Centro de Supercomputación de San Diego, junto con IBM , DataDirect y Brocade, realizó una prueba de "Mil millones de archivos" que logró realizar una copia de seguridad exitosa de mil millones de archivos desde GPFS a HPSS. ^{[ 7 ]}
• En mayo de 2013, una instalación HPSS de 380 petabytes entró en servicio en el Centro Nacional de Aplicaciones de Supercomputación (NCSA) de la Universidad de Illinois en Urbana-Champaign . ^{[ 8 ]}