GPFS

GPFS ( General Parallel File System , nombre comercial IBM Storage Scale y anteriormente IBM Spectrum Scale ) ^{[ 1 ]} es un software de sistema de archivos en clúster de alto rendimiento desarrollado por IBM . Puede implementarse en modos paralelos distribuidos de disco compartido o sin disco compartido , o una combinación de ambos. Lo utilizan muchas de las mayores empresas comerciales del mundo, así como algunas de las supercomputadoras de la lista Top 500. ^{[ 2 ]} Por ejemplo, es el sistema de archivos de Summit ^{[ 3 ]} en el Laboratorio Nacional de Oak Ridge, que fue la supercomputadora más rápida del mundo en la lista Top 500 de noviembre de 2019. ^{[ 4 ]} Summit es un sistema de 200 petaflops compuesto por más de 9000 procesadores POWER9 y 27 000 GPU NVIDIA Volta . El sistema de archivos de almacenamiento se llama Alpine. ^{[ 5 ]}

Al igual que los sistemas de archivos de clúster típicos, GPFS proporciona acceso concurrente a archivos de alta velocidad a aplicaciones que se ejecutan en varios nodos de clústeres. Se puede utilizar con clústeres AIX , clústeres Linux , ^{[ 6 ]} en Microsoft Windows Server o un clúster heterogéneo de nodos AIX, Linux y Windows que se ejecutan en arquitecturas de procesadores x86 , Power o IBM Z.

GPFS comenzó como el sistema de archivos Tiger Shark , un proyecto de investigación del Centro de Investigación Almaden de IBM ya en 1993. Tiger Shark fue diseñado inicialmente para admitir aplicaciones multimedia de alto rendimiento. Este diseño resultó ser muy adecuado para la computación científica. ^{[ 7 ]}

Otro antecesor es el sistema de archivos Vesta de IBM , desarrollado como un proyecto de investigación en el Centro de Investigación Thomas J. Watson de IBM entre 1992 y 1995. ^{[ 8 ]} Vesta introdujo el concepto de particionamiento de archivos para satisfacer las necesidades de las aplicaciones paralelas que se ejecutan en multicomputadoras de alto rendimiento con subsistemas de E/S paralelos . Con el particionamiento, un archivo no es una secuencia de bytes, sino múltiples secuencias disjuntas a las que se puede acceder en paralelo. El particionamiento abstrae el número y el tipo de nodos de E/S que alojan el sistema de archivos y permite una variedad de vistas lógicamente particionadas de los archivos, independientemente de la distribución física de los datos dentro de los nodos de E/S. Las secuencias disjuntas se organizan para corresponder a los procesos individuales de una aplicación paralela, lo que permite una mayor escalabilidad. ^{[ 9 ] [ 10 ]}

Vesta se comercializó como el sistema de archivos PIOFS alrededor de 1994, ^{[ 11 ]} y fue sucedido por GPFS alrededor de 1998. ^{[ 12 ] [ 13 ]} La principal diferencia entre los sistemas de archivos antiguos y nuevos fue que GPFS reemplazó la interfaz especializada ofrecida por Vesta/PIOFS con la API estándar de Unix : todas las características para admitir E/S paralelas de alto rendimiento estaban ocultas para los usuarios y se implementaban internamente. ^{[ 7 ] [ 13 ]} GPFS también compartía muchos componentes con los productos relacionados IBM Multi-Media Server e IBM Video Charger, razón por la cual muchas utilidades de GPFS comienzan con el prefijo mm —multimedia. ^{[ 14 ] : xi}

En 2010, IBM presentó una versión preliminar de GPFS que incluía una funcionalidad conocida como GPFS-SNC, donde SNC significa Shared Nothing Cluster (Clúster sin recursos compartidos). Esta funcionalidad se lanzó oficialmente con GPFS 3.5 en diciembre de 2012 y ahora se conoce como FPO ^{[ 15 ]} (Optimizador de ubicación de archivos).

Se trata de un sistema de archivos en clúster . Divide un archivo en bloques de un tamaño configurado, de menos de 1 megabyte cada uno, que se distribuyen entre varios nodos del clúster.

El sistema almacena datos en volúmenes de almacenamiento en bloques estándar, pero incluye una capa RAID interna que puede virtualizar dichos volúmenes para lograr redundancia y acceso paralelo, de forma similar a un sistema de almacenamiento en bloques RAID. Además, tiene la capacidad de replicar datos entre volúmenes a nivel de archivo.

Las características de la arquitectura incluyen:

• Metadatos distribuidos, incluyendo la estructura de directorios. No existe un único "controlador de directorios" o "servidor de índices" a cargo del sistema de archivos.
• Indexación eficiente de entradas de directorio para directorios muy grandes.
• Bloqueo distribuido. Esto permite la semántica completa del sistema de archivos POSIX , incluido el bloqueo para el acceso exclusivo a archivos.
• Conciencia de particiones. Un fallo de red puede particionar el sistema de archivos en dos o más grupos de nodos que solo pueden ver los nodos de su grupo. Esto se detecta mediante un protocolo de latido, y cuando se produce una partición, el sistema de archivos permanece activo para la partición de mayor tamaño. Esto permite una degradación gradual del sistema de archivos: algunas máquinas seguirán funcionando.
• El mantenimiento del sistema de archivos se puede realizar en línea. La mayoría de las tareas de mantenimiento (agregar discos nuevos, reequilibrar datos entre discos) se pueden realizar mientras el sistema de archivos está activo. Esto maximiza la disponibilidad del sistema de archivos y, por lo tanto, la disponibilidad del clúster de supercomputadoras.

Otras características incluyen alta disponibilidad, capacidad de ser utilizado en un clúster heterogéneo, recuperación ante desastres, seguridad, DMAPI , HSM e ILM .

Los grupos de almacenamiento permiten agrupar discos dentro de un sistema de archivos. Un administrador puede crear niveles de almacenamiento agrupando discos según su rendimiento, ubicación o fiabilidad. Por ejemplo, un grupo podría contener discos Fibre Channel de alto rendimiento y otro, almacenamiento SATA más económico.

Un conjunto de archivos es un subárbol del espacio de nombres del sistema de archivos y permite particionar dicho espacio en unidades más pequeñas y manejables. Los conjuntos de archivos proporcionan un límite administrativo que se puede usar para establecer cuotas y especificar en una política para controlar la ubicación inicial o la migración de datos. Los datos de un único conjunto de archivos pueden residir en uno o más grupos de almacenamiento. La ubicación y la forma de migración de los datos se basan en un conjunto de reglas definidas por el usuario.

Existen dos tipos de políticas definidas por el usuario: ubicación de archivos y administración de archivos. Las políticas de ubicación de archivos dirigen los datos de los archivos, a medida que se crean, al grupo de almacenamiento correspondiente. Las reglas de ubicación de archivos se seleccionan mediante atributos como el nombre del archivo, el nombre de usuario o el conjunto de archivos. Las políticas de administración de archivos permiten mover o replicar los datos de un archivo, o bien eliminar archivos. Estas políticas se pueden usar para mover datos de un grupo a otro sin cambiar la ubicación del archivo en la estructura de directorios. Las políticas de administración de archivos se determinan mediante atributos del archivo, como la hora del último acceso, la ruta de acceso o el tamaño del archivo.

El motor de procesamiento de políticas es escalable y puede ejecutarse en varios nodos simultáneamente. Esto permite aplicar políticas de administración a un único sistema de archivos con miles de millones de archivos y completar el proceso en pocas horas.