Supercomputación cuasi-oportunista

La supercomputación cuasi-oportunista es un paradigma computacional para la supercomputación en un gran número de computadoras geográficamente dispersas . ^{[ 3 ]} La supercomputación cuasi-oportunista tiene como objetivo proporcionar una mayor calidad de servicio que el uso compartido oportunista de recursos . ^{[ 4 ]}

El enfoque cuasi-oportunista coordina computadoras que a menudo pertenecen a diferentes propietarios para lograr un alto rendimiento confiable y tolerante a fallas con mayor control que las redes informáticas oportunistas en las que los recursos computacionales se utilizan cuando están disponibles. ^{[ 3 ]}

Si bien el enfoque de "emparejamiento oportunista" para la programación de tareas en redes informáticas es más simple, ya que simplemente empareja las tareas con los recursos disponibles en un momento dado, las exigentes aplicaciones de supercomputación, como las simulaciones meteorológicas o la dinámica de fluidos computacional, han permanecido fuera de alcance, en parte debido a las barreras para la subasignación confiable de un gran número de tareas, así como a la disponibilidad confiable de recursos en un momento dado. ^{[ 5 ] [ 6 ]}

El enfoque cuasi-oportunista permite la ejecución de aplicaciones exigentes dentro de redes informáticas mediante el establecimiento de acuerdos de asignación de recursos a nivel de red; y el paso de mensajes tolerante a fallos para proteger abstractamente contra los fallos de los recursos subyacentes, manteniendo así cierto oportunismo, al tiempo que permite un mayor nivel de control. ^{[ 3 ]}

El principio general de la computación en malla consiste en utilizar recursos informáticos distribuidos de diversos dominios administrativos para resolver una única tarea, utilizando los recursos a medida que están disponibles. Tradicionalmente, la mayoría de los sistemas de malla han abordado el desafío de la planificación de tareas mediante un enfoque de "emparejamiento oportunista", en el que las tareas se emparejan con los recursos disponibles en un momento dado. ^{[ 5 ]}

BOINC , desarrollado en la Universidad de California, Berkeley, es un ejemplo de un sistema de computación en malla oportunista basado en voluntarios . ^{[ 2 ]} Las aplicaciones basadas en la malla BOINC han alcanzado niveles de varios petaflops utilizando cerca de medio millón de computadoras conectadas a Internet, siempre que haya recursos voluntarios disponibles. ^{[ 7 ]} Otro sistema, Folding@home , que no se basa en BOINC, calcula el plegamiento de proteínas , ha alcanzado 8,8 petaflops utilizando clientes que incluyen sistemas GPU y PlayStation 3. ^{[ 8 ] [ 9 ] [ 2 ]} Sin embargo, estos resultados no son aplicables a las clasificaciones TOP500 porque no ejecutan el benchmark de propósito general Linpack .

Una estrategia clave para la computación en malla es el uso de middleware que divide partes de un programa entre las diferentes computadoras de la red. ^{[ 10 ]} Aunque la computación en malla general ha tenido éxito en la ejecución de tareas en paralelo, las aplicaciones exigentes de supercomputación, como las simulaciones meteorológicas o la dinámica de fluidos computacional, han permanecido fuera del alcance, en parte debido a las barreras en la subasignación confiable de un gran número de tareas, así como a la disponibilidad confiable de recursos en un momento dado. ^{[ 2 ] [ 10 ] [ 9 ]}

El servidor PrimeNet de Internet, que aprovecha las oportunidades, da soporte a GIMPS , uno de los primeros proyectos de computación en malla desde 1997, que investiga los números primos de Mersenne . A partir de mayo de 2011 La investigación distribuida de GIMPS actualmente alcanza alrededor de 60 teraflops como un proyecto de computación basado en voluntarios. ^{[ 11 ]} El uso de recursos informáticos en " redes de voluntarios " como GIMPS suele ser puramente oportunista: computadoras de propiedad distribuida y geográficamente dispersas contribuyen cuando están disponibles, sin compromisos preestablecidos de que algún recurso estará disponible en un momento dado. Por lo tanto, hipotéticamente, si muchos de los voluntarios deciden involuntariamente apagar sus computadoras en un día determinado, los recursos de la red se reducirán significativamente. ^{[ 12 ] [ 2 ] [ 9 ]} Además, a los usuarios les resultará extremadamente costoso organizar una gran cantidad de recursos informáticos oportunistas de manera que se pueda lograr una computación de alto rendimiento razonable . ^{[ 12 ] [ 13 ]}

Un ejemplo de una red más estructurada para la computación de alto rendimiento es DEISA , un proyecto de supercomputadora organizado por la Comunidad Europea que utiliza computadoras en siete países europeos. ^{[ 14 ]} Aunque diferentes partes de un programa que se ejecuta dentro de DEISA pueden estar ejecutándose en computadoras ubicadas en diferentes países bajo diferentes propietarios y administraciones, existe mayor control y coordinación que con un enfoque puramente oportunista. DEISA tiene un esquema de integración de dos niveles: el "nivel interno" consta de varios clústeres de computadoras de alto rendimiento fuertemente conectados que comparten sistemas operativos y mecanismos de planificación similares y proporcionan un entorno de computación homogéneo ; mientras que el "nivel externo" consta de sistemas heterogéneos que tienen capacidades de supercomputación. ^{[ 15 ]} Por lo tanto, DEISA puede proporcionar servicios de computación de alto rendimiento a los usuarios, aunque parcialmente controlados y distribuidos. ^{[ 15 ] [ 16 ]}

El paradigma cuasi-oportunista busca superar esto logrando un mayor control sobre la asignación de tareas a recursos distribuidos y el uso de escenarios prenegociados para la disponibilidad de sistemas dentro de la red. La ejecución distribuida cuasi-oportunista de software de computación paralela exigente en redes se centra en la implementación de acuerdos de asignación por red, subsistemas de co-asignación, mecanismos de asignación conscientes de la topología de comunicación, bibliotecas de paso de mensajes tolerantes a fallos y preacondicionamiento de datos. ^{[ 17 ]} En este enfoque, el paso de mensajes tolerante a fallos es esencial para proteger abstractamente contra las fallas de los recursos subyacentes. ^{[ 3 ]}

El enfoque cuasi-oportunista va más allá de la computación voluntaria en sistemas altamente distribuidos como BOINC , o la computación en malla general en un sistema como Globus, al permitir que el middleware proporcione un acceso casi sin interrupciones a muchos clústeres de computación, de modo que los programas existentes en lenguajes como Fortran o C puedan distribuirse entre múltiples recursos de computación. ^{[ 3 ]}

Un componente clave del enfoque cuasi-oportunista, como en la red Qoscos , es un modelo de asignación de recursos basado en la economía, donde los recursos se proporcionan en función de acuerdos entre sitios específicos de administración de supercomputadoras. A diferencia de los sistemas de voluntarios que se basan en el altruismo, se estipulan términos contractuales específicos para la realización de tipos específicos de tareas. Sin embargo, los paradigmas de "ojo por ojo", en los que los cálculos se compensan con cálculos futuros, no son adecuados para las aplicaciones de supercomputación y se evitan. ^{[ 18 ]}

El otro componente clave del enfoque cuasi-oportunista es un sistema confiable de paso de mensajes que proporciona mecanismos de reinicio de puntos de control distribuidos cuando el hardware o las redes de la computadora inevitablemente experimentan fallas. ^{[ 18 ]} De esta manera, si alguna parte de un cálculo grande falla, no es necesario abandonar toda la ejecución, sino que se puede reiniciar desde el último punto de control guardado. ^{[ 18 ]}

• computación en malla
• Historia de la supercomputación
• Red Qoscos
• Arquitectura de supercomputadoras
• Sistemas operativos de supercomputadoras