Proyecto SHIWA

El proyecto SHIWA (Sharing Interoperable Workflows for large-scale scientific simulations on Available DCIs), dentro del ámbito de la computación en malla , fue liderado por el LPDS (Laboratorio de Sistemas Paralelos y Distribuidos) del Instituto de Investigación en Informática y Automatización de la MTA . El coordinador del proyecto fue el Prof. Dr. Peter Kacsuk . Comenzó el 1 de julio de 2010 y tuvo una duración de dos años. SHIWA (número de proyecto 261585) recibió financiación de la convocatoria INFRASTRUCTURES-2010-2 del 7.º Programa Marco de la Comisión Europea, bajo el acuerdo de subvención n.° 261585.

El proyecto SHIWA desarrolló e implementó la Plataforma de Simulación SHIWA (SSP) para permitir la interoperabilidad de la infraestructura y el flujo de trabajo en dos niveles:

• interoperabilidad de grano grueso, que se refiere al anidamiento de diferentes sistemas de flujo de trabajo para lograr la interoperabilidad de los marcos de ejecución.
• interoperabilidad granular, que hace referencia a las representaciones del flujo de trabajo de transformación para lograr la migración de flujos de trabajo de un sistema a otro.

Tras la finalización del proyecto, la tecnología SHIWA fue sustituida por el proyecto de apoyo ER-flow, cuyo objetivo era garantizar la sostenibilidad y ampliar la base de usuarios.

Científicos de todas las disciplinas han invertido un enorme esfuerzo en la explotación de las Infraestructuras de Computación Distribuida (ICD) por su capacidad para soportar experimentos in silico de computación intensiva y organizaciones virtuales. Muchas ICD con grandes comunidades de usuarios han surgido durante la última década, como la Infraestructura Europea Distribuida para Aplicaciones de Supercomputación (DEISA), ^{[ 1 ]} EGEE Grid (Enabling Grids for e-Science), ^{[ 2 ]} la iniciativa alemana D-Grid (D-Grid), ^{[ 3 ]} el Servicio Nacional de Redes del Reino Unido (NGS), ^{[ 4 ]} y la TeraGrid (TG) norteamericana. ^{[ 5 ]} Se basan en diferentes pilas de middleware que proporcionan una capa de abstracción entre los recursos informáticos y las aplicaciones. Por ejemplo, NGS y TeraGrid se basan en Globus Toolkit, ^{[ 6 ]} EGEE en gLite, ^{[ 7 ]} DEISA se basa tanto en Globus Toolkit como en Unicore , ^{[ 8 ]} mientras que D-Grid se ejecuta bajo gLite, Globus Toolkit y Unicore . En Europa , este impulso culmina en 2010 con la aparición de la Iniciativa Europea de Redes (EGI) que federará a todas las principales organizaciones europeas relacionadas con la computación distribuida y las Iniciativas Nacionales de Redes (NGI). En su esfuerzo por crear la próxima generación de DCI paneuropea, EGI se enfrentará a desafíos sin precedentes relacionados con la heterogeneidad de las infraestructuras de redes nacionales, los recursos y el middleware operativo. Las DCI de producción se construyen comúnmente sobre una gran cantidad de componentes, como recursos de datos, metadatoscatálogos, métodos de autenticación y autorización, y repositorios de software. Gestionar la ejecución de aplicaciones en DCI es, por consiguiente, una tarea compleja. Además, las soluciones desarrolladas para una Grid en particular son difíciles de portar a otras infraestructuras. Para ocultar esta complejidad a los investigadores y facilitar el diseño de experimentos in silico, los sistemas de flujo de trabajo se utilizan ampliamente como una capa de virtualización sobre las infraestructuras subyacentes. Se han vuelto esenciales para integrar el conocimiento tanto de la aplicación (dominio del usuario) como de la DCI (dominio de la infraestructura) con el fin de optimizar y respaldar la investigación de la comunidad de computación científica. En el panorama actual de múltiples DCI, los usuarios necesitan acceder a diferentes infraestructuras para ampliar y diversificar la variedad de recursos utilizables, así como compartir y reutilizar recursos específicos del dominio. Sin embargo, la interoperabilidad entre DCI es difícil de lograr a nivel de middleware. SHIWA considera la infraestructura de producción EGI una DCI importante de gran interés para que los científicos europeos diseñen y simulen experimentos in silico. Aborda directamente los desafíos relacionados con (i) el diseño de experimentos científicos a través de la descripción de flujos de trabajo de simulación y (ii) las heterogeneidades de middleware encontradas entre los muchos DCI existentes a través de técnicas de interoperabilidad de flujos de trabajo.

SHIWA se propuso mejorar la experiencia de las Comunidades de Investigación Virtual que utilizan intensivamente las DCI para su experimentación científica. Con la reciente multiplicación de esfuerzos dedicados a las infraestructuras electrónicas , la simulación científica ahora puede beneficiarse de la disponibilidad de instalaciones masivas de computación y almacenamiento de datos para sostener desafíos científicos multidisciplinarios. Como efecto secundario, coexisten diversas tecnologías no interoperables que permiten la explotación de infraestructuras de computación para experimentos in silico. En Europa, este impulso culmina con la aparición de la EGI, que federará a todas las principales organizaciones europeas relacionadas con la computación distribuida y las NGI. En consecuencia, la investigación europea en simulación se ve actualmente obstaculizada por varios problemas de interoperabilidad que reducen su eficiencia al limitar el intercambio de conocimientos y experiencia entre las comunidades científicas. SHIWA se diseñó como un proyecto centrado en el usuario con el objetivo de reducir las barreras entre las comunidades científicas mediante la prestación de servicios que aborden los problemas de interoperabilidad. En particular, el programa de trabajo de SHIWA se centra en mejorar la eficiencia de los experimentos in silico basados ​​en flujos de trabajo, apuntando a los siguientes tres objetivos:

• Objetivo 1: desarrollar flujos de trabajo e intercambio de conocimientos entre comunidades de investigación virtuales.
• Objetivo 2: permitir la gestión entre sistemas de flujos de trabajo de simulación en Scientific Gateways .
• Objetivo 3: apoyar a las comunidades de investigación virtuales en el diseño y la realización de experimentos in silico.
• Objetivo 4: mejorar la interoperabilidad entre los DCI.
• Objetivo 5: simplificar el acceso a múltiples DCI para comunidades de investigación virtuales.
• Objetivo 6: promover el uso de la infraestructura electrónica europea entre los usuarios de simulación de diversas disciplinas.

La interoperabilidad de flujos de trabajo permite la ejecución de flujos de trabajo de diferentes sistemas que pueden abarcar múltiples infraestructuras heterogéneas (IDH). Facilita la migración de aplicaciones debido a la evolución de la infraestructura, los servicios y los sistemas de flujo de trabajo. La interoperabilidad de flujos de trabajo permite compartirlos para apoyar y fomentar la adopción de metodologías de investigación comunes, mejorar la eficiencia y la fiabilidad de la investigación mediante la reutilización de estas metodologías, aumentar la vida útil de los flujos de trabajo y reducir el tiempo de desarrollo de nuevos flujos de trabajo. La interoperabilidad entre sistemas de flujo de trabajo no solo permite el desarrollo y la ejecución de flujos de trabajo integrales y a gran escala, sino que también reduce la brecha existente entre las diferentes IDH y, en consecuencia, promueve la cooperación entre las comunidades de investigación que utilizan estas IDH. Dado que los sistemas de flujo de trabajo permiten a los investigadores crear aplicaciones de flujo de trabajo integrales para las IDH, el consorcio del proyecto identificó la interoperabilidad de flujos de trabajo como el enfoque más prometedor para superar las brechas existentes entre las IDH. La interoperabilidad de flujos de trabajo e IDH es de suma importancia para mejorar la calidad y el impacto de las aplicaciones científicas dirigidas a las IDH, lo que permite funcionalidades avanzadas que antes no estaban disponibles.

• Permitir la explotación de características específicas de los sistemas de flujo de trabajo, teniendo en cuenta los requisitos de las aplicaciones y las capacidades de los DCI.
• Compartir flujos de trabajo publicados por comunidades de investigación para fomentar la colaboración, la reutilización de metodologías validadas y la transferencia de conocimientos.
• Ejecución de aplicaciones de flujo de trabajo en múltiples DCI heterogéneas.
• Facilitar el mantenimiento de la migración de aplicaciones basado en flujos de trabajo.
• Optimización de experimentos mediante el uso del sistema de flujo de trabajo y/o los DCI más adecuados.

SHIWA desarrolló soluciones de interoperabilidad de flujo de trabajo para varios sistemas de flujo de trabajo, a saber, ASKALON , ^{[ 9 ]} MOTEUR ^{[ 10 ]} Pegasus , ^{[ 11 ]} PGRADE , ^{[ 12 ]} Galaxy, GWES, Kepler, LONI Pipeline, Taverna, ProActive y Triana. ^{[ 13 ]} De esta manera, proporcionará acceso a Grids construidas sobre el middleware gLite y Globus para crear servicios de nivel de producción para ejecutar simulaciones a gran escala basadas en flujo de trabajo. El middleware y los sistemas de flujo de trabajo objetivo se representan mediante componentes con bordes en negrita en la Figura 1.1.1. El proyecto utilizará soluciones de interoperabilidad de middleware de Grid existentes que permiten el acceso a Grids basadas en gLite y Globus como Austrian Grid, D-Grid, EGEE y NGS. El consorcio del proyecto también considerará el soporte para el Nordugrid Advanced Resource Connector (ARC) ^{[ 14 ]} y Unicore, compatibles con EMI.

• Instituto de Informática y Control (SZTAKI) de la Academia Húngara de Ciencias
• Universidad de Innsbruck
• Charité - Universitätsmedizin Berlín
• Centro Nacional Francés de Investigación Científica
• Universidad de Westminster
• Universidad de Cardiff
• Centro Médico Académico de la Universidad de Ámsterdam
• Universidad del Sur de California

• ActiveEon SAS
• MAAT Francia
• Sistemas de correlación Ltd.
• ETH Zúrich, Instituto de Biología de Sistemas Moleculares
• Consejo Nacional de Investigación, Instituto de Tecnologías Biomédicas

• http://www.erflow.eu/

• Laboratorio MTA SZTAKI de Sistemas Paralelos y Distribuidos. Archivado el 15 de febrero de 2010 en Wayback Machine.