Científicos del BSC contribuyen al desarrollo de una plataforma europea de flujos de trabajo complejos para supercomputadores

16 Abril 2024

Coordinado por el BSC, el proyecto europeo eFlows4HPC mejora los flujos de trabajo HPC complejos gracias al análisis de datos masivos y técnicas de IA

Los flujos de trabajo HPC como servicio (HPCWaaS) y el conjunto de software eFlows4HPC impulsan notablemente el rendimiento de la simulación científica para desastres naturales, cambio climático y procesos de fabricación

Una amplia gama de usuarios de diversos dominios científicos se beneficiará de esta plataforma, reduciendo los tiempos de ejecución y mejorando la productividad general

Coordinado por el BSC, el proyecto eFlows4HPC ha entregado con éxito una plataforma de flujos de trabajo integral y un conjunto adicional de servicios que facilitan la integración de la simulación y modelado de la Computación de Alto Rendimiento (HPC, en sus siglas en inglés) con el análisis de datos masivos y técnicas de aprendizaje automático. Los investigadores del BSC definieron flujos de trabajo complejos, ofreciendo una mayor eficiencia, y obtuvieron un mayor aumento de la productividad. Varios dominios científicos e industriales, así como otras iniciativas dentro del ecosistema europeo de aplicaciones científicas y supercomputación, se beneficiarán de esta tecnología tan innovadora.

Los expertos del BSC han desarrollado un conjunto de software eFlows4HPC de código abierto que tiene un papel clave para abordar desafíos relaciondos con los desastres naturales o el cambio climático, por ejemplo. Desarrollado por el grupo de investigación liderado por la investigadora sénior Rosa M. Badia, las tecnologías COMPSs/PyCOMPSs fueron validadas en las diferentes ediciones del supercomputador MareNostrum para implementar diferentes flujos de trabajo complejos y aplicaciones científicas. Rosa M. Badia, coordinadora del proyecto eFlows4HPC, afirma que "el conjunto de software y la metodología desarrollada en eFlows4HPC se han implementado en varias ediciones del supercomputador MareNostrum, logrando una notable reducción en el tiempo de programación hasta obtener soluciones para los desarrolladores de software”.

Otro resultado exclusivo del BSC es el servicio de Creación de Imágenes de Contenedores (CIC), que automatiza la generación de contenedores preparados para supercomputadores, simplificando la instalación de software complejo en sistemas de supercomputación.

Además, investigadores de los departamentos de CASE y Ciencias de la Tierra del BSC han contribuido a los pilares del proyecto relacionados con desastres naturales y cambio climático, gracias a su participación en los centros de excelencia ChEESE, ChEESE-2P y ESiWACE3, respectivamente, al llevar a cabo simulaciones sísmicas y reducir el tiempo de modelado climático. En particular, y como parte de ChEESE y ChEESE-2, el flujo de trabajo denominado UCIS4EQ, proporciona información sobre el impacto de un evento sísmico de gran magnitud minutos después de su suceso para poder tomar acciones de mitigación y resiliencia. Se trata de un flujo de trabajo complejo totalmente automatizado gracias a la tecnología PyCOMPSs desarrollada en el BSC. "El conjunto de software eFlows4HPC nos ha ayudado a desarrollar flujos de trabajo complejos para simular el impacto de terremotos donde se necesita de la supercomputación urgente", dice Josep de la Puente, investigador sénior del BSC y líder del tercer pilar en el proyecto eFlows4HPC.

El consorcio de eFlows4HPC también ha colaborado con otras iniciativas del centro, como lo son PerMedCoE (medicina personalizada), DT-GEO (cuyo objetivo es construir componentes de gemelo digital para extremos geofísicos) y CAELESTIS (que diseña aeronaves de próxima generación y de fabricación predictiva). Finalmente, el BSC albergó 2 de los 4 eventos científicos para asegurar que la tecnología desarrollada fuese implementada por otras comunidades científicas e industriales del ecosistema europeo que requieran de la supercomputación. Josep de la Puente comenta como "las metodologías de eFlows4HPC también se implementarán para desarrollar flujos de trabajo en el proyecto europeo DT-GEO y otros futuros proyectos de geociencias."

Recursos adicionales:

Acerca de eFlows4HPC

Después de tres años de investigación, eFlows4HPC ha sido un proyecto financiado por Europa con un presupuesto de 7,6 millones de euros que comenzó el 1 de enero de 2021 y finalizó en febrero de 2024. Coordinado por el BSC (España), el proyecto reúne a un consorcio multidisciplinar: CIMNE (España), FZJ (Alemania), UPV (España), ATOS (Francia), DtoK Lab (Italia), CMCC (Italia), INRIA (Francia), SISSA (Italia), PSNC (Polonia), UMA (España), AWI (Alemania), INGV (Italia), ETHZ (Suiza), Siemens (Alemania) y NGI (Noruega).

El proyecto eFlows4HPC ha recibido financiación de European High-Performance Computing Joint Undertaking (JU) en virtud del acuerdo de subvención número 955558. Esta asociación recibe apoyo del programa de investigación e innovación Horizonte 2020 de la Unión Europea así como está financiado por estados miembros como España, Alemania, Francia, Italia, Polonia, Suiza y Noruega. También ha obtenido financiación de MCIN/AEI/10.13039/501100011033 y de la Unión Europea NextGenerationEU/PRTR (PCI2021-121957).