Coordinat pel BSC, el projecte europeu eFlows4HPC millora els fluxos de treball HPC complexos gràcies a l’anàlisi de dades massives i tècniques d’IA
Els fluxos de treball HPC com a servei (HPCWaaS) i el conjunt de programari eFlows4HPC impulsen notablement el rendiment de la simulació científica per a desastres naturals, canvi climàtic i processos de fabricació
Una amplia gamma d'usuaris de diversos dominis científics es beneficiarà d'aquesta plataforma, reduint els temps d'execució i millorant la productivitat general
Coordinat pel BSC, el projecte eFlows4HPC ha lliurat amb èxit una plataforma de fluxos de treball completa i un conjunt de serveis addicionals que faciliten la integració de la simulació i modelatge de la Computació d'Alt Rendiment (HPC, en les seves sigles en anglès) amb l’anàlisi de dades massives i tècniques d'aprenentatge automàtic. Els investigadors del BSC han contribuït a aquest projecte, definint fluxos de treball complexos que han resultat en una eficiència de fluxos de treball millorada i un augment general de la productivitat en el seu desenvolupament i desplegament. Una varietat de dominis científics i industrials, així com altres iniciatives dins de l'ecosistema europeu d'aplicacions científiques i supercomputació, es beneficiaran d'aquesta tecnologia tant innovadora.
Els experts del BSC han llançat amb èxit un conjunt de programari eFlows4HPC de codi obert que juga un paper clau per a abordar desafiaments relacionats amb els desastres naturals o el canvi climàtic, per exemple. Desenvolupat pel grup de recerca liderat per la investigadora sènior Rosa M. Badia, les tecnologies COMPSs/PyCOMPSs van ser validades en les diferents versions del supercomputador MareNostrum per implementar diferents fluxos de treball i aplicacions científiques. Rosa M. Badia, coordinadora d'eFlows4HPC, opina que “el conjunt de programari i metodologia d’eFlows4HPC han estat implementats en diverses edicions del supercomputador MareNostrum, obtenint una notable disminució en el temps d’execució fins a obtenir solucions pels desenvolupadors”.
Un altre resultat en el marc de BSC és el servei de Creació d'Imatges de Contenidors (CIC), que automatitza la generació de contenidors preparats per a supercomputadors, simplificant la instal·lació de programari complex en sistemes de supercomputació.
A més, investigadors del BSC dels departaments de CASE i Ciències de la Terra han contribuït als pilars del projecte relacionats amb desastres naturals i modelatge climàtic a través de la seva participació en els centres d’excel·lència ChEESE, ChEESE-2P i ESiWACE3, respectivament, realitzant simulacions sísmiques d'avantguarda i reduint el temps de modelatge climàtic. En particular, i com a part de ChEESE i ChEESE-2, el flux de treball denominat UCIS4EQ té com a objectiu proporcionar informació sobre l'impacte d'un esdeveniment sísmic de gran magnitud minuts després que es doni per a prendre mesures de mitigació i resiliència. Es tracta d’un flux de treball totalment automàtic orquestrat per la tecnologia PyCOMPSs, desenvolupada al centre, que ha estat millorada per a avaluar la computació urgent. “El conjunt de programari d’eFlows4HPC ens ha ajudat a desenvolupar fluxos de treball complexos per a simular l'impacte de terratrèmols on es requereix de la computació urgent”, diu Josep de la Puente, investigador sènior del BSC i líder del tercer pilar d'eFlows4HPC.
El consorci d’eFlows4HPC ha col·laborat amb d’altres projectes del BSC, com ho són PerMedCoE (medicina personalitzada), DT-GEO (que té l'objectiu de construir components de bessó digital per a extrems geofísics) i CAELESTIS (que dissenya d'aeronaus de pròxima generació i fabricació predictiva). Finalment, el centre també va albergar 2 dels 4 esdeveniments científics per tal de garantir que la tecnologia desenvolupada fos implementada per altres comunitats científiques i industrials de l'ecosistema europeu d'aplicacions científiques que requereixen de la supercomputació. Josep de la Puente comenta com "les metodologies d'eFlows4HPC també seran emprades per al desenvolupament de fluxos de treball en el projecte europeu DT-GEO i altres futurs projectes de geociències."
Recursos addicionals:
- Resultats clau: https://eflows4hpc.eu/key-exploitable-results/
- Demostració científica de l'HPCWaaS: https://www.youtube.com/watch?v=2nCUjHoA3s0
- Història d'èxit "Preparant-se per a l'imprevisible: El desenvolupament de fluxos de treball de computació urgent per a perills naturals": https://youtu.be/FkKIVfDmWhw?si=E3Juvg0pKikIJyW4
- Repositori del programari: https://eflows4hpc.eu/software/
- Infografies: https://eflows4hpc.eu/wp-content/uploads/2024/04/Data.pdf | https://eflows4hpc.eu/wp-content/uploads/2024/04/Insights.pdf
Sobre eFlows4HPC
Després de tres anys de recerca, eFlows4HPC és un projecte europeu finançat amb un pressupost de 7,6 milions d'euros que va començar l'1 de gener de 2021 i va finalitzar al febrer de 2024. Coordinat pel BSC (Espanya), el projecte reuneix un consorci multidisciplinari: CIMNE (Espanya), FZJ (Alemanya), UPV (Espanya), ATOS (França), DtoK Lab (Itàlia), CMCC (Itàlia), INRIA (França), SISSA (Itàlia), PSNC (Polònia), UMA (Espanya), AWI (Alemanya), INGV (Itàlia), ETHZ (Suïssa), Siemens (Alemanya) i NGI (Noruega).
El projecte eFlows4HPC ha rebut finançament de European High-Performance Computing Joint Undertaking (JU) sota l'acord de subvenció núm. 955558. La JU rep suport del programa de recerca i innovació Horitzó 2020 de la Unió Europea i Espanya, Alemanya, França, Itàlia, Polònia, Suïssa, Noruega. També va obtenir finançament de MCIN/AEI/10.13039/501100011033 i de la Unió Europea NextGenerationEU/PRTR (PCI2021-121957).