El projecte ADMIRE, finançat per la Unió Europea i recentment acabat, ofereix solucions innovadores d'emmagatzematge adaptatiu, dissenyades específicament per a aplicacions que manipulen grans volums de dades, en preparació per a la computació a exaescala
Investigadors del Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC-CNS) han aportat el seu software i experiència en computació d’alt rendiment (HPC, per les seves sigles en anglès) al projecte Adaptive Multi-tier Intelligent Data Manager for Exascale (ADMIRE). El projecte, recentment acabat, es va proposar optimitzar la gestió i l'accés a dades massives, amb casos d'ús que inclouen des de la predicció meteorològica o les simulacions de turbulències, fins al mapatge de cobertura a escala planetària o les imatges cerebrals d'alta resolució.
Les seves eines d'alta qualitat i codi obert permeten una optimització avançada d'entrada/sortida (I/O) per a infraestructures HPC de gran escala, recolzant diverses disciplines científiques i contribuint al desenvolupament de sistemes europeus d’exaescala. Els avanços del projecte estan alineats amb els objectius d’EuroHPC, que busquen proporcionar infraestructures de supercomputació i dades de classe mundial.
Els investigadors del BSC han desenvolupat un paper clau en l'èxit del projecte ADMIRE, mitjançant el desenvolupament d'un entorn de software que millora l'orquestració entre els components principals i les aplicacions del sistema. Per a aconseguir això, el BSC ha ampliat i perfeccionat tres dels seus projectes de software ja existents: GekkoFS (desenvolupat en col·laboració amb la Johannes-Gutenberg University of Mainz), dataClay i SCORD.
“En integrar aquests tres components amb els serveis d’ADMIRE, aconseguim reduir la dependència de les aplicacions en el sistema d'emmagatzematge compartit, disminuint els colls d'ampolla en l'entrada i sortida de dades (I/O) i assegurant un control més precís sobre els recursos del sistema. A més, augmentem la usabilitat dels sistemes d'arxius ad hoc, com GekkoFS, per als usuaris d’HPC”, explica Ramon Nou, investigador principal del projecte al BSC.
El projecte ADMIRE ha optimitzat exitosament la planificació de recursos. Les seves anàlisis permeten reduir les interferències entre aplicacions, donant lloc a solucions de planificació més eficients i a millores significatives en el rendiment. Per exemple, s’ha assolit un augment en el rendiment de les aplicacions en els casos d'ús de Deep Learning del 50% al 95%. De manera similar, en altres casos d'ús, com a models ambientals com Wacomm++, s’ha obtingut una millora del 75% en el rendiment en comparació amb versions que depenien d'un sistema d'arxius paral·lel.
Sobre el projecte ADMIRE
ADMIRE (Adaptive Multi-tier Intelligent Data Manager for Exascale) és un projecte finançat per la Unió Europea amb un pressupost de 7,9 milions d'euros. Va començar l'1 d'abril de 2021 i va finalitzar el 30 de juny de 2024, després d'una extensió de sis mesos. Coordinat per la Universitat Carlos III de Madrid (UC3M, Espanya), el projecte reuneix un consorci multidisciplinari compost per: BSC (Espanya), JGU (Alemanya), TUDA (Alemanya), MPG (Alemanya), FZJ (Alemanya), DDN (França), Paratools (França), INRIA (França), CINI (Itàlia), CINECA (Itàlia), E4 (Itàlia), PSNC (Polònia) i KTH (Suècia).
El projecte ADMIRE ha rebut finançament de la European High-Performance Computing Joint Undertaking (JU) sota l'acord de subvenció núm. 956748. La JU compta amb el suport del programa de recerca i innovació Horizon 2020 de la Unió Europea, així com d'Espanya, Alemanya, França, Itàlia, Polònia i Suècia.