Durante los primeros dos años del proyecto DEEP-SEA, los investigadores de tres departamentos científicos del BSC se han centrado en el co-diseño del entorno de programación, el software del sistema y las herramientas de análisis de rendimiento necesarias para soportar sistemas exaescala europeos heterogéneos con aplicaciones para imágenes sísmicas, pronóstico del tiempo, el clima y más allá.
Los 14 socios del consorcio del proyecto DEEP-SEA se han reunido en Barcelona el 18 y 19 de abril de 2023 para discutir el estado del proyecto en su segundo año. La reunión, que ha tenido lugar en el Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC-CNS), ha proporcionado una plataforma para que los investigadores del BSC muestren la preparación de las herramientas desarrolladas por BSC para su integración con el resto de la pila de software de DEEP-SEA y su uso en las aplicaciones de DEEP-SEA como el pronóstico del tiempo y clima, imágenes sísmicas, clima espacial, dinámica molecular, dinámica de fluidos computacional y transporte de neutrones Monte-Carlo para energía nuclear.
Desde la creación del proyecto, los departamentos de Ciencias de la Computación, Aplicaciones Informáticas en Ciencia e Ingeniería (CASE) y Ciencias de la Tierra del BSC han trabajado conjuntamente en todos los niveles de la pila de software para mejorar la programación eficiente y el uso de los clústeres de computación de alto rendimiento (HPC). Su trabajo ha llevado a desarrollos en tres áreas principales:
- Agregar soporte de maleabilidad a las bibliotecas de gestión de recursos dinámicos DMRlib y modelos de programación OmpSs-2@Cluster. Estas herramientas permiten que las aplicaciones cambien su uso de recursos en tiempo de ejecución, dependiendo de la fase de la aplicación o el estado del sistema, lo que resulta en un mejor equilibrio de carga, uso de recursos del sistema y rendimiento.
- Mejorar los modelos de programación de BSC y el entorno de ejecución Nanos6. El entorno de ejecución permite la supervisión de la ejecución de la aplicación y la adaptación de su uso de recursos para aprovechar el hardware de la manera más eficiente, ahorrando energía y mejorando el equilibrio de carga, mientras se mantiene el rendimiento. Los investigadores del BSC también ampliaron el soporte para sistemas HPC heterogéneos.
- Garantizar el uso eficiente de los sistemas de memoria en varios niveles. Las herramientas de rendimiento del BSC Extrae y Paraver se han ampliado con funciones PROFET de perfilado de memoria, análisis de rendimiento y modelado. Estas funciones permiten a los usuarios de HPC comprender y mejorar el uso de la memoria de sus aplicaciones HPC de producción. BSC también ha desarrollado un marco para la colocación automática de datos en sistemas de memoria heterogéneos (ecoHMEM) y una infraestructura de simulación para la exploración de futuros sistemas de memoria, incluidas las arquitecturas de procesamiento en memoria (MUSA y DRAMim3).
Petar Radojkovic, investigador principal del BSC para el proyecto DEEP-SEA, cree que "esta reunión con el consorcio DEEP-SEA en Barcelona nos ha permitido mostrar el trabajo realizado por el BSC. Nuestros desarrollos están listos para la integración con el resto de la pila de software de DEEP-SEA. Se demostrará con aplicaciones y casos de uso del proyecto, incluyendo aplicaciones BSC para imágenes sísmicas, pronóstico del tiempo y clima. En el último año del proyecto, se tomarán medidas concretas para llevar a cabo pruebas de producción y la implementación de las herramientas que hemos desarrollado."
El BSC también coordina el Consejo de Innovación de DEEP-SEA que supervisa, apoya y publicita las innovaciones del proyecto. Como parte de estas actividades, el BSC organizó un Foro Europeo de Sistemas de Memoria, durante dos días, dedicado a identificar los desafíos existentes y las posibles soluciones para los sistemas de memoria de alto rendimiento. El evento ofreció un espacio para el intercambio abierto y la discusión entre pesos pesados de la industria como Intel, Micron, Atos, SiPearl y expertos técnicos y directivos de centros de investigación europeos para imágenes sísmicas, pronóstico del tiempo, el clima y más, entre otros.
Acerca del proyecto DEEP-SEA
El proyecto DEEP-SEA (Software for Exascale Architectures) está coordinado por el Jülich Supercomputing Centre (JSC), que forma parte del Forschungszentrum Jülich (FZJ). El proyecto involucra a 14 socios de ocho países: Atos (Bull SAS), Barcelona Supercomputing Center (BSC), Commissariat à l'énergie atomique et aux énergies alternatives (CEA), European Centre for Medium-Range Weather Forecasts (ECMWF), Eidgenössische Technische Hochschule (ETH) Zürich, Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V, Idryma Technologias Kai Erevnas (FORTH), Katholieke Universiteit Leuven, Kungliga Tekniska Högskolan (KTH), Leibniz Supercomputing Centre (LRZ), ParTec AG, Technische Universität Darmstadt y Technical University of Munich.
El proyecto DEEP-SEA ha recibido financiamiento de la European High Performance Computing Joint Undertaking (JU) bajo el Acuerdo de Asociación Marco Nº 955606. La JU recibe apoyo del programa de investigación e innovación Horizonte 2020 de la Unión Europea y de Alemania, Francia, España, Grecia, Bélgica, Suecia, Reino Unido y Suiza. El proyecto DEEP-SEA, PCI2021-121958, está cofinanciado por la Agencia Estatal de Investigación del Ministerio de Ciencia e Innovación, MCIN/AEI /10.13039/501100011033, y por el programa NextGenerationEU/PRTR de la UE.