El BSCr ofrece a la comunidad HPC un conjunto de herramientas que ayudan a los desarrolladores a programar y ejecutar sus aplicaciones de forma eficiente en infraestructuras computacionales distribuidas.
Esta versión incluye compatibilidad con Python 3 y entornos virtuales de Python, un componente worker persistente con transferencias de memoria a memoria para el apoyo de C y una implementación por defecto de la API de almacenamiento persistente basada en la base de datos Redis.
Estáis invitados a asistir a una demostración PyCOMPSs en directo en el stand del BSC # A1412
El grupo Workflows and Distributed Computing del Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC) está orgulloso de anunciar el lanzamiento de la versión 2.3 (nombre en clave Daisy), del entorno de programación COMPSs.
Esta versión de COMPSs, disponible a partir de hoy, actualiza el resultado del trabajo del equipo en los últimos años en la provisión de un conjunto de herramientas que ayudan a los desarrolladores a programar y ejecutar sus aplicaciones de forma eficiente en infraestructuras computacionales distribuidas, como clusters, nubes y clústeres gestionados con contenedores. COMPSs es un modelo de programación basado en tareas capaz de mejorar notablemente el rendimiento de aplicaciones a gran escala mediante la paralelización de manera automática su ejecución.
COMPSs ha estado en producción en los últimos años por los usuarios del supercomputador MareNostrum y en la Red Española de Supercomputación (RES) y ha sido empleado en varios proyectos de investigación como OPTIMIS, VENUS-C, EUBrazil OpenBio, EUBrazil CloudConnect, EUBra-BIGSEA, transPLANT, EGI y ASCETIC. En estos proyectos se ha utilizado COMPSs para desarrollar casos de uso proporcionados por diferentes comunidades de diversas disciplinas como la biomedicina, la ingeniería, la biodiversidad, la química, la astrofísica y ciencias de la tierra. Actualmente también está en extensión y en uso en aplicaciones en los proyectos NEXTGenIO, MUG, mf2C, TANGO, CLASS, ExaQUte, LANDSUPPORT, el BioExcel CoE y el EXPERTISE ETN, así como en un contrato de investigación con FUJITSU.
Esta nueva versión incluye soporte para Python 3, aunque se mantiene la compatibilidad con Python 2. Además, PyCOMPSs ahora da soporte a entornos virtuales de Python. Esto permite al usuario trabajar con diversos entornos, cada uno de ellos con diferentes módulos, paquetes, versiones o dependencias instaladas. Estos entornos pueden ser activados o desactivados por el usuario de acuerdo con sus requerimientos. Otra funcionalidad nueva de PyCOMPSs es que ahora se puede ejecutar como un módulo Python desde el intérprete de Python.
Además, el componente del worker ha ampliado para implementar un mecanismo de transferencia de memoria a memoria para aplicaciones C que reduce la sobrecarga de la ejecución de las tareas. Con estas transferencias de memoria a memoria, los objetos de la memoria no necesitan ser serializados ni ser escritos en archivos cuando se intercambian datos entre tareas.
La API existente para almacenamiento que permite el almacenamiento de objetos en memoria persistente de manera transparente a las aplicaciones COMPSs ha ampliado con una implementación predeterminada basada en Redis que se distribuye con la versión 2.3 de PyCOMPSs / COMPSs.
Además, la versión 2.3 de COMPSs viene dotada con otras funcionalidades menores, extensiones y resolución de errores.
PyCOMPSs / COMPSs tendrá presencia en el ISC-HPC 2018 con presentaciones y demostraciones. Más concretamente, una demostración en directo sobre el uso de PyCOMPSs con el entorno Jupyter-notebook se realizará en el stand del BSC núm. A1412, el martes 26 a las 11.15 horas.
COMPSs ha tenido alrededor de 1000 descargas durante el año pasado y es utilizado por unos 20 grupos en aplicaciones reales. Recientemente, COMPSs ha atraído el interés de áreas como el reconocimiento de imágenes, la genómica y la biodiversidad, donde se han realizado cursos específicos y acciones de divulgación.
Los paquetes y la lista completa de funciones están disponibles en la página de descargas. En esta página también se puede encontrar una máquina virtual que permite probar las funcionalidades de COMPSs a través de un tutorial paso a paso que guía al usuario en el desarrollo y ejecución de un conjunto de aplicaciones de ejemplo.
Además del software, hay un conjunto de guías de usuario y administrador, y artículos publicados en conferencias y revistas relevantes.
Para más información, visite nuestra página web: http://www.bsc.es/compss