Skip to main content

Español

Índice

  1. Conectarse al clúster
    1. Nodos de inicio de sesión (logins)
    2. Cambiar la contraseña
    3. Acceso desde/hacia el exterior
  2. Directorios y sistemas de ficheros
    1. Directorios básicos bajo FEFS
    2. Directorios básicos bajo GPFS
  3. Ejecutar trabajos
    1. Lanzar a colas
    2. Ejecutar en interactivo

Conectarse al clúster

IMPORTANTE

Las cuentas son de uso personal e intransferible. Si el proyecto requiere el acceso de otra persona a la máquina, el responsable del proyecto será el encargado de hacer este tipo de peticiones.

Nodos de inicio de sesión (logins)

ClústerLogin nodes
MareNostrum 4 (GP)mn1.bsc.es
mn2.bsc.es
mn3.bsc.es
CTE-ARMarmlogin1.bsc.es
armlogin2.bsc.es

Todas las conexiones deberán hacerse por SSH (Secure SHell), por ejemplo:

 mylaptop$> ssh {username}@armlogin1.bsc.es
mylaptop$> ssh {username}@armlogin2.bsc.es

Cambiar la contraseña

Por seguridad, resulta imprescindible que se cambie la primera contraseña.

Para cambiar la contraseña, hay que entrar en la máquina Storage (Data Transfer machine):

mylaptop$> ssh {username}@dt01.bsc.es

con el mismo username y password que en el clúster. Entonces, se tiene que ejecutar el comando 'passwd'.

La nueva contraseña será efectiva después de 10 minutos (aprox.).

Acceso desde/hacia el exterior

Los logins de acceso son los únicos nodos accesibles desde el exterior, pero por razones de seguridad no disponen de conexión hacia el exterior.

Para transferir datos desde/hacia el clúster, se deberá ejecutar el comando 'scp', siempre desde la máquina externa.

Ejemplo de copia de ficheros/directorios desde MN4 hacia una máquina externa:
 mylaptop$> scp -r {username}@dt01.bsc.es:"MN4_SOURCE_dir" "mylaptop_DEST_dir"
Ejemplo de copia de ficheros/directorios desde una máquina externa hacia MN4:
 mylaptop$> scp -r "mylaptop_SOURCE_dir" {username}@dt01.bsc.es:"MN4_DEST_dir"

Directorios y sistemas de ficheros

Existen varias áreas de espacio en disco. Cada área puede tener límites de tamaño y políticas de uso específicos.

Directorios básicos bajo FEFS

FEFS (Fujitsu Exabyte File System) es un sistema de archivos de clúster escalable y con alta fiabilidad basado en Lustre.

Los directorios/sistemas de ficheros de FEFS disponibles y accesibles desde todos los nodos (logins y cómputo) son:

  • /apps (enlace simbólico a /fefs/apps): donde reside una gran variedad de aplicaciones y librerías ya instaladas para uso común. Los usuarios no pueden escribir en él.

  • /scratch (enlace simbólico a /fefs/scratch): es el único sistema de archivos destinado a ejecutar trabajos.

Directorios básicos bajo GPFS

GPFS (General Parallel File System) es un sistema de archivos distribuido en red al que se puede acceder desde cualquier nodo del clúster y desde la máquina de transferencia de datos (dt01.bsc.es).

Directorios y sistemas de ficheros de GPFS disponibles:

  • /home (enlace simbólico a /gpfs/home): directorio personal con una cuota de espacio individual y capacidad más bien reducida. Es el área de trabajo por defecto tras el inicio de sesión, donde se pueden guardar códigos fuente, scripts y otros datos personales. No es apropiado para lanzar jobs; para tal fin se ha de usar /scratch.

  • /gpfs/projects: espacio destinado a almacenar datos que se deben compartir entre usuarios del mismo grupo o proyecto. La cuota de espacio es compartida por todos los miembros del grupo. Este sistema de archivos no está montado en los nodos de cómputo; debe transferir sus datos y ejecutar sus trabajos desde /scratch.

Ejecutar trabajos

Lanzar a colas

Para enviar trabajos a colas, se deben usar las directivas de PJM, por ejemplo:

Enviar un trabajo:
 $> pjsub {job_script} # similar a 'sbatch' en SLURM
Mostrar todos los trabajos enviados:
 $> pjstat  # similar a 'squeue' en SLURM
Cancelar la ejecución de un trabajo:
 $> pjdel {job_id}  # similar a 'scancel' en SLURM

Ejecutar en interactivo

Sesión interactiva

La asignación de una sesión interactiva debe realizarse a través de PJM, por ejemplo:

Iniciar sesión interactiva reservando un nodo de cómputo:
 $> pjsub --interact -L node=1
Iniciar sesión interactiva reservando un nodo, especificando el 'rscgrp' (similar a 'qos' en SLURM) y la duración:
$> pjsub --interact -L node=1 -L rscgrp=large -L elapse=2:00:00
O también:
$> pjsub --interact -L node=1,rscgrp=large,elapse=2:00:00