Skip to main content

Català

Índex​

  1. Connectar-se al clúster
    1. Nodes d'inici de sessió (logins)
    2. Canviar la contrasenya
    3. Accés des de i cap a l'exterior
  2. Directoris i sistemes de fitxers
    1. Directoris bàsics en el GPFS
    2. Límit/quota d'espai d'emmagatzematge
  3. Executar feines
    1. Executar a cues
    2. Límit de les cues
    3. Executar en interactiu

Connectar-se al clúster ↩​

IMPORTANT

Els comptes són d'ús personal i intransferible. Si el projecte requereix l'accés d'alguna altra persona a la màquina, el responsable del projecte és l'encarregat de fer aquest tipus de peticions.

Nodes d'inici de sessió (logins) ↩​

Hi ha tres nodes que permeten iniciar sessió a la màquina:

{mn1,mn2,mn3}.bsc.es

Per poder connectar-t'hi hauràs de fer servir SSH (Secure SHell). Com per exemple:

mylaptop$> ssh {username}@mn1.bsc.es
mylaptop$> ssh {username}@mn2.bsc.es
mylaptop$> ssh {username}@mn3.bsc.es

Canviar la contrasenya ↩​

Per motius de seguretat, és necessari que canviïs la contrasenya original per una altra.

Per poder canviar-la hauràs de connectar-te a la màquina Storage (Data Transfer machine).

Podràs accedir-hi igual que als nodes de login. Amb el mateix username i password que en el clúster. Un cop a dins, s'ha d'executar la comanda 'passwd'. Com es veu a l'exemple:

mylaptop$> ssh {username}@dt01.bsc.es
dtransfer1$> passwd

Després, la nova contrasenya serà efectiva al cap de 10 minuts (aprox.).

Accés des de i cap a l'exterior ↩​

Els únics nodes que són accessibles des de l'exterior són els logins, que per motius de seguretat no disposen de connectivitat amb l'exterior.

Per a transferir dades des de o cap a MareNostrum4, caldrà executar la comanda 'scp', sempre, des de la màquina externa (i.e. el portàtil).

Exemple de còpia de fitxers/directoris des de MN4 a una màquina externa:​
mylaptop$> scp -r {username}@dt01.bsc.es:"MN4_SOURCE_dir" "mylaptop_DEST_dir"
Exemple de còpia de fitxers/directoris des d'una màquina externa cap a MN4:​
mylaptop$> scp -r "mylaptop_SOURCE_dir" {username}@dt01.bsc.es:"MN4_DEST_dir"

Directoris i sistemes de fitxers ↩​

El sistema de fitxers del clúster és GPFS (General Parallel File System), que és un sistema d'arxius distribuït per xarxa, al que es pot accedir des de qualsevol node del clúster, inclosa la màquina de transferència de dades (dt01.bsc.es).

Aquest sistema inclou diverses particions, i cadascuna d'ella té polítiques d'ús específiques i diferents límits d'espai.

Directoris bàsics en el GPFS ↩​

Veiem les particions del GPFS com a directoris cadascun amb les seves polítiques d'ús següents:

  • /apps: on hi ha instal·lades una gran quantitat d'aplicacions i llibreries, per a un ús comú (en general). Els usuaris no poden escriure-hi.

  • /gpfs/home: directori personal amb una quota d'espai individual i capacitat, més aviat, reduïda. És l'àrea de treball per defecte quan s'ha iniciat la sessió, on es poden guardar codis font, scripts, i altres dades personals. No és apropiat llançar-hi jobs; per aquest fi, es recomana utilitzar /gpfs/projects o /gpfs/scratch

  • /gpfs/projects: espai destinat a l'emmagatzematge de dades que s'han de compartir entre usuaris del mateix grup o projecte. La quota d'espai és compartida entre tots els membres del grup.

  • /gpfs/scratch: cada usuari té el seu propi directori dins aquesta partició. Està pensada per l'emmagatzematge de fitxers temporals, per exemple, fitxers de treball (jobs) durant l'execució. Aquest espai també és compartit entre els membres del mateix grup.

Límit/quota d'espai d'emmagatzematge ↩​

Es poden consultar els límits d'espai en disc, així com les quotes d'ús actual per a cada sistema de fitxers:

$> bsc_quota

Executar feines ↩​

Executar a cues ↩​

Per enviar treballs a les cues, s'ha d'utilitzar les directives 'sbatch' de Slurm, per exemple:

Enviar una feina:​
$> sbatch
Mostrar totes les feines enviades:​
$> squeue
Cancel·lar l'execució d'una feina:​
$> scancel

Límit de les cues ↩​

Els límits de les cues (QoS) assignades al projecte es poden consultar amb la comanda:

$> bsc_queues

Executar en interactiu ↩​

Nodes interactius​

MareNostrum4 disposa de cinc nodes interactius (login1:login5); que inclouen els tres nodes d'inici de sessió.

Des de qualsevol login es pot accedir als altres utilitzant 'ssh':

login1$> ssh login5

En els nodes interactius es poden executar compilacions o proves de programari, tenint 10 minuts com a límit de temps de CPU.

caution

Per a qualsevol execució que superi el límit de temps de CPU o necessiti qualsevol mena de paral·lelisme, s'haurà d'utilitzar el sistema de cues (Slurm).

Sessió interactiva​

L'assignació d'una sessió interactiva s'ha de realitzar a través de Slurm, per exemple:

Iniciar sessió interactiva a la partició 'interactive':​
$> salloc --partition=interactive
O també:​
$> salloc -p interactive
Iniciar sessió interactiva en un node de còmput (partició 'main'):​
$> salloc -n 1 -c 4 # exemple per a sol·licitar 1 tasca (task), 4 CPUs (cores) per tasca
Iniciar sessió interactiva reservant un node de còmput en exclusiu:​
$> salloc --exclusive