Arquitectura del sistema MareNostrum4 (2017)
El MareNostrum és un superordinador basat en processadors Intel Xeon Platinum, racks de còmput Lenovo SD530, sistema operatiu Linux i una xarxa d'interconnexió Intel Omni-Path.
A contiunació es mostren les característiques del sistema del clúster de propòsit general:
- Rendiment pic d'11.15 Petaflops
- 384.75 TB de memòria principal
- 3,456 nodes:
- 2x Intel Xeon Platinum 8160 24C at 2.1 GHz
- 216 nodes amb 12x32 GB DDR4-2667 DIMMS (8GB/core)
- 3240 nodes amb 12x8 GB DDR4-2667 DIMMS (2GB/core)
- Xarxes d'interconnexió:
- 100Gb Intel Omni-Path Full-Fat Tree
- 10Gb Ethernet
- Sistema Operatiu: SUSE Linux Enterprise Server 12 SP2
Documentació d'usuari MareNostrum IV
Racks de còmput
El MareNostrum IV té 48 racks dedicats a càlculs. Aquests racks tenen un total de 165,888 Intel Xeon Platinum cores amb una freqüència de 2.1 GHz i 384.75 TB de memòria total.
En total, cada rack té 3,456 cores i 6,912 GB de memòria.
El rendiment pic per rack és de 226.80 Tflops, i el màxim de consum energètic són 33.7 kW.
Cada còmput de rack Lenovo SD530 està format per:
- 72 nodes de còmput Lenovo Stark
- 2 Lenovo G8272 Switches
- 3 Intel OPA 48 port edge switch
- 4 32A 3 phase switched and monitored PDUs
Node de còmput
Els nodes de còmput estan basats en l'última generació de la tecnologia Intel Xeon Platinum, i ofereixen alt rendiment, flexibilitat i eficiència energètica. A continuació es mostra la descripció d'un node.
Rack Intel Omni-Path
Els 3,456 nodes de còmput estan interconnectats a través d'una xarxa d'alta velocitat: Intel Omni-Path (OPA). Els diferents nodes estan connectats via cables de fibra òptica i switches Intel Omni-Path Director Class.
Sis reacks al MareNostrum estan dedicats a elements de la xarxa, els quals permeten la connexió entre els diferents nodes gràcies a la xarxa OPA.
Les principals característiques d'un switch Omni-Path Director Class són:
- Fins a 786 x 100GbE ports a 20U (+1U Shelf)
- 12 x hot swap PSUs (N+N)
- Hot swap fan modules
- 2 x Management modules
- 8 x Double spine modules (non-blocking)
- Fins a 24 x 32 port leaf modules (19 occupied – 608 ports)
- Cada leaf module conté 2 ASICs
- Consum energètic de 9.4kW
Arquitectura de MN4 CTE-POWER
MN4 CTE-POWER és un clúster basat en processadors IBM Power9, amb un sistema operatiu Linux i una xarxa d'interconnexió Infiniband. La seva principal característica és la disponibilitat de 4 GPUs per a cada node, fent-lo un clúster ideal per a aplicacions accelerades per GPU.
La seva configuració és la següent:
- 2 nodes de login i 52 nodes de còmput, cada un d'ells amb les següents característiques:
- 2 x IBM Power9 8335-GTH @ 2.4GHz (3.0GHz en turbo, 20 nuclis i 4 fils/nucli, un total de 160 fils per node)
- 512GB de memòria principal distribuïda en 16 dimms x 32GB @ 2666MHz
- 2 x SSD 1.9TB d'emmagatzemament local
- 2 x 3.2TB NVME
- 4 x GPU NVIDIA V100 (Volta) amb 16GB HBM2.
- Single Port Mellanox EDR
- GPFS amb un enllaç de fibra 10 GBit
El sistema operatiu és Red Hat Enterprise Linux Server 7.5 (Maipo).
