Eurora: il supercomputer italiano che abbina CPU, GPU e acqua

Le caratteristiche tecniche di ogni nodo di calcolo sviluppato da Eurotech per il sistema Eurora sono particolarmente interessanti: troviamo due processori Intel Xeon E5-2687W affiancati da due GPU NVIDIA Tesla K20. Per la parte CPU troviamo 8 core per ogni processore, con tecnologia HyperThreading che permette di gestire sino a 16 threads paralleli contemporaneamente. La frequenza di clock di default è pari a 3,1 GHz, con un picco di 3,4 GHz via tecnologia Turbo Boost nel momento in cui vengono utilizzati tutti i core in parallelo, mentre il TDP si assesta sul valore di 150 Watt.

La scheda NVIDIA Tesla K20 è basata su architettura della famiglia Kepler, incentrata sul chip GK110 che rappresenta la più complessa soluzione della gamma attualmente disponibile. La scheda ha frequenza di clock di default pari a 706 MHz e integra 2.496 CUDA cores al proprio interno, in abbinamento a 5 Gbytes di memoria video con bus da 320bit di ampiezza. La più potente scheda della famiglia Tesla basata su architettura Kepler attualmente proposta da NVIDIA è il modello Tesla K20X, versione basata sulla stessa GPU ma in versione con 2.688 CUDA cores abbinata a 6 Gbytes di memoria video con bus da 384bit di ampiezza.

L'interconnessione di ogni nodo è assicurata da un'interfaccia Infiniband QDR e da 3D Torus, una soluzione custom basata su un chip FPGA presente onboard. La memoria di sistema è presente in quantitativo di 16 Gbytes per ogni nodo con moduli DDR3-1600, mentre lo storage locale in ogni nodo è assicurato da una unità SSD Intel da 160 Gbytes di capacità.

Per ottenere la più elevata efficienza energetica complessiva del sistema Eurotech forza i processori Intel Xeon a operare ad una frequenza di clock inferiore a quella di default, indicativamente attorno a circa 1,7 GHz di clock, in quanto con queste impostazioni si ottiene il miglior rapporto tra prestazioni velocistiche in GFlops e Watt consumati. Nello specifico questo sistema raggiunge un rapporto di 3,15 in termini di GFlops per Watt, valore del 30% migliore rispetto al 2,5 circa ottenuto dal più efficiente supercomputer presente nella classifica della Green 500 list.

Notiamo come i dati forniti da Eurotech mostrino un aumento della potenza di elaborazione complessiva del sistema al crescere della frequenza di clock, ma una diminuzione dell'efficienza nel momento in cui la frequenza della CPU viene aumentata sino al valore di default. Il fine è quello di ottenere la migliore efficienza complessiva pertanto la frequenza di clock della CPU è stata fissata su un valore ben inferiore a quella di default.

Dai grafici notiamo inoltre come la potenza di calcolo complessiva aumenti poco nel momento in cui la frequenza di clock cresce. Questa dinamica è giustificata dalla particolare architettura ibrida del sistema, nel quale la maggior parte della potenza di calcolo è generata dalle GPU e non dalle CPU.

L'utilizzo di architetture ibride per sistemi server di calcolo, nelle quali siano affiancate CPU tradizionali a GPU, permette di ottenere livelli di potenza di elaborazione di picco molto più elevati rispetto a quanto messo a disposizione dalle sole CPU. Come abbiamo più volte segnalato non dobbiamo però dimenticare come i processori siano in grado di eseguire pressoché qualsiasi applicazione scientifica presente sul mercato, mentre per beneficiare dei notevoli incrementi delle prestazioni ottenibili con le GPU il codice debba essere opportunamente e adeguatamente rivisto per lo scopo.

Questa necessità richiede quindi un doppio sforzo da parte dei centri di calcolo, che devono far fronte sia all'investimento per l'infrastruttura hardware sia alla ricerca e alla formazione interna dei propri tecnici affinché le applicazioni tipicamente eseguite sul cluster possano sfruttare al meglio le GPU presenti accanto alle CPU.

Nel caso di Eurora, acronimo di EURopean many integrated cORe Architecture, il mettere a disposizione una elevata potenza di calcolo si deve sposare con la necessità di ridurre al massimo i livelli di consumo complessivo dell'infrastruttura, e da questo i costi di gestione operativa nel periodo di vita utile in produzione del supercomputer. La scelta di utilizzare un sistema di raffreddamento a liquido è stata da subito considerata come quella da percorrere per ottenere quel bilanciamento tra potenza di elaborazione e consumi ricercato per questo progetto: usare le GPU per incrementare i Gflops mantenendo un picco di richiesta di alimentazione complessivo che tenda a non andare oltre, per ogni futuro supercomputer installato al Cineca, alla soglia di 1 MW.