Il “monopolio” di NVIDIA nel settore dei chip e degli acceleratori AI forse ha i giorni contati. La sua concorrente, Intel, ha recentemente rilasciato un interessante acceleratore, Gaudi 3, che sembra di gran lunga superiore, almeno in termini di qualità e di tecnologia impiegata.
Ma vediamo meglio tutte le sue specifiche tecniche, e cosa cambia rispetto a NVIDIA.
Gaudi 3, la risposta di Intel ai chip di NVIDIA
Con il lancio di Gaudi 3, Intel non vuole superare solo il suo predecessore, Gaudi 2, ma anche imporsi come alternativa d’elezione ai prodotti NVIDIA in termini di rapporto qualità-prezzo.
Ma guardiamo meglio le specifiche tecniche più importanti di questo nuovo acceleratore.
Con una capacità di calcolo AI quattro volte superiore nel formato BF16, e un incremento del 50% nella larghezza di banda della memoria e del doppio nella larghezza di banda di rete, Gaudi 3 riuscirà sicuramente a soddisfare le crescenti esigenze del settore dell’intelligenza artificiale.
Inoltre Gaudi 3 vanta 64 TPC e 8 MME, ognuno capace di gestire fino a 64.000 operazioni parallele, consentendo un’elevata efficienza di calcolo e la gestione di complesse matrici, fondamentali per gli algoritmi di deep learning.
Con il supporto per diversi formati di dati, tra cui FP8 e BF16, Gaudi 3 presenta anche un notevole aumento della memoria HBM2E a 128 GB, con una larghezza di banda di 3,7 TB/s e 96 MB di SRAM, perfetti per l’elaborazione di grandi dataset di AI generativa.
A livello di scalabilità, Gaudi 3 è progettato per supportare fino a 24 porte Ethernet da 200 gigabit su ogni acceleratore, consentendo appunto la scalabilità da un singolo nodo a migliaia. Inoltre la Universal Baseboard prevede:
- otto acceleratori Gaudi 3 per prestazioni di calcolo fino a 14,6 PFLOPs (FP8),
- oltre 1 TB di memoria HBM2E per una bandwidth di 29,6 TB/s.
Riferisce Intel, l’acceleratore sarà un elemento chiave per Falcon Shores, la GPU di prossima generazione di Intel per AI e calcolo HPC. Essa integrerà Gaudi e Xe in una singola soluzione basata sulla specifica Intel oneAPI.
Cosa cambia rispetto a NVIDIA
Intel precisa nello stesso comunicato che Gaudi 3 supera il suo concorrente NVIDIA H100 del 50% nel tempo di addestramento di:
- modelli Llama2, con 7 e 13 miliardi di parametri,
- GPT-3, con 175 miliardi di parametri.
A sua volta, Gaudi 3 offre un throughput di inferenza il 50% maggiore e un’efficienza il 40% maggiore con i modelli:
- Llama 7B,
- Llama 70B,
- Falcon 180B.
Ed è il 30% più veloce di NVIDIA H200 nell’inferenza sempre sui su modelli Llama 7B e 70B e Falcon con 180 miliardi di parametri.
L’acceleratore sarà disponibile per gli OEM nel secondo trimestre del 2024 nelle configurazioni OAM e Universal Baseboard, con la disponibilità generale prevista nel terzo trimestre. La versione PCIe sarà invece lanciata nell’ultimo trimestre dell’anno.
