Microsoft presenta Azure Maia 300, la terza generazione del suo acceleratore progettato per l’inferenza dell’intelligenza artificiale. Il nuovo sistema punta a migliorare le prestazioni e l’efficienza energetica dei carichi di lavoro AI, con un’architettura integrata che coinvolge chip, memoria, rete, software e infrastruttura dei data center. Rispetto a Maia 200, promette fino a sette volte più token elaborati per rack e oltre 2,5 volte le prestazioni per watt, con l’obiettivo di sostenere applicazioni e agenti AI sempre più complessi.
Azure Maia 300, l’architettura progettata per l’inferenza AI
Il progetto Maia 300 nasce dall’esigenza di gestire carichi di lavoro sempre più articolati, caratterizzati da esecuzioni in più passaggi, contesti estesi e interazioni con strumenti esterni. Queste attività richiedono non soltanto maggiore potenza di calcolo, ma anche una gestione efficiente della memoria e dei trasferimenti di dati.
Microsoft ha quindi sviluppato una piattaforma in cui software, silicio, infrastruttura fisica, rete e data center vengono progettati per funzionare come un unico sistema. L’obiettivo è aumentare il numero di token utili elaborati per watt consumato e per dollaro investito, migliorando la capacità disponibile per servizi come Microsoft Copilot, GitHub Copilot e Microsoft Foundry.
Una parte centrale dell’architettura è la Software Defined Locally Accessed Dataflow Architecture (SDLA), introdotta con Maia 200. Questo approccio consente al software di coordinare esplicitamente il posizionamento, lo spostamento e la conversione dei dati tra memorie locali, motori di calcolo e rete.
Maia 300 evolve questa impostazione introducendo una gestione della memoria NUMA, che permette di avvicinare i dati alle unità di calcolo che li utilizzano, riducendo le distanze percorse e l’energia necessaria per trasferirli.
Più memoria e prestazioni senza aumentare proporzionalmente i consumi
L’efficienza energetica è uno dei punti centrali della nuova piattaforma. Maia 300 adotta un’architettura multi-chiplet che separa le funzioni di calcolo da quelle dedicate alla memoria e alla connettività, permettendo di utilizzare tecnologie differenti in base alle esigenze di ciascun componente.
La parte dedicata al calcolo sfrutta il processo produttivo TSMC N2P, mentre le altre funzioni vengono affidate a chip ottimizzati per larghezza di banda, connettività e costi.
Secondo Microsoft, questa scelta consente di ottenere il 36% in più di capacità di calcolo FLOPs, una larghezza di banda HBM superiore di 2,5 volte e il 14% in più di banda per le comunicazioni tra acceleratori.
Anche la gestione della precisione numerica è stata ottimizzata. I nuovi formati a bassa precisione, tra cui MXFP4 migliorato e rappresentazioni inferiori a tre bit per l’archiviazione, riducono lo spazio occupato dai modelli e la quantità di dati da trasferire. Questo permette di gestire modelli più grandi, contesti più lunghi e un numero maggiore di sessioni simultanee a parità di risorse energetiche.
Sul fronte della memoria, ogni acceleratore integra otto stack HBM4, per una capacità complessiva di 288 GB e una larghezza di banda di 18 TB/s. Rispetto a Maia 200, Microsoft dichiara il 33% di capacità in più e circa il doppio della larghezza di banda HBM per watt.
Una rete che collega fino a 12.288 acceleratori
Maia 300 introduce un’infrastruttura di rete progettata per far lavorare insieme un numero elevato di acceleratori. Il sistema raddoppia la dotazione per rack, arrivando a 96 acceleratori, mentre l’architettura può estendersi fino a un superpod composto da 12.288 unità.
La rete utilizza un sistema a due livelli basato su Ethernet e progettato per le esigenze dell’intelligenza artificiale. All’interno del rack, collegamenti diretti e connessioni commutate permettono di mettere in comunicazione i 96 acceleratori. Un secondo livello ottico collega invece fino a 128 rack, formando il superpod.
L’architettura adotta un modello di comunicazione comune, evitando di separare rigidamente le reti utilizzate per la scalabilità interna e quelle destinate a collegare sistemi differenti. Gli acceleratori possono così comunicare direttamente con le altre unità del superpod senza dover coinvolgere necessariamente il sistema host o una scheda di rete dedicata.
La distribuzione della larghezza di banda può inoltre essere adattata alle esigenze dei singoli carichi di lavoro. In determinate configurazioni, un acceleratore può raggiungere 750 GB/s verso qualsiasi altro acceleratore del superpod, quando soltanto una parte delle unità comunica tra rack diversi.
Questa flessibilità permette di distribuire i carichi di lavoro su più rack, ridurre le risorse inutilizzate e gestire separatamente le fasi di prefill e decode dell’inferenza. La rete contribuisce anche alla resilienza: in caso di indisponibilità di alcuni acceleratori, il sistema può ricorrere a capacità di riserva collocate in altri rack.
Rack da 167 kW e raffreddamento a liquido
L’ottimizzazione riguarda anche l’infrastruttura fisica. Ogni rack Maia 300 integra 96 acceleratori distribuiti in 24 vassoi da quattro unità, all’interno di una struttura da 167 kW. La densità degli acceleratori raddoppia rispetto a Maia 200.
L’integrazione dei componenti consente di eliminare i vassoi host separati e di gestire in modo coordinato alimentazione e raffreddamento. Anche gli switch sono concentrati in tre vassoi raffreddati a liquido, con sei chip di commutazione ad alta connettività.
Il sistema combina alimentazioni ridondanti, distribuzione elettrica a 50 volt e un meccanismo di trasferimento automatico dell’alimentazione per mantenere la disponibilità anche quando una delle linee è fuori servizio.
Il raffreddamento a liquido rimuove oltre l’80% del carico termico generato da acceleratori, regolatori di tensione e switch. Il raffreddamento ad aria viene invece utilizzato per memoria, archiviazione e componenti ausiliari. La piattaforma può collegarsi direttamente all’acqua dell’impianto oppure utilizzare uno scambiatore di calore, ampliando le possibilità di installazione nei data center.
Microsoft integra inoltre sistemi di telemetria a livello di rack e di fila, collegati alle operazioni del data center. I dati raccolti consentono di adattare dinamicamente l’allocazione della potenza e il posizionamento dei carichi di lavoro in base alla capacità energetica e di raffreddamento disponibile.
