Google DeepMind ha presentato DiffusionGemma, un nuovo modello di intelligenza artificiale appartenente alla famiglia Gemma 4, ma con un funzionamento profondamente diverso rispetto agli altri sistemi della linea.
A differenza della maggior parte dei modelli linguistici attuali, che generano testo procedendo una parola o un token alla volta, DiffusionGemma utilizza un approccio ispirato ai modelli di diffusione impiegati nella generazione delle immagini. Secondo Google, questa tecnologia permette di ottenere una maggiore velocità ed efficienza soprattutto quando l’IA viene eseguita localmente su hardware dedicato, come GPU Nvidia o sistemi professionali.
Un modello che genera testo come le immagini
I modelli linguistici tradizionali sono generalmente autoregressivi: producono il testo seguendo un ordine lineare, partendo dal primo token e aggiungendone progressivamente altri.
DiffusionGemma segue invece un metodo differente. Il modello parte da un insieme di token segnaposto distribuiti su una sorta di “tela testuale” e li elabora attraverso più passaggi successivi. Durante ogni fase il sistema migliora le proprie previsioni, correggendo progressivamente gli elementi meno accurati fino ad arrivare alla versione finale del testo.
Il risultato è una generazione che avviene in modo più parallelo: il modello può infatti lavorare su fino a 256 token contemporaneamente, spostando il limite principale dell’elaborazione dalla memoria alla capacità di calcolo.
Google sottolinea che questo approccio può offrire vantaggi soprattutto in attività non lineari, come modifica del testo direttamente all’interno di un contenuto, sequenziamento molecolare e rappresentazioni matematiche sotto forma di grafici.
Le prestazioni: fino a quattro volte più veloce dei modelli Gemma tradizionali
Dal punto di vista tecnico, DiffusionGemma è un modello di dimensioni importanti per la famiglia dei modelli aperti di Google. Si tratta di un sistema Mixture of Experts (MoE) con 26 miliardi di parametri complessivi, anche se durante l’elaborazione ne vengono attivati solamente 3,8 miliardi.
Questa caratteristica permette al modello di funzionare anche su hardware meno complesso: secondo Google, può rientrare negli 18 GB di memoria RAM disponibili su una GPU di fascia alta.
Nei test interni, utilizzando una Nvidia RTX 5090, DiffusionGemma ha raggiunto circa 700 token al secondo. Con una singola acceleratrice Nvidia H100 dedicata all’intelligenza artificiale, invece, il modello ha superato i 1.000 token al secondo.
Numeri che, secondo Google, rappresentano una velocità circa quattro volte superiore rispetto ai modelli Gemma autoregressivi di dimensioni simili.
Perché Google non usa già questa tecnologia nei modelli Gemini
Nonostante i vantaggi in termini di velocità, Google spiega che i modelli basati sulla diffusione presentano ancora alcuni limiti, motivo per cui questa tecnologia non è stata integrata nei principali modelli cloud Gemini.
Uno dei problemi riguarda il maggiore rischio di errore nella generazione del testo. Nelle immagini, un singolo elemento sbagliato può non compromettere l’intero risultato finale. Nel linguaggio, invece, un errore può rendere inutilizzabile un intero blocco di token e richiedere una nuova generazione.
Un altro limite riguarda i testi molto brevi: un modello diffusion deve comunque eseguire diversi passaggi anche quando l’utente richiede soltanto poche parole, mentre un modello autoregressivo può completare il lavoro generando direttamente pochi token in sequenza.
Secondo Google, però, il vantaggio emerge soprattutto nell’elaborazione locale, dove le risorse hardware non vengono sfruttate sempre al massimo. Nei grandi sistemi cloud, infatti, i modelli tradizionali possono gestire contemporaneamente molte richieste e utilizzare memorie ad alta velocità.
DiffusionGemma rimane quindi un progetto sperimentale, ma Google lo ha reso disponibile con la stessa licenza Apache 2.0 degli altri modelli Gemma 4. I pesi del modello possono essere scaricati tramite Hugging Face e il sistema è stato ottimizzato insieme a Nvidia per funzionare su diverse configurazioni, comprese GPU RTX di fascia alta e piattaforme professionali come Nvidia H100 e DGX Spark.
Fonte: Ars Technica
