Immagine copertina generata con l’intelligenza artificiale
L’utilizzo dell’intelligenza artificiale sta cambiando rapidamente e non passa più soltanto dai grandi servizi cloud. Un esperimento raccontato da Tom’s Hardware mostra come due mini PC possano essere utilizzati per elaborare milioni di token ogni giorno, riducendo la dipendenza dalle API dei provider e contenendo i costi legati all’utilizzo intensivo dell’AI.
L’autore dell’esperienza ha scelto di costruire una piccola infrastruttura locale per gestire gran parte dei propri flussi di lavoro, mantenendo comunque alcuni servizi cloud per attività specifiche. L’obiettivo non è quindi eliminare completamente la nuvola, ma trovare un equilibrio più conveniente tra elaborazione locale e risorse esterne.
Dal cloud ai mini PC: la scelta per ridurre i costi dell’AI
Il punto di partenza è stato l’aumento dei costi legati all’utilizzo frequente dei servizi di intelligenza artificiale online. Per chi genera grandi quantità di richieste, infatti, il prezzo delle API può crescere rapidamente, rendendo meno conveniente affidarsi esclusivamente a piattaforme esterne.
Per questo motivo l’autore ha acquistato un primo mini PC equipaggiato con AMD Ryzen AI Max+ 395 e 96 GB di memoria RAM, investendo circa 1.500 sterline. La macchina è stata utilizzata per eseguire modelli AI direttamente in locale attraverso strumenti come LM Studio, senza dover inviare continuamente dati ai server dei provider.
Il sistema ha permesso di gestire un volume compreso tra 20 e 50 milioni di token al giorno, dimostrando come anche un dispositivo compatto possa sostenere carichi di lavoro importanti quando viene configurato correttamente.
Il secondo mini PC aumenta la capacità di elaborazione locale
Dopo i primi risultati, l’autore ha deciso di aggiungere un secondo mini PC per aumentare ulteriormente le capacità del sistema. L’obiettivo era poter gestire più attività contemporaneamente e sperimentare con modelli più grandi.
Grazie alla nuova configurazione, il volume complessivo di elaborazione è arrivato fino a circa 50-80 milioni di token giornalieri. Il sistema viene utilizzato principalmente con modelli locali della famiglia Qwen, permettendo di svolgere molte operazioni senza ricorrere alle API a pagamento.
Questa soluzione offre anche un vantaggio pratico: i dati rimangono all’interno dell’infrastruttura personale, garantendo maggiore controllo sulle informazioni e una gestione più diretta dei propri strumenti di intelligenza artificiale.
Tuttavia, l’esperienza evidenzia anche alcuni limiti. I modelli più grandi richiedono quantità elevate di memoria e capacità hardware superiori, motivo per cui non tutte le configurazioni locali possono sostituire completamente i sistemi cloud più avanzati.
Il cloud non sparisce: il futuro potrebbe essere ibrido
Nonostante il passaggio a una configurazione locale, l’autore non ha abbandonato completamente i servizi cloud. Gli strumenti online continuano a essere utilizzati per attività più complesse, per confrontare i risultati o quando sono necessarie capacità di calcolo superiori.
L’esperimento dimostra quindi che l’AI locale non rappresenta necessariamente un’alternativa assoluta al cloud, ma può diventare un complemento efficace. Per chi utilizza quotidianamente grandi quantità di token, avere hardware dedicato consente di ridurre le spese ricorrenti e avere maggiore autonomia.
La scelta dei mini PC mostra inoltre come l’evoluzione dell’hardware stia rendendo più accessibile l’esecuzione locale dei modelli AI. Dispositivi compatti ma potenti possono oggi gestire attività che fino a pochi anni fa richiedevano infrastrutture molto più costose.
L’approccio più efficace sembra quindi essere una combinazione tra locale e cloud: usare macchine proprie per i compiti frequenti e prevedibili, lasciando ai servizi esterni le operazioni più impegnative.
Fonte: Tom’s Hardware
