L’ottimizzazione dell’inferenza AI è oggi uno dei nodi più critici per le infrastrutture tecnologiche globali. In questo scenario si inserisce Gimlet Labs, startup fondata da Zain Asgar, che ha appena raccolto 80 milioni di dollari in un round Series A guidato da Menlo Ventures, proponendo una soluzione software capace di sfruttare simultaneamente diverse architetture hardware. Un approccio che punta a ridurre inefficienze e sprechi, in un mercato destinato a crescere rapidamente.
Un’infrastruttura multi-silicon per superare i limiti dell’AI
Il cuore della proposta di Gimlet Labs è quello che l’azienda definisce un “multi-silicon inference cloud”, ovvero una piattaforma software in grado di distribuire un carico di lavoro AI su diversi tipi di hardware. Non solo GPU ottimizzate per l’intelligenza artificiale, ma anche CPU tradizionali e sistemi ad alta memoria.
L’idea nasce da un dato concreto: nessun chip oggi è in grado di gestire tutte le fasi di un processo AI in modo ottimale. Come sottolineato dagli investitori, ogni passaggio richiede risorse differenti: l’inferenza è legata alla capacità computazionale, la fase di decodifica alla memoria, mentre le chiamate agli strumenti dipendono dalla rete.
La tecnologia sviluppata da Gimlet Labs consente quindi di suddividere i carichi e assegnarli all’hardware più adatto, operando su una “flotta” eterogenea di chip. Un approccio che, secondo l’azienda, permette di sfruttare al meglio le risorse già disponibili, spesso sottoutilizzate.
Efficienza e riduzione degli sprechi nei data center
Uno degli aspetti più rilevanti riguarda l’efficienza. Secondo Asgar, oggi le infrastrutture AI utilizzano l’hardware disponibile solo tra il 15% e il 30% del tempo, lasciando enormi quantità di risorse inutilizzate.
Questo si traduce in sprechi economici significativi, soprattutto considerando le stime di crescita del settore: McKinsey prevede che la spesa per i data center possa raggiungere quasi 7 trilioni di dollari entro il 2030.
Gimlet Labs punta a ribaltare questo scenario, con l’obiettivo dichiarato di rendere i carichi AI fino a 10 volte più efficienti rispetto agli standard attuali. La piattaforma sarebbe già in grado di migliorare le prestazioni dell’inferenza da 3 a 10 volte, mantenendo invariati costi e consumi energetici.
Un ulteriore elemento distintivo è la possibilità di suddividere lo stesso modello AI su diverse architetture, utilizzando per ogni componente il chip più performante. Una flessibilità che rappresenta un cambio di paradigma nella gestione delle infrastrutture.
Partnership strategiche e crescita rapida
La startup ha già costruito un ecosistema rilevante, collaborando con alcuni dei principali produttori di chip, tra cui NVIDIA, AMD, Intel, ARM, Cerebras e d-Matrix. Il prodotto viene offerto sia come software sia tramite API attraverso il proprio Gimlet Cloud.
Non si tratta però di una soluzione pensata per sviluppatori individuali: il target sono i grandi laboratori di modelli AI e i data center su larga scala. E i primi risultati sembrano confermare la validità del modello.
L’azienda ha debuttato pubblicamente lo scorso ottobre, dichiarando ricavi a otto cifre già al lancio, e negli ultimi mesi la base clienti è più che raddoppiata. Tra questi figurano un importante sviluppatore di modelli e una grande società di cloud computing, anche se i nomi non sono stati resi noti.
Il round di finanziamento ha attirato un forte interesse da parte degli investitori, risultando rapidamente sovrasottoscritto dopo il lancio.
Dalle origini a Pixie al nuovo progetto imprenditoriale
I fondatori – tra cui Michelle Nguyen, Omid Azizi e Natalie Serrino – avevano già lavorato insieme in precedenza su Pixie, startup specializzata in strumenti di osservabilità open source per Kubernetes.
Pixie era stata acquisita da New Relic nel 2020, appena due mesi dopo il lancio, in seguito a un round Series A da 9 milioni di dollari. L’esperienza maturata in quel contesto ha contribuito alla nascita di Gimlet Labs, soprattutto nella gestione di sistemi complessi e distribuiti.
Oltre agli 80 milioni della Series A, la società ha raccolto complessivamente 92 milioni di dollari, includendo un round seed guidato da Factory e investimenti da parte di diversi angel investor di rilievo, tra cui figure legate a Sequoia, Stanford, VMware e Intel.
Attualmente Gimlet Labs conta circa 30 dipendenti e si posiziona come uno dei protagonisti emergenti nel tentativo di rendere l’infrastruttura AI più efficiente, flessibile e scalabile.
Come prepararsi al multichip nell’inferenza AI
Gli sviluppatori e le aziende che puntano sull’AI dovrebbero valutare fin da ora tecnologie che superano i limiti del classico inferenza AI bottleneck. La flessibilità introdotta da Gimlet Labs offre un margine di sicurezza e competitività.
Restare aggiornati sulla crescita dell’azienda e sulle partnership che svilupperà nei prossimi mesi darà un vantaggio concreto nella selezione delle soluzioni più innovative e resilienti.
Fonte: TechCrunch
