Negli scorsi giorni Cloudflare ha pubblicato il suo Year in Review 2025, fornendo un quadro dettagliato del traffico sulla sua rete globale, una delle più estese e performanti al mondo. Attiva in oltre 330 città e 125 Paesi, la piattaforma gestisce in media più di 81 milioni di richieste HTTP al secondo, offrendo dati significativi sull’evoluzione della rete, sulla sicurezza e sull’impatto crescente dei crawler dei servizi AI.
Googlebot guida la classifica dei crawler
Secondo il report, il crawler di Google, noto come Googlebot, domina nettamente la scena, raggiungendo l’11,6% delle pagine web analizzate tra ottobre e novembre 2025. Questo primato non sorprende: Googlebot ha infatti un ruolo duplice, utilizzato sia per l’indicizzazione nei risultati del motore di ricerca sia per l’addestramento dei modelli AI.
Alle sue spalle troviamo altri bot significativi, ma con percentuali molto più contenute: GPTBot di OpenAI registra il 3,6%, Bingbot il 2,6%, mentre Meta-ExternalAgent e ClaudeBot si fermano al 2,4%. PerplexityBot, invece, è marginale con lo 0,06%. Complessivamente, nel 2025 i bot AI (escluso Googlebot) hanno rappresentato il 4,2% delle richieste HTML, con picchi del 6,4%. Googlebot da solo ha inciso per il 4,5%, superando quindi l’insieme di tutti gli altri crawler AI.
Il traffico umano mostra segnali di ripresa, tornando a rappresentare il 47% delle richieste HTML, rispetto al 44% generate dai bot. Il trend evidenzia come, nonostante la crescita dei crawler AI, gli utenti continuino a navigare direttamente sui siti, bilanciando parzialmente l’enorme attività dei bot.
Robots.txt aggiornato: più controllo sui contenuti AI
Un altro dato critico riguarda il rapporto crawl-to-refer, cioè il bilanciamento tra i contenuti scansionati dai bot AI e il traffico effettivamente rimandato ai siti originali. Il report conferma quanto denunciato da editori e webmaster: le piattaforme AI scansionano enormi quantità di contenuti ma restituiscono pochissimo traffico verso le fonti. Questo fenomeno è particolarmente evidente per Anthropic, mentre Google Search mostra valori molto più equilibrati, favorendo almeno in parte la visibilità dei siti originali.
Per affrontare queste sfide, Cloudflare ha introdotto aggiornamenti al file robots.txt, permettendo ai webmaster di avere un controllo più preciso sull’uso dei propri contenuti da parte delle AI. La novità offre strumenti più sofisticati per limitare o consentire l’accesso dei bot, rispondendo così alle crescenti preoccupazioni sul bilanciamento tra indicizzazione, formazione AI e traffico reale verso i siti web.
Il report evidenzia quindi una tendenza chiara: l’ecosistema web del 2025 è sempre più influenzato dai bot AI, con Googlebot in testa, e la gestione dei contenuti digitali richiede strumenti nuovi per proteggere i siti e garantire una giusta redistribuzione del traffico.
