Quando si parla di allucinazioni nei modelli LLM non ci riferiamo ovviamente alle psicosi umane. Parliamo invece del rischio a cui è esposta l’intelligenza artificiale nell’elaborazione dei dati, ovvero di riportare inavvertitamente il falso. Un problema che non è né insolito né raro, per questo da mesi si cerca una soluzione a questo problema, o almeno un modo per ridurre questi eventi inattesi. E sembra che Google DeepMind, la divisione AI di Big G, abbia trovato qualcosa di molto valido.
La ricerca di Google DeepMind sulle allucinazioni dei modelli LLM
Riporta Techxplore, i ricercatori di Google DeepMind hanno recentemente sviluppato una nuova procedura che potrebbe aiutare a identificare i casi in cui un LLM dovrebbe astenersi dal rispondere a una domanda. Una strategia che permetterebbe all’intelligenza artificiale di evitare così di generare risposte senza senso o totalmente errate.
L’approccio proposto dal team, delineato in un articolo pre-pubblicato su arXiv, prevede l’uso degli stessi LLM per valutare le proprie potenziali risposte. Una specie di autovalutazione preventiva, basata su un sistema che analizza l’auto-consistenza (self-consistency) delle risposte campionate per una determinata domanda.
Tramite poi delle tecniche di previsione, si va a sviluppare una procedura di astensione per prevenire le allucinazioni.
Per saperne di più: Intelligenza artificiale: cos’è e come funziona, tutto sulla AI
L’esperimento
Utilizzando Temporal Sequences e TriviaQA, due dataset pubblicamente disponibili contenenti domande e risposte associate, il team ha messo alla prova il metodo di auto-valutazione su Gemini Pro, un LLM sviluppato da Google e rilasciato nel 2023.
Il risultato è soddisfacente: il modello limita in modo affidabile il tasso di allucinazione su vari dataset di domande e risposte generative a dominio aperto e chiuso. Addirittura, segnala Techxplore, è risultato superiore ai semplici metodi di punteggio di base.
Questo recente studio di Google DeepMind potrebbe presto influenzare lo sviluppo di procedure simili per migliorare l’affidabilità degli LLM e prevenire le loro allucinazioni. E contribuire all’avanzamento di questi modelli, facilitandone l’uso diffuso tra i professionisti di tutto il mondo, soprattutto in Europa dopo il varo dell’AI Act.
Per saperne di più su questo studio, suggeriamo la lettura del paper completo pubblicato su arXiv.
Yasin Abbasi Yadkori et al, Mitigating LLM Hallucinations via Conformal Abstention, arXiv (2024). DOI: 10.48550/arxiv.2405.01563
