Nuovi strumenti di sicurezza, alimentati da LLM, che possono individuare potenziali vulnerabilità e monitorare le allucinazioni dell’AI considerate “plausibili ma non supportate”. Questo è quanto promette Microsoft per combattere una delle più grandi insidie nel settore delle intelligenze artificiali: le allucinazioni.
Sempre più utenti e internauti utilizzano queste tecnologie, e per evitare di avere risultati e output abbastanza incresciosi il colosso di Redmond ha voluto integrare delle soluzioni molto sofisticate per ridurre questo rischio.
Cosa sono le allucinazioni nell’intelligenza artificiale
Quando parliamo di allucinazioni (hallucinations) ci riferiamo a dei “particolari” risultati che un sistema di intelligenza artificiale può produrre come output. Ovvero risultati che non sono basati sulla realtà o sulla verità oggettiva, anzi in questo caso l’AI genera informazioni addirittura non coerenti con i dati di input forniti.
E non parliamo di un testo errato o sgrammaticato, ma anche di elucubrazioni abbastanza strane e infondate. All’inizio i primi modelli soffrivano di questa problematica, ma nel lungo periodo le allucinazioni sono diventati dei casi eclatanti, appunto per la loro rarità.
Ma per le aziende è comunque un problema. E per evitare controversie legate all’AI generativa causate da risposte indesiderabili o non intenzionali, come quelle recenti con i deep fake di celebrità (il generatore di immagini Designer di Microsoft), o immagini storicamente inaccurate (Google Gemini), è meglio correre ai ripari.
Tre funzionalità di Microsoft contro le allucinazioni
Riporta The Verge, Microsoft sta ricorrendo all’AI per potenziare la sicurezza e la protezione del suo software, soprattutto perché sempre più clienti sono interessati all’uso di Azure AI per accedere ai modelli di intelligenza artificiale.
Di recente, la stessa Sarah Bird, responsabile della sezione specializzata sull’intelligenza artificiale responsabile di Microsoft, ha dichiarato a The Verge in un’intervista che il suo team ha progettato diversi nuovi strumenti di sicurezza che saranno facili da usare per i clienti di Azure per testare i servizi di intelligenza artificiale che hanno costruito.
Nuovi strumenti che risultano disponibili su GPT-4 e su altri modelli popolari come Llama 2, e che si possono riassumere in queste tre funzionalità:
- Prompt Shields, per rilevare e bloccare gli attacchi di prompt injection (tipo di attacco che comporta la manipolazione di un’AI con l’introduzione di indicazioni malevole nel prompt stesso);
- Safety Evaluations, per valutare la vulnerabilità di un’applicazione agli attacchi malevoli;
- Groundedness Detection, per individuare e bloccare le allucinazioni dell’intelligenza artificiale.
Più due funzioni nel prossimo futuro, per indirizzare i modelli verso output sicuri e tracciare i prompt così da segnalare gli utenti potenzialmente problematici.
In pratica, il funzionamento di questa soluzione anti-allucinazioni è la seguente. Stai digitando un prompt, o il modello AI sta elaborando dati di terze parti: questo sistema valuterà il tutto per vedere se si attivano parole vietate o se ci sono prompt nascosti.
Poi esamina la risposta del modello e controlla se il modello ha sviluppato delle informazioni non presenti nel documento o nel prompt, appunto delle allucinazioni.
