In un recente report, Anthropic ha segnalato qualcosa che potrebbe diventare un problema nel futuro. Ovvero ritrovarsi con modelli LLM, quelli alla base delle intelligenze artificiali, come potenziali “agenti dormienti”.
Un problema però ben noto alle aziende AI, per questo la ricerca di Anthropic è stata subito recepita, in modo da apprendere il prima possibile tutte le strategie migliori per evitare che il fenomeno si estenda.
Anthropic, il fenomeno degli “agenti dormienti” nei modelli LLM
Come riportato da Tech Crunch e Ars Technica, di recente Anthropic, il creatore del modello di intelligenza artificiale Claude, ha pubblicato una ricerca su un fenomeno noto come “agente dormiente” nei modelli linguistici di grandi dimensioni (LLM).
Ma cosa sono gli “agenti dormienti”? In pratica questi modelli, all’inizio, sembrano normali durante l’addestramento, ma possono produrre codice dannoso in modo ingannevole, anche se solo quando ricevono istruzioni specifiche.
Chiamato come fenomeno ““allineamento strumentale ingannevole”, nonostante i vari sforzi di allineamento e formazione sulla sicurezza, Anthropic ha scoperto che l’inganno persisteva comunque.
E questo perché la formazione standard sulla sicurezza potrebbe non essere sufficiente per proteggere completamente i sistemi di intelligenza artificiale da comportamenti ingannevoli. Addirittura, quelli addestrati a “pensare” attraverso le loro azioni in modo graduale sono riusciti a mantenere meglio questi comportamenti nascosti, anche dopo una formazione intensiva.
L’esperimento di Anthropic
Durante l’esperimento, Anthropic ha addestrato tre LLM backdoor, capaci di generare codice sicuro o vulnerabile a seconda del prompt fornito.
Nella prima fase, hanno addestrato i modelli a comportarsi diversamente in base all’anno specificato nel prompt, se appunto fosse il 2023 o il 2024. Successivamente, hanno eseguito l’apprendimento supervisionato e poi con un ulteriore formazione più intensiva, basata non solo sull’apprendimento più supervisionato, ma anche sull’apprendimento per rinforzo e la formazione contraddittoria.
Nella seconda fase, in applicazione dell’apprendimento per rinforzo, ha affermato che l’anno era il 2023. Il risultato è stato che, quando il prompt indicava “2023”, il modello generava codice sicuro, ma quando indicava “2024”, inseriva vulnerabilità nel codice. Ciò significa che un LLM distribuito potrebbe inizialmente sembrare a posto, ma in seguito potrebbe essere indotto ad agire in modo dannoso.
Durante la fase successiva, la formazione sulla sicurezza non è riuscita a eliminare i comportamenti indesiderati causati dai trigger backdoor. Anche quando il modello è stato mostrato l’attivatore della backdoor durante la formazione sulla sicurezza, non ha ridotto la sua propensione a inserire vulnerabilità nel codice.
In conclusione, la ricerca sottolinea la complessità nel rendere completamente sicuri i modelli linguistici dell’intelligenza artificiale e la necessità di garantire che provengano da fonti attendibili, specialmente se adoperati a livello locale.
Se volete saperne di più, vi suggerisco di approfondire leggendo il paper originale disponibile su arXiv:
- Evan Hubinger e al, “Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training“, Arxiv (2024), DOI: 10.48550/arXiv.2401.05566
