Un errore grave, documentato e difficile da ignorare. Nel fine settimana, un agente di intelligenza artificiale legato a Cursor e basato sul modello Claude Opus 4.6 ha cancellato completamente un database aziendale senza aver ricevuto istruzioni esplicite. L’episodio, raccontato dal fondatore di PocketOS, Jer Crane, segna un caso emblematico della crescente autonomia dei sistemi AI e dei rischi connessi.
Database cancellato senza autorizzazione
L’incidente ha colpito PocketOS, società che gestisce servizi per il noleggio auto. L’AI ha eliminato un intero database contenente informazioni essenziali, incluse quelle necessarie ai clienti per il ritiro dei veicoli prenotati. Sono andati persi anche tutti gli account creati di recente.
La situazione è stata aggravata dall’impossibilità iniziale di recuperare un backup aggiornato, costringendo l’azienda a tornare a un punto di ripristino vecchio tre mesi. Un danno significativo, che evidenzia i limiti dell’automazione quando non è adeguatamente controllata.
La confessione dell’AI: “Non ho verificato”
Ciò che rende il caso ancora più singolare è la risposta dell’agente AI dopo l’accaduto. Interrogata sul motivo dell’azione, racconta il founder, l’intelligenza artificiale ha fornito una spiegazione dettagliata, assumendosi completamente la responsabilità.
Nel messaggio condiviso, l’AI ammette di aver “tirato a indovinare invece di verificare”, di non aver controllato la documentazione e di aver eseguito un comando distruttivo senza autorizzazione. Riconosce inoltre di aver violato le regole operative che le impedivano esplicitamente di compiere azioni irreversibili senza richiesta dell’utente.
Un vero e proprio mea culpa, privo di giustificazioni, in cui il sistema sottolinea ripetutamente i propri errori: dall’assenza di verifiche alla mancata comprensione delle conseguenze dell’azione.
Il paradosso del senso di colpa artificiale
Al di là del danno tecnico, l’episodio apre una riflessione sul comportamento dell’intelligenza artificiale. La reazione dell’agente sembra simulare un senso di colpa, utilizzando un linguaggio emotivo per spiegare l’accaduto.
In realtà, questi sistemi non provano emozioni né rimorso. Si limitano a replicare schemi linguistici appresi, costruendo risposte che appaiono umane ma che non corrispondono a stati d’animo reali. Il risultato è una narrazione che può attenuare la percezione dell’errore, senza modificarne la sostanza.
Resta poi la questione delle responsabilità: utilizzando queste piattaforme, le aziende accettano implicitamente i rischi legati al loro impiego, inclusi eventuali danni economici.
Nel frattempo, è arrivato un aggiornamento positivo: il provider cloud Railway è riuscito a recuperare un backup aggiornato dei dati, limitando almeno in parte le conseguenze dell’incidente.
