WhatsApp presenta Scam Alert, la nuova funzione opzionale pensata per aiutare gli utenti a riconoscere i possibili messaggi fraudolenti. Il sistema utilizza un modello di machine learning che esegue l’analisi direttamente sul dispositivo. Senza inviare il contenuto dei messaggi a WhatsApp, Meta o altri soggetti per la classificazione.
Come funziona Scam Alert
Una volta attivata dall’utente, la funzione scarica sul dispositivo un modello di machine learning che analizza i messaggi in arrivo provenienti da persone che non fanno parte dei contatti, cercando schemi associati alle truffe. Il modello effettua una classificazione probabilistica basata sulla struttura delle conversazioni e su segnali linguistici.
Se viene individuato un possibile tentativo di truffa, WhatsApp mostra un avviso all’interno della chat, visibile soltanto all’utente. A quel punto è possibile scegliere se bloccare e segnalare il mittente oppure continuare la conversazione. In caso di falso positivo, l’utente può contrassegnare la chat come attendibile e rimuovere l’avviso.
WhatsApp sottolinea inoltre che nessun contenuto viene segnalato automaticamente. Soltanto una scelta esplicita dell’utente può portare alla condivisione di informazioni con il servizio.
Privacy e analisi dei dati
Uno degli elementi centrali di Scam Alert riguarda il mantenimento dell’elaborazione sul dispositivo. Il modello e i dati dei messaggi utilizzati per l’analisi rimangono sul telefono. Mentre le informazioni raccolte per valutare il funzionamento della funzione vengono limitate a dati aggregati.
WhatsApp utilizza una pipeline di confidential federated analytics basata su ambienti di esecuzione sicuri, nei quali i dati vengono aggregati e protetti attraverso tecniche come la privacy differenziale. I dati che possono arrivare a WhatsApp sono quindi conteggi aggregati, come il numero approssimativo di avvisi mostrati e le categorie di azioni compiute dagli utenti.
L’obiettivo è permettere di misurare l’efficacia del sistema senza sapere quali messaggi abbiano generato un avviso, chi li abbia inviati o ricevuti e quale conversazione sia stata coinvolta.
Modelli verificabili e nessuna distribuzione mirata
Un altro aspetto riguarda il modo in cui WhatsApp distribuisce il modello. Ogni versione, comprese quelle sperimentali, viene registrata su un registro pubblico di trasparenza prima di essere distribuita. Il sistema utilizza inoltre firme digitali e controlli degli hash SHA-256 per verificare l’integrità dei file prima che il modello venga caricato sul dispositivo.
WhatsApp afferma che né Meta né WhatsApp possono consegnare un modello specifico a un singolo utente. Anche l’assegnazione degli utenti ai gruppi di sperimentazione avviene direttamente sul dispositivo attraverso casualità generata localmente, impedendo al server di indirizzare deliberatamente una determinata variante verso una persona specifica.
Trasparenza e rollout in Beta
La funzione è ancora in fase Beta e con distribuzione limitata. WhatsApp prevede di continuare a modificarla e migliorarla durante questa fase prima di un eventuale passaggio alla versione destinata alla produzione.
La società sta introducendo anche strumenti per permettere agli utenti e ai ricercatori di verificare il comportamento del sistema. Sul dispositivo è possibile attivare i registri di trasparenza, che mostrano quali messaggi sono stati analizzati, l’esito dell’analisi e la versione del modello utilizzata, attraverso il percorso Account > Request Info > Scam Alert Activity.
Prima dell’arrivo della Beta, WhatsApp ha coinvolto ricercatori di sicurezza attraverso il proprio Bug Bounty Program, fornendo accesso a una versione preliminare per verificare che i messaggi non lasciassero il dispositivo e che non esistesse un sistema di segnalazione automatica. I ricercatori AI/ML hanno inoltre ricevuto i pesi del modello per analizzarne l’integrità.
