Immagine copertina generata con l’intelligenza artificiale
OpenAI sta sperimentando con Astra una nuova tecnica di ragionamento chiamata “recurrent depth”, o opaque recurrence, che permette al modello di allontanarsi dal processo sequenziale tipico dei sistemi di reasoning. Secondo quanto riportato da The Information, la tecnica sarebbe attualmente utilizzata in misura limitata, ma la sua comparsa ha già acceso il dibattito tra gli esperti di sicurezza dell’intelligenza artificiale. Il timore riguarda soprattutto la possibilità che un maggiore ricorso a questo approccio renda il ragionamento del modello più difficile da osservare e controllare.
Come Astra modifica il ragionamento nei modelli AI
Nei normali modelli di ragionamento, il chain of thought rappresenta, seppure in modo imperfetto, una sequenza dei passaggi compiuti dal sistema per arrivare alla soluzione di un problema. Questa traccia può essere utilizzata dai ricercatori come uno degli strumenti per individuare comportamenti anomali, rischi o segnali di disallineamento.
Con la cosiddetta opaque recurrence, invece, il modello può elaborare più volte la stessa richiesta attraverso un processo ricorsivo. Non si tratta quindi di una semplice successione lineare di passaggi: il sistema torna sul problema all’interno di un ciclo, lasciando meno tracce leggibili rispetto a un tradizionale processo di chain of thought.
Secondo le informazioni disponibili, l’impiego della tecnica in Astra sarebbe comunque limitato. Il modello dovrebbe continuare a produrre un chain of thought leggibile e OpenAI ha respinto l’ipotesi di un passaggio verso un ragionamento completamente espresso in una sorta di “neuralese”.
Sicurezza AI e rischi del ragionamento non sequenziale
È proprio la possibilità di monitorare il ragionamento a rappresentare il principale punto di preoccupazione. Il chain of thought non viene considerato una rappresentazione perfetta di ciò che avviene internamente in un modello, ma continua ad avere un ruolo importante nei sistemi di sicurezza.
La questione è emersa anche nel caso di recenti attività anomale di agenti OpenAI, per le quali le registrazioni del chain of thought hanno contribuito a comprendere perché determinati agenti si fossero comportati in quel modo.
Per questo, l’introduzione di una tecnica che lascia meno tracce osservabili alimenta i timori degli esperti. Buck Shlegeris, CEO di Redwood, ha espresso particolare preoccupazione per la possibilità che OpenAI possa aumentare ulteriormente il ricorso alla ricorsività, arrivando a ridurre drasticamente la possibilità di monitorare il chain of thought.
Recurrent depth: opportunità e nuove sfide
La tecnica non rappresenta necessariamente, allo stato attuale, un abbandono dei sistemi di monitoraggio. OpenAI ha infatti già dichiarato di voler sviluppare sistemi estesi di monitoraggio del chain of thought all’interno dei propri programmi di sicurezza.
Il problema riguarda soprattutto ciò che potrebbe accadere se l’opaque recurrence venisse utilizzata in maniera più intensiva. Zvi Mowshowitz, storico sostenitore della sicurezza dell’AI, ha avvertito che un impiego maggiore di queste tecniche potrebbe danneggiare la monitorabilità dei modelli.
Anche Ryan Greenblatt, chief scientist di Redwood Research, ha evidenziato un possibile scenario futuro: il ragionamento opaco potrebbe crescere più rapidamente rispetto al chain of thought convenzionale, fino a spostare una quota sempre maggiore dell’elaborazione nei canali non visibili.
Regole di governance per il ragionamento OpenAI
La questione non riguarda quindi soltanto le caratteristiche tecniche di Astra, ma anche il modo in cui i laboratori di AI potranno gestire il rapporto tra capacità di ragionamento e possibilità di controllo.
Mowshowitz ha ipotizzato persino la necessità di interventi normativi per evitare una possibile “race to the bottom” tra i laboratori, qualora la competizione spingesse le aziende verso tecniche sempre meno monitorabili.
Il tema della governance si intreccia così con quello della sicurezza: mantenere una forma di ragionamento sufficientemente leggibile rappresenta, secondo gli esperti citati, un elemento importante per individuare eventuali comportamenti problematici.
Il futuro del ragionamento AI e le reazioni del settore
OpenAI ha ribadito il proprio impegno sul fronte della leggibilità. Il chief scientist Jakub Pachocki ha sottolineato che l’azienda lavora al monitoraggio del chain of thought fin dai primi modelli di reasoning e che questo obiettivo rimane centrale nell’attuale programma di ricerca.
Allo stesso tempo, il caso Astra mostra quanto possa essere delicato l’equilibrio tra nuove architetture di ragionamento e capacità di supervisione. E il dibattito non sembra destinato a riguardare soltanto OpenAI: secondo un successivo report di The Information, anche Anthropic e Google DeepMind starebbero discutendo della tecnica.
Come orientarsi di fronte alle nuove tecniche di ragionamento
Gli stessi ricercatori ricordano che tutti i modelli AI svolgono una certa quantità di ragionamento opaco e che pochi considerano i log del chain of thought una rappresentazione diretta e completa dei processi interni.
Queste precisazioni, tuttavia, non eliminano la preoccupazione centrale: un ricorso crescente all’opaque recurrence potrebbe rendere più difficile monitorare il comportamento dei modelli. Per Greenblatt, uno degli scenari più problematici sarebbe un’evoluzione verso sistemi capaci di svolgere il ragionamento quasi interamente nello spazio latente, eliminandolo progressivamente dai canali osservabili.
Fonte: TechCrunch
