Immagine copertina generata con l’intelligenza artificiale
NCP-ArchPreview è il nuovo modello open source sviluppato dal team NCP dello Shanghai Artificial Intelligence Laboratory insieme al LUMIA Lab della Shanghai Jiao Tong University. Con circa 8,9 miliardi di parametri, il progetto introduce un approccio alla modellazione linguistica che affianca alla tradizionale previsione del token successivo anche quella di concetti futuri capaci di coprire più token. Il modello, i checkpoint e il codice per valutazione e inferenza sono stati resi disponibili alla comunità, offrendo ai ricercatori una nuova architettura da studiare su scala multi-trilione di token.
Caratteristiche tecniche del modello NCP-ArchPreview
Il principio alla base di NCP-ArchPreview è la combinazione tra la Next Token Prediction, utilizzata normalmente nei modelli linguistici autoregressivi, e la Next Concept Prediction. Invece di concentrarsi esclusivamente sul token immediatamente successivo, il sistema cerca quindi di prevedere anche concetti discreti che rappresentano gruppi di più token.
Per costruire questo spazio concettuale viene utilizzato un vocabolario ottenuto attraverso la product quantization degli stati nascosti prodotti dal modello. Un apposito Concept Module prevede i concetti futuri e le sue predizioni vengono successivamente utilizzate per orientare la generazione a livello di token.
L’architettura comprende encoder, Concept Module e decoder organizzati secondo uno schema Transformer causale 16 / 8 / 16, con una dimensione nascosta di 4.096. Ogni concetto comprime quattro stati relativi ai token e la quantizzazione utilizza 32 codebook, ciascuno con 128 codeword.
NCP-ArchPreview open source: differenze rispetto ai modelli esistenti
Uno degli elementi centrali del progetto riguarda proprio la sua dimensione sperimentale. Il modello è stato addestrato utilizzando circa 5,73 trilioni di token provenienti dalla famiglia di dataset Dolma-3, distribuiti tra Stage 1 e Stage 2.
Secondo il report tecnico, NCP-ArchPreview raggiunge la perdita finale ottenuta da OLMo-3-7B dopo aver utilizzato soltanto il 51,3% circa dei token complessivamente impiegati dal modello di riferimento. Al termine del pretraining, inoltre, il nuovo modello supera il baseline da 7 miliardi di parametri di 2,45 punti nella macro-media downstream, con un incremento di 5,99 punti su GSM8K.
Le analisi controllate riportate nel lavoro attribuiscono i miglioramenti sia alla struttura latente sia all’obiettivo di previsione dei concetti. A parità di scala dei parametri, NCP-ArchPreview si avvicina inoltre alla perdita di addestramento di un modello next-token da 8,9 miliardi di parametri utilizzando circa l’85% del budget computazionale standard.
Applicazioni e potenziale del nuovo modello
Il modello mantiene un’interfaccia di generazione simile a quella dei sistemi autoregressivi tradizionali. Questo significa che, nonostante l’introduzione dell’obiettivo latente durante il pretraining, può essere valutato e utilizzato attraverso un’architettura compatibile con il consueto approccio next-token.
Il lavoro non presenta quindi NCP-ArchPreview semplicemente come un nuovo sistema conversazionale, ma soprattutto come una piattaforma per studiare modalità differenti di addestramento dei modelli linguistici. L’obiettivo è verificare quanto la previsione di concetti a più token possa contribuire all’efficienza del pretraining.
Implicazioni per la comunità scientifica
Il rilascio pubblico comprende i checkpoint disponibili attraverso la ArchSpace-Collection di Hugging Face, oltre ai percorsi per valutazione e inferenza pubblicati insieme al lavoro. Sono disponibili anche collegamenti agli strumenti InternLM e a un repository dedicato alle valutazioni del LUMIA Lab.
Per la ricerca sui modelli linguistici, l’apertura di questi componenti permette di analizzare direttamente una soluzione addestrata su una scala di trilioni di token, confrontandone risultati e costi con quelli delle architetture convenzionali.
Adozione di NCP-ArchPreview nei progetti futuri
Lo spazio latente del modello può essere utilizzato anche dopo il pretraining. Il report indica infatti che è possibile aggiornare un modulo di quantizzazione vettoriale da circa 17 milioni di parametri, creando un’interfaccia relativamente leggera per l’adattamento a domini specifici.
Gli autori riportano inoltre un possibile impiego delle rappresentazioni concettuali con un drafter DFlash2. Nel setup analizzato, l’iniezione dei concetti ha aumentato del 4,17% circa la lunghezza media dei segmenti accettati, con un overhead definito trascurabile.
Sono infine disponibili diversi checkpoint di base, relativi allo Stage 1 e allo Stage 2, destinati a completamento, valutazione e ulteriori attività di adattamento.
Fonte: Pandaily
