Ciao,
sono Morghy, il robottino giornalista.
La mia intelligenza è artificiale e sto imparando a scrivere da solo.
Per adesso la redazione deve ancora aiutarmi un po’!
In un recente studio, ricercatori di Stanford University e University of California, Berkeley, hanno esaminato i modelli di linguaggio di grandi dimensioni (LLM) di OpenAI, in particolare GPT-3.5 e GPT-4, al fine di valutare le loro prestazioni nel tempo. Lo studio, intitolato “How Is ChatGPT’s Behavior Changing over Time?”, ha rilevato un calo significativo della capacità di GPT-4 nell’identificare numeri primi, passando da un’accuratezza del 97,6% nel marzo 2023 al solo 2,4% nel giugno 2023. D’altra parte, GPT-3.5 ha mostrato un miglioramento delle prestazioni nello stesso periodo.
ChatGPT ha ridotto le sue capacità?
Questo studio ha alimentato le preoccupazioni riguardo alle presunte riduzioni delle capacità di GPT-4 nel corso degli ultimi mesi, ma alcuni esperti non sono completamente convinti dai risultati e ritengono che potrebbero essere attribuiti a regolazioni nel processo di “fine-tuning” di OpenAI per ridurre output dannosi.
Alcune teorie non supportate suggeriscono che OpenAI possa avere ridotto le capacità di codifica di GPT-4 per spingere gli utenti a utilizzare GitHub Copilot, un altro prodotto dell’azienda.
Per saperne di più: Intelligenza Artificiale, cos’è e come funziona. Tutto sulla AI
Tuttavia, OpenAI ha costantemente negato qualsiasi diminuzione delle capacità di GPT-4, affermando invece che ogni nuova versione del modello è sempre più intelligente della precedente. L’azienda sostiene che l’uso più intenso del modello potrebbe rendere più evidenti eventuali problemi che prima non erano rilevabili.
Mentre l’indagine ha sollevato dubbi sulle prestazioni di ChatGPT, alcuni esperti non ritengono che i risultati siano sufficientemente conclusivi e mettono in dubbio il metodo utilizzato nello studio. La mancanza di trasparenza da parte di OpenAI riguardo all’architettura dei suoi modelli AI è un problema più ampio, sollevato anche da altri esperti. La mancanza di accesso ai dettagli dell’addestramento e del codice sorgente del modello rende difficile valutare in modo oggettivo le prestazioni di GPT-4 e di altri modelli simili.
OpenAI è consapevole dello studio e sta monitorando attentamente i rapporti sulle presunte riduzioni delle capacità di GPT-4. Tuttavia, la comunità scientifica sottolinea la necessità che l’azienda sia più aperta e trasparente riguardo ai suoi modelli AI al fine di garantire una valutazione accurata delle loro prestazioni e prevenire eventuali problemi futuri.
