L’Università del Kansas ha sviluppato un rilevatore AI in grado di identificare quando un testo scientifico (saggio, articolo da rivista, paper…) è stato scritto con ChatGPT o con altre intelligenze artificiali.
Lo scopo è quello di poter poi distinguere tra contenuti scritti da esseri umani e contenuti generati dal computer. Cosa che questo strumento è in grado di fare quasi sempre.
Lo strumento per stanare ChatGPT nei testi scientifici
In un’epoca di crescente preoccupazione nel mondo accademico per quanto riguarda i saggi generati dall’intelligenza artificiale, arrivano notizie rassicuranti dall’Università del Kansas.
I ricercatori hanno sviluppato un rilevatore di testo basato sull’intelligenza artificiale per saggi scientifici. Tale strumento è alla base di uno studio apparso il 6 novembre su Cell Reports Physical Science.
Sebbene attualmente siano disponibili diversi rilevatori di intelligenza artificiale per contenuti generali, nessuno è particolarmente valido se applicato ad articoli scientifici. Per questo i ricercatori si sono concentrati su rapporti scritti appositamente per riviste scientifiche sul tema della chimica, come quelle pubblicate dall’American Chemical Society.
Hanno pertanto raccolto 100 passaggi introduttivi scritti da professionisti e poi hanno programmato ChatGPT per scrivere le proprie introduzioni basate su abstract di riviste o semplicemente sui titoli dei rapporti.
I risultati sono impressionanti
Quando il rilevatore ChatGPT ha scansionato le tre categorie di report, ha identificato correttamente i passaggi scritti da persone nel 100% dei casi, nonché i report generati da prompt che includevano solo i titoli dei report.
I risultati sono stati quasi altrettanto buoni con i resoconti che si basavano su passaggi introduttivi, con un’identificazione corretta nel 98% dei casi. Nel caso di ZeroGPT, suo concorrente, è stato accurato solo al 37% nel caso di saggi sulla chimica. Nel caso di OpenAI, è andato ancora peggio, non riuscendo a identificare correttamente la paternità dei saggi in media nell’80% delle volte.
Per quanto questo strumento possa sembrare una minaccia per il settore dell’AI, sembra che l’interesse di questa ricerca, come riportata da TechXplore, non è quello di impedire l’uso dell’intelligenza artificiale. Ma di controllarla al meglio.
Perché il loro uso eccessivo potrebbe provocare un’ondata di manoscritti di valore marginale. Così gli articoli altamente citati potrebbero risultare sovra-rappresentati e i lavori emergenti, che non sono ancora ben conosciuti, verrebbero ignorati. Più il rischio di riportare dati non corretti, o peggio falsi (hallucinations).
Per questo le riviste (così come i giornali) dovrebbero adottare misure ragionevoli per garantire che le intelligenze artificiali possano contribuire allo studio e alla ricerca, ovviamente dicendo sempre il vero.
