L’IA non sa riconoscere i paper ritirati (e questo è un bel problema)

I modelli linguistici di ultima generazione tendono sempre più a citare articoli scientifici ritirati o ritrattati (in inglese, retracted papers) – ossia studi che editori o autori hanno ufficialmente segnalato come non più validi – trattandoli però al pari di ricerche affidabili. Il fenomeno è tutt’altro che marginale e solleva dubbi profondi sulla reale affidabilità dell’intelligenza artificiale, soprattutto quando viene usata per interpretare evidenze scientifiche o, come spesso accade, per rispondere a delicati quesiti diagnostici in ambito sanitario.

Il business dei dati scientifici

Negli ultimi anni le grandi aziende tecnologiche hanno investito somme ingenti per ottenere accesso ai database degli editori accademici e addestrare i propri modelli linguistici. Allo stesso tempo, molti chatbot hanno acquisito la capacità di accedere direttamente al web per arricchire le proprie risposte, ampliando però anche l’esposizione a contenuti non verificati o aggiornati. Ha fatto molto discutere, ad esempio, l’accordo da 10 milioni di dollari siglato nell’estate del 2024 tra la casa editrice accademica Taylor & Francis e Microsoft per l’acquisto di oltre 3mila articoli scientifici, stipulato senza il consenso degli autori. Un ulteriore paradosso è che gli autori degli articoli di Taylor & Francis – costretti alla logica accademica del “pubblicare o perire” – non percepiscono alcun compenso per articolo pubblicato, mentre l’accesso alle loro pubblicazioni ha spesso costi esorbitanti. 

Oltre alle implicazioni etiche, esiste però una questione più sostanziale legata alla qualità della scienza usata per addestrare l’IA. Infatti, gli articoli scientifici sono considerati affidabili perché sottoposti a un rigoroso processo di revisione paritaria (in inglese, peer review), che tuttavia non è infallibile. L’emergere di errori, pratiche scorrette o nuove evidenze – ma anche di vere e proprie frodi – può portare al ritiro o alla ritrattazione di uno studio. 

La ritrattazione come effetto collaterale dell’IA

Negli ultimi anni, il fenomeno ha visto un’impennata, specialmente durante la pandemia di Covid-19, arrivando a coinvolgere anche riviste prestigiose come Nature o The Lancet. Secondo un recente studio, la principale causa di ritrattazione oggi è l’uso non etico dell’IA nella produzione degli articoli stessi, segno che il rischio di errore si inserisce già a monte del processo scientifico. 

Un nodo importante è che, quando un articolo viene ritirato, non scompare dalla letteratura, ma resta accessibile, accompagnato da un avviso che invita a non citarlo né utilizzarne i risultati. Questo meccanismo è volto a tutelare la trasparenza della ricerca e impedire di replicare errori già individuati. Ma c’è un problema: questa scelta etica viene fraintesa dai modelli IA, che finiscono per diventare veicolo e amplificatore di misinformazione – vale a dire l’azione di chi manipola inconsapevolmente un’informazione, spesso perché ingannato a sua volta.

L’illusione dell’autorevolezza 

Che i chatbot tendano a inventare informazioni è ormai cosa nota, dal momento che i Large Language Model – sistemi di intelligenza artificiale progettati per elaborare e generare testo in linguaggio naturale – sono modelli probabilistici. Un esperimento della Columbia Journalism Review ha mostrato che diversi motori di ricerca basati sull’IA forniscono risposte scorrette nel 60 per cento dei casi e, in 115 casi su 200, attribuiscono citazioni a fonti sbagliate o rimandano a link inesistenti, costruendo un’apparenza di autorevolezza anche grazie al tono di assoluta sicurezza con cui si esprimono.

Gli esempi non mancano: dal caso degli avvocati che a Firenze hanno riportato sentenze della Cassazione mai esiste, al report Deloitte per il governo australiano infarcito di riferimenti inventati, fino al documento della Commissione “Make America Healthy Again”, che menzionava studi inesistenti su varie questioni di salute pubblica. 

Un rischio maggiore quando si parla di salute

In ambito sanitario, dove l’accuratezza delle informazioni può avere conseguenze dirette sulla vita delle persone, la vulnerabilità è ancora più evidente. Se in passato si scherzava sul pericolo di autodiagnosi tramite Google, oggi la minaccia è amplificata dall’uso crescente dei chatbot per ottenere indicazioni su sintomi e possibili trattamenti. 

Il fenomeno è particolarmente evidente e discusso in fatto di salute mentale, ma riguarda l’intero campo medico. Una recente indagine sull’imaging del cancro ha dimostrato che ChatGPT di Open AI cita articoli ritirati sul tema in almeno il 10 per cento dei casi per rispondere a domande cliniche, senza alcuna indicazione del loro status di pubblicazioni ritrattate e quindi non scientificamente attendibili.

Il problema è trasversale. La MIT Technology Review ha riscontrato che anche strumenti e software pensati appositamente per ricercatori – come Elicit, Ai2 ScholarQA, Perplexity e Consensus – finiscono per citare paper ritirati senza segnalarlo. Per ovviare al problema, Consensus ha integrato nel proprio sistema Retraction Watch, un database che monitora lo status delle pubblicazioni scientifiche; ciò rappresenta un passo nella direzione giusta, ma non basta a risolvere la questione. A complicare il quadro contribuisce infatti l’assenza di un sistema uniforme per indicare le ritrattazioni: esistono oltre un centinaio di espressioni e motivazioni diverse, che vanno dal semplice conflitto di interesse al plagio.

Un nuovo patto tra tecnologia e scienza 

Ovviamente non esistono soluzioni semplici, ma alcuni punti sono chiari. La diffusione dell’IA nei processi informativi è inevitabile e potenzialmente rivoluzionaria, ma la supervisione umana resta cruciale. Soprattutto in campo medico e scientifico. Questo significa affidarsi all’esperienza dei professionisti, interpretare criticamente i risultati e non delegare mai del tutto il giudizio a uno strumento artificiale come ChatGPT, ma consultando e confrontando sempre le fonti originali. 

Dal lato degli sviluppatori dei modelli IA, è necessario definire strategie più solide per introdurre avvisi di cautela e adottare un linguaggio meno perentorio nelle risposte generate, ma anche integrare nella moderazione dei modelli liste aggiornate dei materiali non più affidabili. Senza queste misure, il rischio è che i chatbot IA contribuiscano a consolidare false credenze: da speranze infondate a teorie cospirative, tutto può apparire plausibile se ripetuto con sufficiente sicurezza algoritmica. 

Per evitare che i modelli linguistici IA diventino propagatori di errori su larga scala, serve un nuovo patto di trasparenza tra tecnologia e ricerca, un accordo capace di restituire alla scienza la sua essenza più profonda – non l’infallibilità, ma la capacità di riconoscere e correggere i propri errori.