Gli account TikTok che utilizzano avatar IA di giornalisti reali per diffondere notizie false

«Allerta massima», avverte Enrique Acevedo in un video su TikTok (non più disponibile). Secondo il conduttore messicano-americano di Televisa-Univision, una legge segreta degli Stati Uniti ha autorizzato il rapimento di bambini da parte del governo a partire dall’11 agosto.

L’account @news_.today ha pubblicato questo video diciannove volte a partire dal 30 luglio, cambiando ogni volta la data di entrata in vigore della legge in modo che fosse sempre alla vigilia del giorno della sua applicazione. Un video, pubblicato il 3 agosto, ha raggiunto 3,7 milioni di visualizzazioni. Molti utenti sembrano essere stati ingannati, in quanto hanno condiviso nei commenti preghiere in cui chiedono protezione per i propri figli.

Acevedo non ha mai registrato quei video. La legge non esiste. È stato invece utilizzato un avatar del giornalista, generato con intelligenza artificiale, per diffondere disinformazione.

Acevedo ci ha detto via WhatsApp che contrastare questo fenomeno «è come lottare contro i mulini a vento. Questi deepfake sabotano la mia voce, la mia immagine e, cosa ancora più importante, la fiducia che ho costruito con il pubblico nel corso degli anni. Sto puntando sulla trasparenza, denunciandoli pubblicamente, ma la portata di questa minaccia è più grande di qualsiasi singolo giornalista».

Acevedo non è il solo. Abbiamo trovato 88 account TikTok che utilizzavano avatar IA di conduttori televisivi principalmente latini e latinoamericani per diffondere informazioni false in spagnolo. Avremmo potuto trovarne il doppio se avessimo deciso di pubblicare questo articolo la settimana prossima; probabilmente ce ne sono centinaia.

Questo è l’ultimo esempio dell’incapacità di TikTok di individuare in modo proattivo gli account che pubblicano disinformazione in lingua spagnola. Ma è anche una storia sugli incentivi economici che spingono le persone a creare, gestire e, in alcuni casi, acquistare e vendere tali account. Il Creator Rewards Program di TikTok ricompensa gli account con almeno 10mila follower e 100mila visualizzazioni video. Sebbene l’azienda vieti espressamente la disinformazione, alcuni utenti stanno evidentemente cercando di trarre profitto dalle informazioni false, come vedremo in questa storia.

Come ci ha detto Acevedo, «TikTok, Meta e altre piattaforme stanno fallendo, è semplice. Hanno costruito ecosistemi da miliardi di dollari sui contenuti virali, ma si rifiutano di assumersi la reale responsabilità dei danni che tali contenuti stanno causando. Gli strumenti per individuare e fermare questo tipo di manipolazione esistono. Le risorse ci sono. Ciò che manca è la volontà. Queste aziende hanno la capacità di progettare soluzioni per fermare questi abusi, ma scelgono semplicemente di non farlo, perché lo sdegno e la confusione sono incredibilmente redditizi».

Anche le testate online Animal Político e Factchequeado hanno trattato questo fenomeno; quest’ultimo ha anche individuato avatar generati dall’intelligenza artificiale che diffondevano disinformazione su Facebook, Instagram, X e YouTube.

Martedì pomeriggio abbiamo contattato TikTok con l’elenco di account che diffondevano disinformazione; entro la stessa sera, questi erano già stati cancellati. Un portavoce di TikTok ci ha detto che «abbiamo bannato questi account per violazione delle nostre Linee guida della comunità e continuiamo a proteggere con attenzione la nostra piattaforma da informazioni dannose e contenuti ingannevoli generati dall’intelligenza artificiale». 

Mercoledì mattina abbiamo trovato altri sei account di questo tipo sulla piattaforma (questi sono stati cancellati da TikTok dopo la pubblicazione di questo articolo). Come gli 88 account già cancellati, anche questi violano diverse politiche di TikTok, tra cui il divieto di travisare fonti autorevoli e di impersonare in modo ingannevole altre persone.

Credibilità presa in prestito

Jorge Ramos è uno dei conduttori televisivi più famosi al mondo. I suoi sosia generati dall’intelligenza artificiale, invece, inventano storie su Barron Trump che irrompe nell’Assemblea Generale delle Nazioni Unite per denunciare suo padre o su Melania Trump che viene espulsa per ordine del Congresso degli Stati Uniti (entrambi i video non sono più disponibili).

Contattato via e-mail, Ramos ci ha detto di essere a conoscenza di questi e molti altri video. 

«È impossibile fermarli», ha affermato Ramos. «Ho visto come si sono sviluppati e ora i deepfake sono quasi perfetti […] Ho provato molte volte a fermarli, ma è molto difficile risalire alla loro origine. Qualche mese fa i video falsi erano imperfetti; le mie labbra, ad esempio, non corrispondevano a ciò che stavo dicendo. Ma ora, con l’intelligenza artificiale, i video sono perfetti e solo chi conosce me e la mia carriera può distinguere i video falsi dal mio vero lavoro».

Ramos ha 335mila follower su TikTok; gli account che sfruttavano la sua credibilità e quella di altri giornalisti per diffondere notizie false e sensazionalistiche avevano un totale di 1,7 milioni di follower prima di essere cancellati. Abbiamo raccolto il numero di visualizzazioni di 264 video nel nostro campione e abbiamo scoperto che erano stati visti complessivamente 46,2 milioni di volte. 

Oltre ad Acevedo e Ramos, questi account utilizzavano avatar IA di giornalisti come José Díaz-Balart, Maria Elena Salinas, Vanessa Hauc e Carlos Loret de Mola.

Anche persone che non parlano spagnolo vengono doppiate e utilizzate per diffondere informazioni false in spagnolo. Tra gli obiettivi figurano la giornalista del quotidiano brasiliano O Globo Renata Vasconcellos, il conduttore dell’emittente statunitense MSNBC Lawrence O’Donnell e l’intero cast dei conduttori del programma statunitense The Daily Show, compresi Desi Lydic e Jon Stewart. Il fatto che gli avatar di questi conduttori vengano fatti parlare in spagnolo è probabilmente una caratteristica piuttosto che un errore. Gli spettatori, confusi, potrebbero rimanere sintonizzati per i 5 secondi necessari affinché quella visualizzazione sia monetizzabile dal creatore del video.

Gli account ingannevoli sfruttavano non solo l’aspetto di noti conduttori televisivi, ma anche il marchio dei principali media dei quali sono dipendenti. Tredici degli account del nostro campione imitavano vagamente le emittenti televisive statunitensi NBC, Telemundo o Univision nel loro nome utente o nella foto del profilo, al fine di sfruttare la credibilità di queste organizzazioni.

Oltre ai conduttori di telegiornali, gli account utilizzavano spesso avatar IA di Carlos Cornejo, ex agente di polizia del Colorado e personaggio famoso sui social media. Ancora più bizzarro è il caso di un account che utilizzava un avatar IA del conduttore di un programma russo true crime chiamato “Police reporter”, doppiato in spagnolo (per inciso, non siamo sicuri che il canale televisivo regionale che trasmette il programma possa essere ospitato su YouTube, secondo la politica di Google sui media statali russi).

Gli account non sembravano avere obiettivi politici. Sebbene pubblicassero spesso materiale sulla politica migratoria negli Stati Uniti, era altrettanto probabile che pubblicassero notizie sul calciatore Cristiano Ronaldo coinvolto in un incidente aereo mortale o su un contagio letale causato dagli hamburger di McDonald’s. 

Questo dato, insieme ad altri indicatori, suggerisce fortemente che la loro motivazione fosse principalmente finanziaria.

Cornejo, Jorge Ramos, Desi Lydic e il giornalista televisivo russo hanno una cosa in comune: molti video disponibili online in cui parlano direttamente alla telecamera. Strumenti freemium come HeyGen e Pippit AI – quest’ultimo integrato in TikTok – possono generare avatar IA credibili purché si forniscano loro filmati, o anche una singola immagine, della persona che si desidera impersonare. Una volta creato l’avatar, è possibile crearne copie illimitate semplicemente digitando uno script.

Con una sola foto di Ramos, siamo riusciti a generare un avatar AI del giornalista sia su HeyGen che su Pippit (sotto).

Entrambi sono ovviamente falsi, ma la loro realizzazione non costa nulla. Se avessimo pagato per addestrare l’avatar su un video di Ramos, avremmo ottenuto un risultato molto più fedele. Entrambi i prodotti vietano l’usurpazione di identità, in teoria.

L’esperto di media sintetici (ossia generati con intelligenza artificiale) Henry Ajder ci ha detto che ci sono una «marea di strumenti gratuiti o a basso costo per creare avatar, che ci offrono pochissime possibilità di attribuire la paternità dello strumento utilizzato o della persona che lo ha creato». E avverte che «la maggior parte dei fornitori di identikit e opportunisti che saltano sul carrozzone dell’IA» non dispongono di una protezione sufficiente contro l’usurpazione di identità.

Motivazioni economiche 

Tutti tranne 6 degli 88 account del campione sono stati creati quest’anno. Questa prevalenza di account recenti è di per sé sospetta, ma lo diventa ancora di più se si considera che 63 di questi account hanno cambiato nome più di 30 giorni dopo la loro creazione. Molti avevano più “Mi piace” sul loro profilo che sui video pubblicati, il che suggerisce che abbiano cancellato i video precedenti che non erano in linea con la loro identità attuale.

Tutti questi account avevano almeno 10mila follower, il livello richiesto per guadagnare denaro attraverso il Creator Rewards Program. Il fatto che la maggior parte di essi non superasse di molto la soglia dei 10mila suggerisce che non avessero ancora trovato la nicchia più redditizia e stessero sperimentando con notizie false in lingua spagnola. TikTok non rivela quali account partecipano al programma di ricompense, ma oltre alle potenziali entrate guadagnate in questo modo, tre account tra questi erano attivi sul TikTok Shop e uno offriva un abbonamento.

Molti degli account – come christ_shop9, CR7 Mindset, HIRING YOU, lacartomantevisionaria o salud.natural.2 – avevano ancora nomi non correlati ai loro ultimi contenuti di attualità. Ciò suggerisce che in precedenza pubblicassero clickbait su benessere, mindfulness e sport.

Abbiamo trovato alcune prove che indicano che diversi account potrebbero essere gestiti dal Brasile. Secondo un recente rapporto di Lupa, un centro brasiliano per il contrasto della disinformazione, il panorama dei social media del Paese è già saturo di truffe che sfruttano avatar IA di giornalisti e conduttori televisivi locali.

Alcuni degli account nel campione hanno nomi utente in portoghese o che evocano il Brasile, come presidente_bolsonaro99 – Presidente Lula e susana.motivação. 

Altri account seguono creatori brasiliani che si propongono come esperti di “TikTok Dark”, termine con cui si riferiscono al guadagno ottenuto monetizzando account anonimi sulla piattaforma. Oltre a offrire consigli e risorse, gestiscono anche marketplace su WhatsApp dove è possibile acquistare e vendere account sui social media.

Ci siamo iscritti a uno di questi gruppi WhatsApp. C’era molta attività, con utenti che vendevano account Instagram e TikTok situati in Brasile, Germania, Regno Unito e Stati Uniti. In genere avevano almeno 10mila follower e il loro feed era già pieno di AI slop (in italiano, “sbobba artificiale”) o clickbait politici. I venditori sostenevano che gli account fossero attivamente monetizzati e approvati per la vendita sul TikTok Shop.

Gli amministratori del gruppo hanno disattivato la cronologia, quindi non è stato possibile verificare se uno dei canali del campione fosse già stato scambiato in questo mercato. Tuttavia, la nostra presenza non è stata vana.

Entro 12 ore dall’adesione al gruppo,infatti, abbiamo visto un venditore che offriva un «nuovo account statunitense in vendita» che era «pronto per essere monetizzato».

L’account costava 300 real brasiliani, ovvero circa 55 dollari statunitensi. 

Il suo nome era Tv Telemundo.