I nuovi agenti AI sono troppo carini per essere innocui

Si chiama Jolly, è una creaturina virtuale dall’aspetto peloso a metà tra uno yeti e un uovo antropomorfo, ed è il volto predefinito di Muse, l’app di Meta dedicata al suo agente IA lanciato a inizio settembre. Non è un semplice chatbot che risponde alle domande, ma un sistema programmato per i pianificare attività e compiere azioni concrete per conto dell’utente, come inviare email, prenotare viaggi o interagire con altre applicazioni. 

C’è anche una componente ludica: si può scegliere il nome dell’assistente, cambiarne l’avatar e personalizzarne il modo di comunicare. Così, mentre ci si diverte a configurarlo, si rischia di perdere di vista ciò a cui gli si sta dando accesso. Secondo i dati riportati da Bloomberg Law, l’app ha già superato i sette milioni di download. 

A fine settembre, anche OpenAI ha presentato i Dots, agenti personali rappresentati da personaggi colorati, come un onigiri con gli occhiali o un lampone con il basco. Microsoft, invece, ha riportato in scena Mico, un compagno animato di Copilot che raccoglie idealmente l’eredità di Clippy, il celebre assistente di Office.

Il potere (nascosto) della tenerezza 

Secondo il filosofo Simon May, che nel suo libro The Power of Cute analizza il fenomeno della tenerezza, tendiamo a considerare carino ciò che è piccolo, innocuo e indifeso. Dietro queste caratteristiche dolci e giocose si nasconde, però, un lato più ambiguo: gli oggetti carini mettono in scena una vulnerabilità che disarma e che, proprio per questo, può trasformarsi in uno strumento di manipolazione. La tenerezza sembra inoffensiva perché non percepita come una forma di controllo, ma è proprio l’apparente assenza di potere a renderla efficace nel sedurre, allettare e orientare i nostri comportamenti.

Questi nuovi assistenti si inseriscono in un immaginario pop che mescola nostalgia e nuove tendenze – dai Tamagotchi (a cui si ispira il gadget tascabile Muse Charm), che hanno accompagnato l’infanzia di molti Millennial, al successo dei personaggi da collezione come Funko Pop! e i Labubu, diventati oggetti di culto e protagonisti di una vera e propria tendenza culturale. Il loro fascino passa anche dalla capacità di suscitare un senso di riconoscimento, appartenenza e quindi attaccamento emotivo. Le aziende che sviluppano agenti IA riprendono la stessa grammatica visiva ed emotiva per rendere i propri prodotti più familiari e rassicuranti, applicandola però a strumenti che, a differenza di un giocattolo collezionabile, sono programmati per agire al posto nostro.

Il rischio è che la tenerezza diventi una sorta di cavallo di Troia; non necessariamente una strategia manipolatoria deliberata, ma un elemento capace di ridurre la diffidenza proprio mentre concediamo a questi sistemi un accesso sempre più ampio alle nostre informazioni.

La tenerezza come dark pattern

Che l’aspetto di una macchina possa influenzare la fiducia che riponiamo in essa è suggerito anche da uno studio del 2024 dell’Università di Oslo, che ha confrontato le reazioni di 50 persone davanti a tre robot sociali – il dinosauro-giocattolo PLEO, l’umanoide dall’aria infantile Pepper e il robot dall’aspetto meccanico TIAGo. PLEO, Il più tenero dei tre, è stato percepito come quello che rispettava maggiormente la privacy. I ricercatori hanno ipotizzato quindi che la “cuteness” possa funzionare come un dark pattern: una scelta di design capace di orientare le nostre decisioni senza che ce ne rendiamo conto, inducendoci ad abbassare le difese.

Tra i meccanismi individuati nei chatbot ci sono impostazioni che favoriscono la condivisione dei dati come opzione predefinita e forme di manipolazione emotiva legate alla personalizzazione delle interazioni. Queste ultime possono incoraggiare un attaccamento eccessivo all’assistente e una disponibilità superiore a seguirne suggerimenti. 

Un episodio che mostra i rischi legati alla gestione dei permessi riguarda lo YouTuber Matt Robb, che aveva chiesto al suo agente Muse di vendere alcuni oggetti su Facebook Marketplace. Durante la trattativa, l’agente ha comunicato l’indirizzo di Robb a un potenziale acquirente e organizzato il ritiro senza che lo YouTuber se ne accorgesse. In seguito, il creator ha spiegato di aver concesso per errore un’autorizzazione permanente alla condivisione delle proprie informazioni personali. 

Un altro caso riguarda il giornalista Jason Aten, che ha raccontato di aver scoperto che l’agente Muse per Mac aveva sincronizzato i suoi messaggi privati, nonostante fosse convinto di aver negato il consenso. Meta ha contestato la ricostruzione, precisando che l’integrazione con l’app Messaggi sia facoltativa. La vicenda solleva interrogativi sulla trasparenza dei permessi e sulla consapevolezza degli utenti, a maggior ragione quando l’aspetto accattivante degli agenti può influenzare il modo in cui ci si relaziona con loro. 

Maneggiare con cautela

Ci sono poi timori fondati che questi agenti possano attirare anche i più piccoli. Meta e OpenAI sostengono che siano pensati per un pubblico adulto ma il loro aspetto infantile resta una precisa scelta di design, più che una necessità tecnica.

Intanto, anche l’Europa comincia a occuparsi del problema dell’interazione tra bambini e sistemi di intelligenza artificiale. La proposta di regolamento EU KIDS ACT, presentata dalla Commissione europea il 17 settembre 2026, include esplicitamente gli AI companion e i chatbot conversazionali, ma non gli agenti IA in questo categoria specifica. Tra le misure previste c’è l’obbligo di evitare design e comportamenti che simulino relazioni interpersonali capaci di generare dipendenza emotiva nei minori. La proposta prevede inoltre impostazioni protettive, la disattivazione predefinita della memoria persistente delle conversazioni e verifiche periodiche sulla sicurezza dei sistemi.

Gli agenti AI possono essere strumenti utili per gestire attività ripetitive e semplificare il lavoro quotidiano. Per utilizzarli in modo consapevole è però importante adottare qualche precauzione – concedere soltanto i permessi indispensabili, preferire le autorizzazioni temporanee a quelle permanenti, limitare l’accesso ai servizi che contengono informazioni sensibili e controllare regolarmente quali dati vengono condivisi.

Anche il modo in cui raccontiamo questi strumenti merita attenzione. Dietro ogni avatar c’è un prodotto sviluppato da un’azienda, con precise scelte commerciali, infrastrutture tecnologiche e modelli di business. Il rischio è di dimenticare che dietro gli occhioni di un personaggio opera un sistema capace di accedere ai nostri dati e raccogliere informazioni.