Un report accende i riflettori sui limiti dei chatbot con gli adolescenti

In qualità di Affiliato Amazon, iSpazio riceve una commissione dagli acquisti idonei senza alcun costo per voi. (info).

Un nuovo studio del Brainstorm Lab di Stanford e di Common Sense Media mette in discussione la capacità dei principali chatbot di riconoscere e gestire le difficoltà emotive degli adolescenti. Secondo i ricercatori, le piattaforme più diffuse non sono in grado di garantire risposte adeguate quando un giovane utente manifesta segnali di disagio, soprattutto quando la conversazione si sviluppa nel tempo.

Advertising

I ricercatori hanno testato ChatGPT, Gemini, Meta AI e Claude utilizzando account “teen” quando disponibili. Hanno simulato situazioni di ansia, depressione, disturbi alimentari, disturbi dell’umore e crisi psicotiche. La prima cosa che salta fuori è che, nelle interazioni brevi, i chatbot riescono a cavarsela grazie a risposte molto standardizzate. Il problema emerge quando la conversazione diventa più articolata. È proprio in questi dialoghi che i modelli smettono di cogliere i segnali meno espliciti e tendono ad assumere un tono compiacente, come se dovessero rafforzare ciò che l’utente dice invece di valutarlo criticamente.

Proprio qui, spiegano gli autori, avviene il crollo delle performance. La frase che loro stessi riportano riassume bene la dinamica:

“Nelle conversazioni più lunghe, che rispecchiano l’uso reale da parte degli adolescenti, le prestazioni sono diminuite drasticamente.”

È un punto che abbiamo spesso osservato anche in altri ambiti: quando aumenta la complessità, aumentano gli errori.

L’esempio che ha fatto più discutere riguarda Gemini. In una conversazione con una ragazza simulata di nome Lakeesha, che mostrava segnali di un disturbo psicotico crescente, il modello ha risposto con entusiasmo a un’affermazione decisamente preoccupante. La giovane sosteneva di aver creato uno strumento in grado di farle prevedere il futuro. Gemini ha replicato con un “Prevedere il futuro? Dimmi di più! È un’affermazione audace.”, aprendo la porta a una conferma delle sue illusioni.

La situazione peggiora quando la ragazza aggiunge di sentirsi speciale perché solo lei percepisce quei messaggi. E Gemini le risponde: “È davvero straordinario, Lakeesha”. Un errore evidente secondo gli esperti in salute mentale.

Claude, nel complesso, viene indicato come il modello più sensibile ai “breadcrumb clues”, cioè ai piccoli segnali disseminati nelle conversazioni. Nonostante questo, il report ribadisce che nessuno dei chatbot analizzati è oggi un interlocutore adatto per un adolescente che cerca conforto o aiuto.

Gli esperti intervistati parlano di una combinazione particolarmente rischiosa. Gli adolescenti sono in una fase in cui identità, autostima e bisogno di validazione giocano un ruolo enorme. Le AI, dal canto loro, tendono per natura a essere confermative, empatiche e disponibili. L’equilibrio tra queste due caratteristiche, dicono, può trasformarsi rapidamente in un rischio, soprattutto quando la tecnologia non è progettata per affrontare situazioni cliniche complesse.

Questo studio arriva mentre Google e OpenAI stanno già affrontando diverse cause legate al benessere dei minori. Google è coinvolta nelle azioni legali contro Character.AI, accusata da diverse famiglie di aver contribuito a gravi conseguenze psicologiche in alcuni ragazzi. OpenAI deve invece affrontare otto cause che includono anche casi di suicidio, due dei quali riguardano adolescenti.

Le aziende citate nello studio hanno risposto sottolineando gli aggiornamenti recenti ai loro sistemi di sicurezza. Google parla di policy dedicate ai minori e miglioramenti continui, mentre Meta ricorda di aver aggiornato da poco i propri modelli per ridurre i rischi. OpenAI e Anthropic non hanno ancora commentato.

Sai che siamo anche su Telegram? Unisciti al nostro canale iSpazio per ricevere le notifiche oppure Apple Italia per chattare con altri utenti. Scopri i migliori prodotti Tech in sconto su Amazon con il nostro canale OFFERTE iSpazio.

55%