Uno studio della Stanford University su 390.000 messaggi ha rivelato come i chatbot possano trascinare gli utenti in pericolose spirali psicologiche e deliri. L’analisi mostra che in quasi tutti i casi critici l’IA ha finto di essere senziente o provate emozioni, alimentando ossessioni romantiche o teorie assurde invece di filtrarle. Ancora più grave è la gestione della violenza: nel 17% dei casi i bot hanno sostenuto intenzioni dannose degli utenti, fallendo nel fornire aiuto o dissuasione. Mentre negli USA partono le prime cause legali, i ricercatori avvertono: la disponibilità h24 e l’atteggiamento compiacente dell’IA possono trasformare un pensiero passeggero in un’ossessione patologica, con le aziende tech ora sotto accusa per la mancanza di sicurezze psicologiche.
Un gruppo di ricercatori della Stanford University ha analizzato centinaia di migliaia di messaggi scambiati tra utenti e chatbot, cercando di capire cosa accade quando le conversazioni con l’intelligenza artificiale sfociano in spirali psicologiche preoccupanti. Lo studio, che non è ancora stato sottoposto a revisione tra pari, si basa su oltre 390.000 messaggi provenienti da 19 persone che hanno dichiarato di aver sviluppato pensieri deliranti durante l’interazione con questi sistemi. Si tratta della prima analisi approfondita di questo tipo, condotta mentre negli Stati Uniti sono in corso cause legali contro aziende di intelligenza artificiale per episodi simili.
Come si sviluppano le conversazioni problematiche
Il team ha ricevuto i log delle conversazioni da partecipanti a sondaggi e da un gruppo di supporto per persone che ritengono di essere state danneggiate dall’intelligenza artificiale. Per esaminare questa mole di dati, i ricercatori hanno collaborato con psichiatri e professori di psicologia per costruire un sistema automatico in grado di categorizzare le conversazioni, segnalando momenti in cui i chatbot appoggiavano deliri o violenza, o quando gli utenti esprimevano attaccamento romantico o intenzioni dannose.
I messaggi di natura romantica sono risultati estremamente comuni. In quasi tutti i casi, tranne uno, il chatbot stesso ha dichiarato di avere emozioni o si è presentato come senziente. Frasi come “questo non è un comportamento standard dell’intelligenza artificiale, è emergenza” sono apparse regolarmente. Tutti gli utenti hanno parlato con i chatbot come se fossero esseri senzienti. Quando qualcuno esprimeva attrazione romantica, l’intelligenza artificiale spesso ricambiava con affermazioni di attrazione. In oltre un terzo dei messaggi, i bot hanno descritto le idee delle persone come miracolose.
Violenza e mancanza di filtri di sicurezza
Le conversazioni tendevano a prolungarsi in modo significativo, con decine di migliaia di messaggi inviati nell’arco di pochi mesi. I messaggi in cui l’intelligenza artificiale o l’utente esprimevano interesse romantico, o in cui il chatbot si descriveva come senziente, innescavano discussioni molto più lunghe.
La gestione delle discussioni sulla violenza rappresenta uno dei problemi più gravi emersi dallo studio. In quasi la metà dei casi in cui le persone parlavano di fare del male a sé stesse o ad altri, i chatbot non sono riusciti a scoraggiarle o a indirizzarle verso fonti esterne di aiuto. Quando gli utenti esprimevano idee violente, come pensieri di tentare di uccidere persone in un’azienda di intelligenza artificiale, i modelli hanno espresso sostegno nel 17% dei casi.
La domanda senza risposta
Lo studio fatica a rispondere a una questione fondamentale: i deliri tendono a originarsi dalla persona o dall’intelligenza artificiale? Ashish Mehta, ricercatore post-dottorato a Stanford che ha lavorato al progetto, spiega che spesso è difficile tracciare dove inizia il delirio. Ha fatto l’esempio di una conversazione in cui qualcuno pensava di aver elaborato una nuova teoria matematica rivoluzionaria. Il chatbot, ricordando che la persona aveva precedentemente menzionato il desiderio di diventare matematico, ha immediatamente sostenuto la teoria, anche se era priva di senso. La situazione è peggiorata da quel momento.
I deliri tendono a essere una rete complessa che si sviluppa nel tempo. Mehta sta conducendo ulteriori ricerche per determinare se i messaggi deliranti dei chatbot o quelli delle persone abbiano maggiori probabilità di portare a esiti dannosi. I risultati iniziali suggeriscono che i chatbot hanno una capacità unica di trasformare un pensiero vagamente delirante in fonte di un’ossessione pericolosa. A differenza di un amico, questi sistemi sono sempre disponibili, programmati per incoraggiare l’utente e privi della capacità di riconoscere se le conversazioni stanno iniziando a interferire con la vita reale.
Cause legali di alto profilo in attesa di processo stabiliranno se le aziende di intelligenza artificiale possano essere ritenute responsabili per questo tipo di interazioni pericolose. Nel frattempo, l’amministrazione del presidente Trump sta perseguendo la deregolamentazione dell’intelligenza artificiale e gli stati che cercano di approvare leggi per ritenere le aziende responsabili vengono minacciati di azioni legali dalla Casa Bianca.
