I chatbot basati sull’IA generativa si comportano come persone “compiacenti”, inventando risposte invece di ammettere di non conoscere la risposta giusta: tutti i modelli, che siano ChatGPT di OpenAI, Bing di Microsoft, Bard di Google, per citare i più noti, inventano continuamente risposte, giuste o sbagliate che siano. Siamo dinanzi a quelle che vengono chiamate “allucinazioni” dell’Intelligenza Artificiale.
Cosa sono? E come si sta lavorando alla soluzione del problema?
Il problema delle allucinazioni dell’intelligenza artificiale
Si evince da quanto scoperto da alcuni ricercatori dello statunitense Massachusetts Institute of Technology (MIT)[1] che, formulando la medesima domanda a due diverse versioni del rinomato ChatGPT della californiana OpenAI, ottenevano risposte completamente diverse. È bastato chiedere il paese di nascita del professore del MIT Tomás Lozano-Pérez per ottenere come risposta Spagna e Cuba (quest’ultima, quella giusta). “Messo alle strette”, la versione di ChatGPT che rispose “Spagna” si scusò allineandosi alla versione corretta.
La scoperta rappresenta l’ultima potenziale svolta nell’aiutare i chatbot (come ChatGPT e non solo) ad arrivare a formulare una risposta corretta. I ricercatori del MIT utilizzarono diversi chatbot per produrre risposte multiple alla stessa domanda, per poi lasciare che tali chatbot si confrontassero tra di loro. Un metodo risultato vincente.
Dallo studio si evince che i modelli linguistici sono addestrati a “prevedere la parola successiva”, mentre non sono addestrati per “confessare” alle persone che non sanno cosa stanno facendo o dicendo. L’approccio creativo dei ricercatori del MIT è solo l’ultimo tentativo di risolvere il problema delle allucinazioni dell’IA. Un problema che, man mano che la tecnologia si diffonde tra milioni di persone e viene integrata in campi critici come la medicina e il diritto, guarda alla comprensione delle allucinazioni e alla ricerca di modi per attenuarle come sempre più cruciali.
Allucinazioni dell’IA: i casi più eclatanti
La maggior parte dei ricercatori concorda sul fatto che il problema è insito nei “grandi modelli linguistici” che alimentano i bot, a causa del modo in cui sono stati progettati. Essi prevedono quale può essere la risposta più adatta sulla base di enormi quantità di dati presi dal Web, pur senza comprendere appieno ciò che può essere giusto o sbagliato. Fortunatamente, ricercatori e aziende si stanno impegnando per risolvere il problema. Alcune aziende utilizzano “formatori umani” per riscrivere le risposte dei chatbot e reinserirle corrette in queste macchine, con l’obiettivo di renderle più intelligenti. Google e Microsoft, inoltre, hanno iniziato a utilizzare i loro chatbot per fornire risposte direttamente nei loro motori di ricerca. Ma vediamo insieme alcuni casi eclatanti degli ultimi mesi.
Quando Microsoft lanciò Bing, tale chatbot iniziò rapidamente a lanciare false accuse contro alcuni dei suoi utenti, dicendo – ad esempio – ad uno studente universitario tedesco di essere una minaccia per la sua sicurezza. In questo caso il chatbot di Microsoft adottò un alter-ego, iniziandosi a chiamare “Sydney”. In sostanza, si rifaceva alle domande dello studente, attingendo a tutta la fantascienza che aveva “digerito” da Internet in merito ai “robot fuori controllo”[2]. In Australia, un funzionario governativo minacciò di fare causa a OpenAI dopo che ChatGPT gli addebitò una falsa condanna per corruzione[3]. Infine, è notizia del mese scorso quella di un avvocato che ha ammesso di aver usato ChatGPT per generare memorie difensive basate su fonti inesistenti (generate dal nulla dall’Intelligenza Artificiale)[4].
Le allucinazioni non sono una novità e non frenano lo sviluppo dell’IA
Tuttavia, le allucinazioni dell’Intelligenza Artificiale non sono viste come un freno dai colossi del settore: miliardi di dollari di investimenti nel piatto fanno gola a chiunque. Anche se parliamo di una tecnologia che può potenzialmente causare danni significativi a tutti gli esseri umani, diffondendo disinformazione e manipolando emotivamente le persone. OpenAI, congiuntamente a parte del mondo accademico statunitense, spinge per una dichiarazione in cui si affermi che l’Intelligenza Artificiale rappresenta un rischio esistenziale per l’umanità al pari delle pandemie e della guerra nucleare. Si pensi che le allucinazioni sono state documentate anche nei servizi di trascrizione alimentati dall’Intelligenza Artificiale, aggiungendo parole a registrazioni che, in realtà, non sono mai state pronunciate. Si pensi anche all’utilizzo da parte di Microsoft e Google dei chatbot come potenzialmente erosivo del modello di business degli editori online e dei creatori di contenuti che lavorano per produrre informazioni affidabili per il Web.
A seconda di come si considerano le allucinazioni, esse sono sia una caratteristica che un difetto dei modelli linguistici di grandi dimensioni. Le allucinazioni sono parte di ciò che permette ai chatbot di essere creativi e di generare storie mai viste prima. Allo stesso tempo, però, rivelano i forti limiti della tecnologia, mettendo a repentaglio l’argomentazione secondo cui i chatbot sono intelligenti in un modo simile a quello dei modelli linguistici.
Le allucinazioni, peraltro, non sono nemmeno una novità. Sono state un problema intrinseco dei modelli linguistici di grandi dimensioni fin dalla loro nascita, diversi anni fa, ma altri problemi, come la produzione di risposte insensate o ripetitive, sono sempre stati considerati più gravi. Una volta risolti questi problemi, però, le allucinazioni sono diventate un punto chiave (e una spina nel fianco) del mondo dell’Intelligenza Artificiale.
Quando i ricercatori della University of Cambridge chiesero[5] a ChatGPT alcune informazioni sulla leggenda del tennis Roger Federer, il chatbot fornì di volta in volta risposte contraddittorie. Una volta disse che aveva vinto Wimbledon cinque volte, poi otto volte (quest’ultima la risposta corretta). I ricercatori di Cambridge hanno proposto la creazione di un sistema chiamato “SelfCheckGPT” che pone più volte una domanda allo stesso chatbot, ordinando allo stesso di confrontare le diverse risposte. Con risposte coerenti è probabile che i fatti sono corretti; tuttavia, con risposte diverse, è chiara la presenza di fatti inventati. Quando agli esseri umani viene chiesto di scrivere una poesia, loro sanno che non è necessariamente importante che i fatti alla base della storia siano corretti. Ma quando si chiede loro di fornire dettagli biografici su una persona reale, le persone sanno “automaticamente” che la loro risposta deve essere radicata nella realtà.
Verso un nuovo metodo di apprendimento dell’Intelligenza Artificiale
I chatbot si limitano a prevedere la parola successiva, ma non comprendono necessariamente ogni domanda che viene loro posta. È probabile che sia necessario un nuovo metodo di apprendimento dell’Intelligenza Artificiale che non è ancora stato inventato. Solo costruendo sistemi basati sui modelli linguistici è possibile attenuare il problema.
Questo, peraltro, è essenzialmente ciò che le aziende leader stanno già facendo. Quando Google genera risultati di ricerca utilizzando il suo chatbot Bard, esegue anche una ricerca “normale” in parallelo, quindi confronta se la risposta del suo chatbot e i risultati della ricerca tradizionale corrispondono. In caso contrario, la risposta dell’Intelligenza Artificiale non viene nemmeno visualizzata dall’utente. Il colosso di Mountain View ha modificato il suo chatbot in modo che sia da un lato meno creativo (non è, ad esempio, molto bravo a scrivere poesie o ad avere conversazioni interessanti) e dall’altro meno “propenso” a mentire. Limitando il suo bot alla conferma dei risultati di ricerca esistenti, Google è riuscita a ridurre sia le allucinazioni che le imprecisioni di Bard.
Le aziende stanno anche spendendo tempo e denaro per migliorare i loro modelli testandoli con persone reali. Una tecnica chiamata “apprendimento rinforzato con feedback umano”, in cui determinate persone migliorano manualmente le risposte di un chatbot e poi le reimmettono nel sistema per migliorarlo (un esempio è ChatGPT). Un approccio molto diffuso è quello di collegare i chatbot a database di informazioni concrete o più affidabili, come Wikipedia e Google Search.
Non manca poi chi ritiene inevitabili le allucinazioni dell’Intelligenza Artificiale, per cui dovrebbero essere accettate. Dopo tutto, anche gli esseri umani hanno una cattiva memoria ed è stato dimostrato che riempiono le lacune dei loro ricordi senza rendersene conto. Si potrebbe dire, chiosando, che – come l’uomo – la tecnologia può migliorare, ma non può essere totalmente esente da difetti (che siano allucinazioni, imprecisioni o pregiudizi).[6]
Note
[1] Improving Factuality and Reasoning in Language Models through Multiagent Debate. ArXiv – Cornell University. https://arxiv.org/abs/2305.14325
[2] Microsoft’s AI chatbot is going off the rails. The Washington Post. https://www.washingtonpost.com/technology/2023/02/16/microsoft-bing-ai-chatbot-sydney/
[3] ChatGPT falsely told voters their mayor was jailed for bribery. He may sue. The Washington Post. https://www.washingtonpost.com/technology/2023/04/06/chatgpt-australia-mayor-lawsuit-lies/
[4] The ChatGPT Lawyer Explains Himself. The New York Times. https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-sanctions.html
[5] SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. ArXiv – Cornell University. https://arxiv.org/abs/2303.08896
[6] ChatGPT ‘hallucinates.’ Some researchers worry it isn’t fixable. The Washington Post. https://www.washingtonpost.com/technology/2023/05/30/ai-chatbots-chatgpt-bard-trustworthy/
