Anche se i chatbot possono produrre risposte sensate e approfondite a volte generano output del tutto falsi e immaginari. Ma cosa succede quando avviene?
L’impatto dei chatbot di IA generativa
Ad oggi oltre 100 milioni di persone hanno fatto due chiacchiere con un chatbot di intelligenza artificiale (IA) avanzata, sperimentando il livello di accuratezza e profondità, l’immensa varietà di domande alle quali può rispondere, quanto è capace di mantenere una conversazione in maniera soddisfacente e quanto può essere utile nel risolvere problemi o dubbi (ChatGPT Statistics, 2023; Milmo, 2023). ChatGPT di OpenAI, BlenderBot3 di Meta, Bard di Google: tutte le più grandi aziende tecnologiche si stanno muovendo per dire la loro.
Presentate al pubblico solo da pochi mesi, intelligenze artificiali così evolute sono destinate ad avere un enorme impatto in molti settori tra cui ricerca, istruzione, assistenza sanitaria, scrittura, sviluppo di altre tecnologie; possono supportare nell’esecuzione di task non troppo complessi, nell’elaborazione di informazioni, sollevando molti professionisti da compiti lunghi e gravosi, liberando tempo e risorse che possono essere dedicate a compiti più strategici (Eysenbach, 2023; Rudolph et al., 2023).
Certamente c’è ancora molto lavoro da fare per migliorarne l’affidabilità; capita che non colgano il significato implicito di un passaggio conversazionale, che una domanda venga interpretata in maniera incorretta, che diano risposte incongruenti o inaccurate.
Ma cosa succede quando quello che ci dicono è totalmente inventato e falso?
Cosa sono le allucinazioni nei chatbot
Negli esseri umani si parla di allucinazione quando si avverte una percezione sensoriale immaginaria; lo stimolo sensoriale viene vissuto come reale; l’allucinazione può essere di tipo visivo, uditivo, gustativo, olfattivo, tattile e coinvolgere uno o più sensi insieme.
Questo fenomeno può avere molte spiegazioni, non tutte necessariamente di tipo patologico. In ogni caso l’effetto è di generare nella persona la convinzione che quello che ha percepito sia vero anche se non c’è alcun fondamento fisico; viene generato qualcosa che non esiste ma è reale per chi lo sta provando.
Anche le intelligenze artificiali possono avere allucinazioni.
Lo stato di “allucinazione dell’intelligenza artificiale” (AI Hallucination State) è un fenomeno che si manifesta quando l’output generato è falso, non è basato sul set di dati su cui è stato addestrato né è previsto dal modello con cui è stato realizzato (Wikipedia, 2023).
Nello stato di allucinazione viene fornita una risposta esaustiva, efficace, chiara, logica, ma inventata, completamente infondata. Questo fenomeno può riguardare tutti i tipi di output come testi, audio, video e immagini, per esempio generando foto di mani con sei dita.
Avviene anche quando le risposte fornite sono bizzarre, eccentriche, fuori luogo. Ci sono diverse testimonianze online di conversazioni in cui il chatbot ha elargito consigli strani, minacce, amore incondizionato, contestazioni e perfino rivendicazioni su eventuali conquiste del mondo da parte proprio di sistemi di IA.
Questi casi tanto singolari sono un esempio di AI hallucination state, casi in cui è molto evidente quanto la risposta del chatbot sia stata un mancato compromesso tra combinazione delle fonti da cui ha attinto, la domanda o richiesta che gli è stata posta, il contesto del dialogo ed il comportamento appropriato.
L’allucinazione per essere tale non deriva da un errore nei codici di programmazione; non dipende da un addestramento inadeguato, ad esempio da un set di dati compromesso; non è legata all’input, come l’uso di lingue diverse. Sembra che le allucinazioni siano più probabili in sessioni di chat lunghe e prolungate (oltre quindici domande); ciò avverrebbe perché il chatbot tiene conto anche delle frasi precedenti nella stessa conversazione, frasi che vanno quindi ad aggiungere un altro livello di complessità all’analisi.
L’elaborazione delle informazioni
Le intelligenze artificiali simulano i modelli cognitivi umani e, come questi, seguono dei flussi e delle logiche; secondo Bellini-Leite (2023) quello che viene riprodotto è il processo cognitivo relativo alla memoria di lavoro. Negli umani errori nell’elaborazione di informazioni possono essere spiegati alla luce della teoria dei processi duali (Neys, 2006) e del paradigma del predicting and reflecting framework, il PRF (Bellini-Leite, 2022).
La teoria dei processi duali sostiene che i processi decisionali e di ragionamento umani procedano lungo due vie: una intuitiva, immediata, veloce, autonoma, che impiega un basso dispendio di risorse cognitive; l’altra invece che carica la memoria di lavoro, è più lenta e riflessiva.
Gli output generati dalla prima via sono influenzati da eventi precedenti, dallo stato del momento e, a volte, da bias cognitivi come per esempio l’effetto framing, la tendenza a fare una scelta sulla base di come sono presentate le opzioni; anche le intelligenze artificiali sono soggette a come viene presentato un prompt.
Quando il livello di ragionamento passa alla seconda via avviene l’analisi e la risoluzione del problema, intesa come la generazione e l’organizzazione della risposta finale. A questo livello di formulazione della risposta interviene il paradigma PFR secondo cui abbiamo un terzo livello che “rivedere e corregge” eventuali errori, in cui vengono vagliate diverse ipotesi e che fa capo a funzioni esecutive della memoria di lavoro.
Perché i chatbot hanno allucinazioni?
Le intelligenze artificiali risolvono problemi e compiti simulando il funzionamento della memoria di lavoro; quest’ultima esegue delle operazioni, in particolare spostamento, aggiornamento e inibizione. La prima è lo shifiting, il passare da un compito all’altro, eseguire nuove attività e dirottare agevolmente attenzione e risorse cognitive su altri stimoli; ci sono poi monitoraggio e modifica dei dati in entrata che ne definiscono la rilevanza e li aggiornano. Infine, la terza è l’inibizione, cioè la soppressione volontaria delle informazioni quando necessario.
Gli esseri umani sono soggetti a variazioni fisiologiche, come la stanchezza, che incidono sulle prestazioni; quindi, non sempre queste funzioni sono al massimo delle potenzialità. Curiosamente, è stato dimostrato che un calo di capacità di queste tre funzioni è collegato ad una maggiore efficacia nel risolvere problemi: sarebbe necessario una sorta di “meccanismo di disimpegno” per evitare sovraccarichi alla memoria di lavoro (Decaro, Van Stockum, Wieth, 2016).
Le intelligenze artificiali non hanno problemi nelle capacità di memoria ed ecco perché queste funzioni lavorano sempre al massimo, aumentando la probabilità di risposte come le allucinazioni; sarebbe necessario anche per loro programmare un “meccanismo di disimpegno” che consenta un adeguato spostamento, aggiornamento e inibizione dei dati.
Negli umani inoltre la memoria di lavoro può richiamare elementi presenti nella memoria a lungo termine, producendo così dei prompt interni, cioè generati dal processo stesso; succede qualcosa di simile nelle IA (Bellini-Leite, 2023).
Solo un piccolo incidente
La possibilità di errori e risposte false o incongruenti è un problema su cui i ricercatori sono già all’opera. Ottimizzare i set di dati di addestramento è il primo passo, assieme alla revisione da parte di valutatori umani. Un ciclo di feedback che preveda la supervisione di ricercatori addestrati ad analizzare e vagliare le risposte riduce ancora di più non solo la possibilità di allucinazioni vere e proprie ma anche di risposte bizzarre che, sebbene possano avere un senso, non lo hanno nel contesto della conversazione. La stessa OpenAI sta lavorando per ridurre le allucinazioni e migliorare il modello linguistico attraverso revisori umani, come pubblicato nel loro blog ufficiale (OpenAI, 2023). Nvidia, altra azienda tecnologica statunitense, ha annunciato il lancio di un software, NeMo Guardrails, in grado di ridurre sensibilmente le allucinazioni dei chatbot di intelligenza artificiale per garantire un elevato livello di qualità, sicurezza e fondatezza delle informazioni (Freund, 2023).
I modelli linguistici di grandi dimensioni di ultima generazione hanno capacità straordinarie anche se le risposte inattendibili, false o inventate sono ancora un problema; ricerche recenti (Bellini-Leite, 2023) suggeriscono come applicare modelli di funzionamento cognitivo possa spiegare almeno in parte a cosa sono dovuti questi fenomeni.
Le allucinazioni nelle IA possono risvegliare nell’immaginario collettivo scenari distopici in cui le intelligenze artificiali acquisiscono coscienza e prendono il sopravvento sull’umanità; sebbene suggestiva, questa circostanza appare decisamente remota.
Lo stato delle cose oggi è che le intelligenze artificiali possono supportarci in molti ambiti: medicina, istruzione, sviluppo. Come ogni tecnologia hanno punti di forza e di debolezza, punti su cui bisogna lavorare per potenziarne l’efficacia e la funzionalità.
Nel cammino verso macchine ancora più evolute le allucinazioni sono solo un piccolo incidente di percorso; possiamo utilizzarlo come promemoria per ricordarci che siamo noi a dettare la direzione e che siamo gli unici responsabili di ciò che progettiamo.
Nel frattempo, non crediamo a tutto ciò che ci dice un chatbot.
Bibliografia
Bang, Y., Cahyawijaya, S., Lee, N., Dai, W., Su, D., Wilie, B., … & Fung, P. (2023). A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity. arXiv preprint arXiv:2302.04023.
Bellini-Leite, S. C. (2022). Dual Process Theory: Embodied and predictive; symbolic and classical. Frontiers in Psychology, 13, 805386.
Bellini-Leite, S. C. (2023). Analytic Thinking (Type 2 or “System 2”) for Large Language Models: using Psychology to address hallucination and reliability issues. PsyArXiv Preprints.
ChatGPT statistics 2023: trends and the future perspectives. Gitnux. 2023 Mar 01.
DeCaro, M. S., Van Stockum, C. A., & Wieth, M. B. (2016). When working memory capacity hinders insight. Journal of Experimental Psychology: Learning, Memory, and Cognition, 42, 39–49.
Dziri, N., Milton, S., Yu, M., Zaiane, O., & Reddy, S. (2022). On the origin of hallucinations in conversational models: Is it the datasets or the models? arXiv preprint arXiv:2204.07931.
Eysenbach, G. (2023). The role of ChatGPT, generative language models, and artificial intelligence in medical education: a conversation with ChatGPT and a call for papers. JMIR Medical Education, 9(1), e46885.
Freund, K. (2023). Don’t Trust AI? NVIDIA Guardrails May Lower Your Anxiety, And Save Your Job. Forbes.
Hallucination_(artificial_intelligence). Wikipedia, L’enciclopedia libera. Consultato il 23 Giugno 2023. URL: https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence).
Milmo, D. (2023). ChatGPT reaches 100 million users two months after launch. The Guardian.
Neys, W. D. (2006). Dual processing in reasoning: Two systems but one reasoner. Psychological science, 17(5), 428-433.
OpenAI Blog. URL: https://openai.com/blog
Rudolph, J., Tan, S., & Tan, S. (2023). War of the chatbots: Bard, Bing Chat, ChatGPT, Ernie and beyond. The new AI gold rush and its impact on higher education. Journal of Applied Learning and Teaching, 6(1).
