Come le allucinazioni di ChatGPT ci aiutano a capire la nostra idea di conoscenza

Passati i primi mesi dal rilascio di ChatGPT, grazie al quale i sistemi basati su LLM sono diventati oggetto di discussione nell’opinione pubblica più vasta, passano anche i grandi entusiasmi e i grandi malumori e ci si può porre qualche domanda sul loro funzionamento con uno sguardo se non neutro, quantomeno un po’ più disinteressato.

LLM, il problema delle allucinazioni

Una questione molto rilevante che interessa questi sistemi è quella delle cosiddette allucinazioni, ovvero, ormai lo sappiamo, il fatto, incontestabile, che possono produrre errori macroscopici, in cui non cadrebbe nemmeno un bambino. Si parla di allucinazioni, infatti, proprio quando nel produrre un testo, il sistema inserisce errori grossolani, fatti falsi che tutti riconosciamo come tali – e questo succede soprattutto in alcuni ambiti, ad esempio le biografie di persone realmente esistite, ma anche mosse degli scacchi o semplici operazioni aritmetiche.

Molti esperti sono concordi nell’affermare che si tratterebbe di un problema mai del tutto eliminabile. Infatti, poiché i LLM predicono la parola successiva, potranno sempre sbagliare previsione, in particolare non essendo dotati di una comprensione contestuale della domanda che viene loro posta. Che si tratti di ricordarci la biografia di Napoleone o di inventare una storia che lo abbia come protagonista per ChatGPT non fa alcuna differenza. E se per Aristotele, notoriamente, la poesia era superiore alla storia perché, essendo generale e applicandosi dunque a più situazioni simili anziché a una sola catena di eventi, ha un carattere di più ampio respiro e quindi ci può insegnare più cose, per ChatGPT (e simili, naturalmente) storia e poesia si equivalgono e “tratto da una storia vera”, “liberamente tratto da” o “qualunque riferimento a persone esistenti o a fatti realmente accaduti è puramente casuale” (per restare in ambito estetico-cinematografico) sembrano formule del tutto intercambiabili.

Non possiamo assuefarci alle allucinazioni dell’IA

Eppure, ci sembra ovvio che non è così: se stiamo facendo una ricerca di storia vogliamo che la risposta ottenuta corrisponda ai fatti realmente accaduti; se vogliamo conoscere la trama di Guerra e pace non vogliamo conoscere la storia della campagna di Russia di Napoleone, ma vogliamo sapere cosa Tolstoj ne ha (davvero) scritto nel suo romanzo; se vogliamo scriverne uno noi, di romanzo, magari ci interesseranno la coerenza della storia e la correttezza grammaticale della prosa, ma nessun riferimento alla realtà ci interesserà (salvo che per evitare un’accusa di plagio). È da questa capacità di contestualizzare e di capire, di conseguenza, la rilevanza del riscontro tra fatti e testo scritto che dipende l’utilità stessa di questi strumenti. Soprattutto, quando si paventi la possibilità, come avviene, di sostituire i tradizionali motori di ricerca con sistemi predittivi.

In ogni caso, la possibilità stessa di conoscere le fonti delle notizie o delle informazioni reperite sembra una necessità ineludibile.

Cosa fare con una enciclopedia creativa?

Ma anche indipendentemente dalla questione della reperibilità delle fonti, cosa potremmo farcene di una enciclopedia creativa?

Le risposte possibili sono almeno due: possiamo usarla per implementare la nostra creatività (e quindi non a scopo informativo) – d’altronde GPT è in grado di emendare testi, produrre quiz, fare abstract o ridurli a partire da un testo, suggerire acronimi (ricordandoci, ne avessimo ancora bisogno, che inventare vuol dire conoscere il già esistente). In questa direzione, dovremmo dimenticarci di utilizzare questi strumenti come dei sistemi di ricerca e trovare in altro la loro utilità.

Oppure, possiamo aspettarci di emendarli a tal punto da rendere quasi nullo il problema delle allucinazioni che, d’altronde, sembra legato a filo doppio con la questione della “overtrust”, cioè di una eccessiva, e ingiustificata, fiducia nello strumento tecnico che si traduce in una sospensione del giudizio, o meglio nella temporanea sospensione delle capacità critiche (un po’ come quando da bambini ci fidiamo dei genitori o degli insegnanti e diamo per vero quello che ci dicono, salvo poi apprendere che le persone, anche le più dotte, possono sbagliarsi, e che le loro opinioni possono essere guidate, da pregiudizi, prese di posizione, e via dicendo).

Una questione di fiducia e capacità critica

E qui troviamo, nella fiducia, un’arma a doppio taglio. Infatti, se ho bisogno di una enciclopedia è perché mi fido che sia redatta secondo criteri di scientificità, proprio come mi fido di una mappa in scala 1: 10.000 perché di una mappa dell’Impero 1 : 1 non saprei che farmene. Senza fiducia, dunque, nessuna utilità. Questa fiducia, però, deve essere esercitata attivamente e, almeno in parte, giustificata.

Allora, abbiamo da un lato la necessità di sviluppare capacità critica e insieme capacità di prendere le giuste misure, dare il giusto peso a ciò che riceviamo come risposta a una nostra domanda (e questo lo si impara a poco a poco, formandosi, proprio come si impara a non credere sempre ai nostri adulti di riferimento da bambini o a mettere in dubbio quello che leggiamo e ascoltiamo; ma anche imparando a conoscere meglio gli strumenti che utilizziamo); e dall’altro lato, abbiamo dei tentativi di ottimizzare le risposte per renderle almeno meno inclini a cadere nelle allucinazioni.

I metodi per ridurre le allucinazioni

E qui i metodi proposti (e in via di sviluppo e sperimentazione) sono i più diversi. Si parla di una tecnica di rinforzo dell’apprendimento grazie al feedback umano (gli utenti o persone appositamente reclutate per questa funzione aiutano i sistemi a migliorare le proprie risposte). E qui si apre ancora una volta l’enorme questione del microlavoro e dello sfruttamento dei lavoratori sul web di cui siamo ben a conoscenza, e che qui tralasciamo.

Un’ampia serie di lavori molto recenti si è concentrata in generale sul miglioramento dell’accuratezza dei fatti e del ragionamento nei modelli linguistici. Si va così dalla richiesta di dimostrazioni di catene di pensieri basate su task a zero-shot (si parla di zero-shot chain-of-thought), uso di verifiche, autoconsistenza o anche, banalmente, di inserire la richiesta di procedere passo per passo in un ragionamento. GPT 4, per esempio, è stato testato da Open AI (2023) con task di classificazione a zero-shot, ovvero senza allenamento precedente, e confrontata con lo svolgimento degli stessi test da parte di esseri umani e, sembra, aver ridotto di molto i problemi di allucinazione a cui erano esposti i modelli precedenti.

Manakul e altri studiosi di Cambridge (2023) hanno proposto un sistema da loro battezzato “SelfCheckGPT” basato sull’idea che, senza fare riferimento ad archivi esterni, i LLM sono in grado di riconoscere le proprie allucinazioni, in particolare quando forniscono risposte diverse o inconsistenti alla stessa domanda. Banalizzando, se alla stessa domanda (per esempio, dove è nato Napoleone?) do ogni volta una risposta diversa, posso inferirne di non sapere dove è nato Napoleone.

Interessante è la proposta avanzata a maggio da una serie di studiosi del MIT e di Google Brain (Du, Li, Torralba, Tenenbaum & Mordatch 2023), ispirata a La società della mente di Marvin Minsky (1986), e basata sull’idea che per eliminare le allucinazioni si possono far comunicare tra di loro due diversi sistemi (ponendo più volte la stessa domanda a ChatGPT o facendo dialogare GPT e Bard, per esempio) finché l’errore non viene eliminato. E questo accade soprattutto, sembra, perché gli elementi su cui i due attori del dialogo non sono d’accordo vengono eliminati dalla risposta conclusiva.

Conclusioni

Al di là delle specifiche tecniche e dei risultati raggiunti (o raggiungibili), quello che è interessante (e che può essere spunto per una nostra riflessione, indipendentemente dalle tesi sostenute da chi lavora all’eliminazione delle allucinazioni e all’implementazione dell’affidabilità dei LLM) è l’idea di conoscenza che viene fuori da queste soluzioni, che da una parte ci riporta un po’ alle origini mitiche del world wide web, come espressione di una grande intelligenza generale, fonte di verità o almeno di discussioni veridiche; dall’altro, può lasciarci perplessi, in un momento in cui ci sembrava una garanzia l’idea che la verità non viene dal dialogo – da cui semmai possiamo raggiungere la convivenza, che è una cosa ben diversa – ma da un confronto con la realtà che, resistendoci, ci ricorda che quante vittorie ha ottenuto Roger Federer a Wimbledon (questo l’esempio di Manakul) non dipende da cosa ne dica chicchessia ma da quante volte effettivamente Federer ha vinto a Wimbledon.

Esistono, infatti, questioni di fatto che appunto non dipendono dalle nostre opinioni e che possiamo semplicemente verificare esternamente e altre, che però hanno molto meno a che fare con le allucinazioni, per dirimere le quali il dialogo (insieme al dissidio) è e resterà un valido strumento, per esempio, per fare cosa è utile ChatGPT?

Bibliografia

De Vynck, Gerrit (2023). ChatGPT ‘hallucinates.’ Some researchers worry it isn’t fixable. Washington Post, May 30, 2023.

Du, Yilun, Li, Shuang, Torralba, Antonio, Tenenbaum, Joshua B., and Igor Mordatch (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.

Manakul, Potsawee, Liusie, Adian, and Mark J. F. Gales (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896

Open AI (2023). GPT-4 System Card OpenAI. March 23, 2023. GPT-4 System Card OpenAI March 23, 2023.