Tra i diversi ostacoli che vi sono circa la “corretta” implementazione dell’Intelligenza Artificiale nei diversi settori nella quale è prepotentemente applicata, quello delle “allucinazioni” trova un posto di riguardo.
Le allucinazioni dell’Intelligenza Artificiale, in soldoni, fanno semplicemente sì che i sistemi alimentati dalla tecnologia in esame producano informazioni false presentandole per vere.
Allucinazioni dell’intelligenza artificiale: la ricerca dell’Università di Oxford
In un recente articolo pubblicato su Nature[1], alcuni ricercatori della University of Oxford hanno esaminato un metodo in grado di prevedere questo gravoso problema. Tale soluzione potrebbe impedire ai modelli di Intelligenza Artificiale di “voler accontentare a tutti i costi” i propri utenti, un “atteggiamento” di tale tecnologia che comporta il propagarsi di diverse risposte errate o imprecise.
Con l’aumentare del clamore per l’Intelligenza Artificiale generativa (capace di generare testo, immagini e video), sono aumentate le critiche alle allucinazioni di cui sono affetti i modelli di Intelligenza Artificiale. Si tratta di risultati che sono, paradossalmente, “falsi ma plausibili”, prodotti dai cosiddetti modelli linguistici di grandi dimensioni, come possono essere ChatGPT di OpenAI, Gemini di Google o Claude di Anthropic.
Queste allucinazioni potrebbero essere particolarmente problematiche in campi come la medicina, il mondo giornalistico (fake news) e il settore legale. Per allucinazione dell’Intelligenza Artificiale possiamo intendere una categoria molto ampia, tale da abbracciare praticamente ogni tipo di errore commesso da un modello linguistico di grandi dimensioni. Lo studio di Oxford, però, si concentra principalmente su casi in cui tali modelli sbagliano senza motivo, piuttosto che focalizzarsi su errori commessi per via di dati di addestramento errati.
Come funziona il metodo di Oxford
Siamo arrivati al punto in cui ottenere risposte dai modelli linguistici di grandi dimensioni è economico, ma la loro affidabilità è altamente compromessa. Il metodo varato nella prestigiosa università britannica funziona misurando l’incertezza o la variabilità del significato degli output attraverso l’entropia semantica, ossia quell’entropia (“ostacolo alla chiarezza dell’informazione”) che incorpora le differenze linguistiche create dai significati condivisi. Il metodo di Oxford considera l’incertezza dei significati delle risposte piuttosto che la semplice sequenza di parole. Per esempio, se a un modello linguistico viene posta una domanda e genera diverse risposte possibili, l’entropia semantica misurerà quanto diverse sono le risposte in termini di significato. L’entropia è bassa se i significati sono molto simili, il che indica un’elevata fiducia nel senso inteso. Se i significati sono molto diversi, l’entropia è alta e indica incertezza sul significato corretto. Quando un modello linguistico di grandi dimensioni genera una risposta a una domanda, gli si chiede di rispondere più volte. Poi si confrontano le diverse risposte tra loro. In passato, non si è tenuto conto del fatto che nel linguaggio naturale ci sono molti modi diversi di dire la stessa cosa. Questo è diverso da molte altre situazioni di apprendimento automatico in cui i risultati del modello sono univoci.
Testato su sei modelli linguistici di grandi dimensioni, questo nuovo metodo sviluppato a Oxford si è rivelato migliore di altri nell’individuare domande tratte da ricerche su Google, domande tecniche su questioni biomediche e problemi matematici che potevano causare false risposte. Tuttavia, tale metodo richiede maggiori risorse di calcolo rispetto alla semplice generazione di testo. Come accennato in precedenza, ottenere risposte dai modelli è economico, ma l’affidabilità è il più grande collo di bottiglia. Tuttavia, nelle situazioni in cui l’affidabilità è importante, il calcolo dell’incertezza semantica è un piccolo prezzo da pagare.
Le allucinazioni, peraltro, rimangono una delle principali critiche rivolte ai modelli linguistici di grandi dimensioni.[2]
Allucinazioni dell’IA: la soluzione di Google
Oltre ai ricercatori della University of Oxford, anche Google entra a gamba tesa nell’argomento con una sua soluzione.
Il colosso di Mountain View ha migliorato l’accuratezza e l’affidabilità dei suoi modelli di Intelligenza Artificiale con il lancio di “DataGemma”.
Questo approccio innovativo consente di ancorare i modelli linguistici di grandi dimensioni agli ampi dati statistici del mondo reale dei Data Commons di Google.
Come funziona DataGemma
Basandosi sulla ricerca e sulla tecnologia avanzata del modello di casa Google Gemini, DataGemma migliora l’accuratezza e il ragionamento dei modelli collegandoli ai dati reali di Data Common. DataGemma sfrutta l’interfaccia in linguaggio naturale di Data Commons per interrogare e recuperare le informazioni. Data Commons è una piattaforma open source (creata da Google) che fornisce un grafico di conoscenza aperto, combinando dataset pubblici di carattere economico, scientifico e di altro tipo in una “vista unificata”.
L’integrazione della RAG con Data Commons: un progresso significativo
Il nuovo approccio di Google si basa sulla “Retrieval-Augmented Generation” (“RAG”, traducibile in “Generazione Aumentata di Recupero”), un metodo sempre più adottato da diverse aziende. La RAG ha trasformato il settore facendo leva su tecniche che recuperano e integrano dinamicamente dati esterni contestualmente rilevanti nel processo di generazione, migliorando così la precisione e riducendo al minimo le allucinazioni.
L’integrazione della RAG con Data Commons da parte di Google rappresenta la prima implementazione su larga scala della RAG basata su cloud. Mentre molte aziende hanno utilizzato la RAG con dati proprietari, l’applicazione di Google a una risorsa pubblica come Data Commons rappresenta un progresso molto significativo. Questo approccio di Big G mira a migliorare l’affidabilità e la funzionalità dell’Intelligenza Artificiale utilizzando dati di alta qualità e verificabili.
Il duplice approccio di Google
Secondo Google, DataGemma adotta un duplice approccio per integrare il reperimento dei dati con l’output dei modelli linguistici di grandi dimensioni. Il primo metodo consiste nell’utilizzare la RAG per recuperare in anticipo le informazioni contestuali e i fatti necessari, consentendo al modello di fornire risposte più complete e accurate. Il secondo metodo consiste nell’utilizzare la “Retrieval-Interleaved Generation” (“RIG”, traducibile in “Generazione Intrecciata di Recupero) per recuperare dati statistici specifici in tempo reale, al fine di verificare le domande poste nella richiesta di informazioni. Le informazioni raccolte vengono inviate al modello di casa Google Gemini 1.5 Pro, il più avanzato della Casa, che genera un output. L’impiego di questi due approcci distinti consente di migliorare l’accuratezza e la trasparenza dei fatti, riducendo il rischio di allucinazioni. Inoltre, fornisce agli utenti le fonti delle informazioni.
Ostacoli e prossimi step
DataGemma è attualmente disponibile solo per i ricercatori, ma Google prevede di ampliarne l’accesso dopo ulteriori test. Tuttavia, sebbene sia promettente, ci sono alcuni limiti da considerare. Tra questi, uno dei limiti principali è la disponibilità dei dati necessari per gli approcci RAG e RIG nei Data Commons (nel settantacinque percento dei casi di test il metodo RIG non è riuscito a recuperare informazioni utili da Data Commons). In altri casi, invece, Data Commons pur contenendo le informazioni necessarie al modello, questo non formula il “comando giusto” per trovarle. Insomma, siamo ancora in una fase primordiale, ma la strada tracciata da Oxford e Google è davvero promettente. Vedremo gli sviluppi durante i prossimi mesi.[3]
Note
[1] Detecting hallucinations in large language models using semantic entropy. Nature. https://www.nature.com/articles/s41586-024-07421-0#author-information
[2] Researchers develop new method to prevent AI from hallucinating, according to a new study. Euronews. https://www.euronews.com/next/2024/06/19/researchers-develop-new-method-to-prevent-ai-from-hallucinating-according-to-a-new-study
[3] Google’s DataGemma Tackles AI Hallucination. AIWire. https://www.aiwire.net/2024/09/18/googles-datagemma-tackles-ai-hallucination/
