Nel suo saggio “Hazards of prophecy: the failure of imagination”, l’autore di fantascienza britannico Arthur Charles Clarke formulò la sua famosa terza legge: qualsiasi tecnologia sufficientemente avanzata è indistinguibile dalla magia.
È probabile che nessuna tecnologia finora sviluppata dall’umanità si avvicini di più a questa definizione dei moderni modelli di base (foundation model) di Intelligenza Artificiale (IA), che mostrano capacità emergenti in grado di stupire persino gli stessi esperti del settore.
Per esempio, GPT-3 è un modello linguistico addestrato a predire la parola successiva più probabile e per questo è stato da alcuni sminuito come un semplice “pappagallo statistico”. Tuttavia, GPT-3 ha presto dimostrato di possedere
capacità inaspettate, come svolgere semplici calcoli aritmetici e scrivere programmi per computer.
In un recente articolo, i ricercatori di Microsoft ritengono di aver rilevato i primi “vagiti” di intelligenza artificiale generale in GPT-4, che dimostra alcune basilari capacità di ragionamento ed è in grado di risolvere compiti complessi in diversi campi, dalla matematica alla programmazione, dal diritto alla medicina.
Modelli IA come scatole nere
Non è difficile capire perché i grandi modelli di base dell’IA siano considerati come scatole nere che producono magicamente la risposta corretta. In fondo, si tratta di modelli estremamente complessi, con miliardi di parametri regolati grazie a un lungo addestramento su terabyte di dati di ogni genere. Ma anche modelli molto più semplici, focalizzati su compiti specifici come il riconoscimento di immagini e usati ormai comunemente in molti settori dell’industria, sono generalmente opachi e non è sempre facile capire come arrivino a formulare le proprie decisioni.
Sfortunatamente, in molti casi, maggiore è l’accuratezza del modello di IA nel proprio compito, maggiore è la sua opacità. Questo probabilmente è dovuto al fatto che i modelli più facili da interpretare sono anche quelli più semplici e altamente lineari, mentre i modelli più accurati per compiti complessi richiedono spesso una buona dose di non linearità interna. A questo si aggiunga la diffusione sempre maggiore del nuovo paradigma di “programmazione con i dati”, dove il programmatore non usa la propria conoscenza per comprendere il problema e definire le regole dell’algoritmo, ma lascia che sia il modello stesso ad apprenderle nella fase di addestramento.
Il risultato è che siamo sempre più circondati, nella vita quotidiana e nelle imprese, da applicazioni basate su modelli di IA che non sappiamo più interpretare.
Intelligenza artificiale interpretabile: ci servono spiegazioni
Vediamo perché dovremmo preoccuparci di comprendere un modello di IA e non ci basta che ci dia la risposta corretta. Infatti, ci sono delle ottime ragioni per pretendere una spiegazione.
In moltissime situazioni nella nostra vita personale e professionale non ci basta ricevere un responso, vogliamo anche capirne le motivazioni. Per esempio, il voto di un esame a scuola, la riposta a una richiesta di finanziamento, una sentenza di tribunale che ci riguarda, l’esito di un colloquio di lavoro. In tutti questi casi non ci accontentiamo della risposta. Vogliamo sapere perché. E in tutti questi casi l’utilizzo di sistemi di IA a supporto delle decisioni non solo è possibile, ma è già realtà in molti contesti.
Un’importante spinta verso l’intelligenza artificiale interpretabile (explainable AI o XAI) è data dalla normativa in rapida evoluzione.
Emendamento 300 nell’AI Act europeo
Il testo dell’AI Act, approvato recentemente dal Parlamento Europeo, contiene la richiesta esplicita che l’output di un modello di IA sia il più possibile interpretabile (Amendment 300). Ma anche numerose norme in vigore prevedono la necessità di fornire una spiegazione delle decisioni e l’utilizzo di sistemi di IA in questi casi già oggi deve confrontarsi con tale requisito. Per esempio, negli Stati Uniti, ai sensi dell’Equal Credit Opportunity Act i creditori sono tenuti a spiegare ai richiedenti a cui viene negato il credito i motivi specifici della decisione.
In Francia la Loi pour une République numérique del 2016 introduce una nuova disposizione per la spiegazione delle decisioni prese dagli enti del settore pubblico. Nella Comunità Europea, il GDPR prevede una sorta di “diritto a una spiegazione”, dove afferma che l’interessato ha il diritto di non essere soggetto a una decisione basata esclusivamente su un processo automatizzato e in ogni caso tale trattamento dovrebbe includere una spiegazione della decisione.
Aggiungiamo che in generale un sistema di IA interpretabile può aiutare l’identificazione di eventuali bias o errori sistematici e favorisce l’accettazione di questi sistemi da parte degli utenti umani. Infine, come osserva Sabine Hossenfelder discutendo dell’applicazione dell’IA all’impresa scientifica, “Fare previsioni è sempre stato solo un aspetto della scienza. L’altro lato è la comprensione. Non vogliamo solo risposte, vogliamo spiegazioni per le risposte.” (Lost in Math, 2018).
Quali soluzioni abbiamo
Più cresce la diffusione dell’IA nella società e nelle imprese, più aumentano l’esigenza e l’opportunità di sviluppare sistemi interpretabili. Vediamo quali sono oggi le opzioni disponibili.
Nel caso dei modelli di base più complessi, la questione della trasparenza e dell’interpretabilità è ancora aperta. La natura proteiforme di questi modelli rende estremamente difficile ideare metodi generali in grado di spiegarne il funzionamento interno. Per modelli più semplici, tuttavia, esistono diverse tecniche e strumenti che possono aiutare.
Alcuni degli approcci più noti consistono nel linearizzare il modello di IA nell’intorno dell’input che ha generato un certo risultato, ottenendo un modello ausiliario semplificato e più facilmente interpretabile. Un’altra idea consiste nel pesare le caratteristiche dei dati in input in base all’importanza che hanno nella determinazione dell’output (il cosiddetto valore di Shapley). Altri metodi ancora si basano sulla creazione di scenari controfattuali al fine di individuare il cambiamento minimo dell’input che può causare un passaggio di stato dell’output. Come si vede, si tratta di metodi abbastanza tecnici, che richiedono sempre una “traduzione” in linguaggio corrente per essere compresi dall’utente medio.
Una possibile idea che stiamo sperimentando internamente potrebbe essere l’utilizzo di un modello linguistico opportunamente addestrato per compiere automaticamente anche quest’ultimo passaggio.
L’importanza del fattore umano
Un approccio diverso, che studiamo attivamente in Cefriel, pone l’accento sul fattore umano e consiste nel costruire sistemi decisionali misti, che si basano su una proficua collaborazione uomo-macchina (human in the loop). Incorporando il fattore umano by design, è possibile migliorare l’accuratezza, l’efficacia e la sicurezza dei sistemi decisionali basati sull’IA. Ma ogni forma di collaborazione va costruita sulla base della fiducia, come ha risposto saggiamente ChatGPT alla mia domanda esplicita se potevo fidarmi di lui o lei: “Posso guadagnarmi la tua fiducia fornendo risposte accuratamente, al meglio delle mie capacità, ma capisco che ci possa volere del tempo per costruirla”.
