XAI è l’acronimo di Explainable Artificial Intelligence. Riguarda l’esigenza di “spiegabilità” da parte di sistemi di IA: la richiesta di rendere il più comprensibile possibile il funzionamento di un sistema IA, e ancor di più il suo eventuale malfunzionamento, ovvero poter rintracciare le condizioni che lo portano a produrre risultati dubbi o palesemente errati.
Il tema ha preso piede rapidamente negli ultimi anni: vi sono conferenze specifiche, libri, numeri di riviste scientifiche dedicate.
Explainable AI
Infatti, il recente progresso dell’Intelligenza Artificiale (IA), sulla spinta delle reti neurali artificiali di tipo profondo (DL, per Deep Learning), ha portato ad una sua sempre più diffusa e pervasiva applicazione in una miriade di attività umane: ne è conseguita una inevitabile riflessione sulle sue ripercussioni etiche, economiche, sociali, culturali.
La locuzione XAI – Explainable AI risale a qualche anno prima dell’attuale riemergenza dell’IA: è stata introdotta da Michael van Lent, del californiano Institute for Creative Technologies, nel 2004.
Explainable AI: come andare oltre la black box degli algoritmi
Si chiamava XAI una componente di un gioco serio per l’addestramento militare, realizzato per conto dell’esercito americano. Il gioco, denominato Full Spectrum Command, simula azioni di guerra in cui l’utente deve fornire comandi strategici. Il modulo XAI consentiva all’apprendista comandante, al termine dell’azione militare, di selezionare uno dei suoi virtuali subordinati, e di chiedere spiegazioni sul comportamento suo e delle truppe a lui gerarchicamente sottostanti.
In ambito militare, richiedere dettagliate spiegazioni sui comportamenti dei subordinati è comprensibilmente una pretesa più che legittima, e non era nemmeno troppo impegnativa nel mondo militare virtuale di Full Spectrum Command, dove il comportamento simulato dei vari agenti virtuali era facilmente tracciabile.
È una pretesa ragionevole e fattibile anche per l’attuale IA?
Explainable AI: chi ha diritto alle spiegazioni
Alcuni studi recenti hanno individuato le principali categorie di persone da cui emerge la richiesta di spiegazioni in IA: il più esaustivo attualmente disponibile è stato condotto da un gruppo coordinato da Markus Langer dell’università di Saarland in Germania, su commissione della Volkswagen.
Spicca una categoria per la quale, a nostro avviso, esigere alcune spiegazioni è doveroso: si tratta di persone che subiscono valutazioni da parte di sistemi automatici, da cui dipendono decisioni per loro importanti, come venir accordato un prestito bancario, essere assunti da un’azienda, ottenere la libertà vigilata al posto del carcere.
Soprattutto negli Stati Uniti da anni si stanno diffondendo software, calibrati sulla base di dati pregressi, che effettuano automaticamente valutazioni di tipo personale in ambiti giuridico, poliziesco, bancario.
Uno dei casi che ha destato particolare clamore riguarda il software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) della Equivants, usato ampiamente dalle polizie di Stati Uniti e Canada, per valutare il rischio di recidiva da un insieme di dati di un arrestato, e conseguentemente decidere se concedergli o meno la libertà provvisoria.
Va detto che questo tipo di software pone anzitutto serie questioni etiche, a prescindere dall’argomento spiegabilità. La carenza di spiegazione è comunque una ulteriore aggravante del problema etico dell’oggettività di COMPAS. A chi si vede privato della libertà per una decisione possibilmente inficiata da pregiudizio, viene preclusa la possibilità di comprendere i motivi per cui viene reputato pericolosamente recidivo.
Sicuramente il caso più estremo di danno alla persona causato da un errore di sistemi di IA riguarda gli armamenti automatizzati.
Per fortuna non si tratta del genere di IA con cui abitualmente interagiscono le persone in Paesi come il nostro, ma si tratta di una settore in continuo avanzamento, su cui abbiamo già avuto modo di esprimere preoccupazioni:
Se l’Intelligenza Artificiale uccide: un’etica per auto e armi autonome
In questo caso la priorità, a nostro avviso, sarebbe fermare la corsa alle armi robotizzate, ma per quelle già in uso il poter almeno esigere spiegazioni nei casi di errori e conseguenti vittime innocenti, sarebbe un imperativo.
Un’importante categoria che, nello studio di Langer, viene considerata interessata alla spiegabilità in IA, è quella dei regolatori.
Si tratta di una diretta conseguenza dell’esistenza delle categorie di persone potenzialmente danneggiate da sistemi IA, che potrebbero essere preventivamente tutelate da una apposita regolamentazione.
L’Unione Europea, che ha dimostrato un’attenzione all’avanguardia nel mondo alle problematiche etiche connesse all’IA, ha introdotto nel 2018 il General Data Protection Regulation (GDPR), che contiene un’articolata regolamentazione per prevenire effetti discriminativi e di violazione di dati sensibili.
In maniera indiretta viene toccata anche la questione di poter ottenere spiegazioni: in modo più esplicito, l’articolo 22 pone dei divieti alla valutazione personale basata esclusivamente su sistemi automatici, quando da questa scaturiscano effetti legali.
Fatte salve queste sacrosante esigenze, si può senz’altro aggiungere che avere informazioni su come funziona un sistema software complesso, e indizi su cosa possa essere successo in casi di malfunzionamento, è sempre benvenuto. Però rischia di diventare pretesa indebita quando assunto come unico requisito per sistemi IA, o come metro ultimo per valutarne l’adozione.
Explainable AI: quando viene usata contro il deep learning
È quel che viene spesso suggerito in senso denigratorio nei confronti del DL, rispetto ad approcci IA di tipo precedente.
Il DL viene spesso caratterizzato come black box, una scatola opaca a cui vengono forniti dati di ingresso, e per magia ne escono i risultati attesi.
Effettivamente la prerogativa chiave dei modelli DL riguarda l’uso di rappresentazioni distribuite, sulla falsariga delle reti neurali biologiche, che rende quindi non diretto ed esplicito il significato delle sue variabili.
A puntare il dito sulla non immediata spiegabilità dei sistemi DL, come se si trattasse di un serio ostacolo alla loro adozione, sono soprattutto fautori di approcci diversi nell’IA.
Primo fra tutti Gary Marcus, avversario storico delle reti neurali artificiali, che nel suo libro “Rebooting AI: Building Artificial Intelligence We Can Trust” solleva molte critiche nei confronti del DL, inclusa la difficoltà nel spiegarne il funzionamento. Sarebbe questo uno dei motivi per cui, come dal titolo del suo libro, dell’IA basata sul DL non ci si può fidare (Can Trust).
Diversi altri esponenti dell’IA seguono Marcus nel segnalare come virtù pregiata di un sistema spiegabile l’essere “trustworthy”, degno di fiducia.
Abitualmente questa virtù viene menzionata in modo indipendente da un’altra prerogativa desiderabile nei sistemi intelligenti: la reliability. In italiano si traduce con “affidabilità”, e la nostra lingua mette a nudo lo stretto legame tra le due caratteristiche, non evidente nei corrispondenti lessemi inglesi.
Un sistema è degno di fiducia essenzialmente perché ci si fida, ovvero è affidabile. Ma nella recente letteratura XAI, avere fiducia in un sistema viene equiparato a poter pretendere spiegazioni in un sistema su come funziona, ed eventualmente funziona male.
È evidente invece quanto sia fondamentale, nel riporre fiducia, sapere che il numero di malfunzionamenti sia esiguo.
Se al limite i casi di errore fossero del tutto trascurabili, diventerebbe pragmaticamente irrilevante la pretesa di spiegazione sul funzionamento. Il panorama attuale dei metodi in IA mostra che, per tante applicazioni, l’affidabilità offerta da sistemi DL è incomparabilmente superiore rispetto ad ogni altra alternativa.
Difficilmente un medico preferirebbe usare un software per diagnostica di immagini che sbagliasse dieci volte di più di uno basato su DL, solamente per poter andare più agevolmente ad ispezionare cosa sia successo nei casi errori. Quello a cui mira anzitutto è ad avere meno errori possibili.
Abbiamo sopra premesso che vi sono alcuni casi particolari in cui la spiegazione è doverosa, per la tutela delle persone che possono subirne danni. Chiariamo ora che queste situazioni hanno ben poco a che fare con il DL e le sue peculiarità di funzionamento.
Il termine black box è di gergo comune nell’ambito del software da ben prima dell’esistenza del DL, e denota semplicemente software proprietario, di cui il codice sorgente non è accessibile: questo è il motivo principale per l’assenza di spiegazioni sul proprio funzionamento di diverso software in uso giuridico, poliziesco, bancario, aziendale.
Il famigerato COMPAS di cui si è detto prima, è di anni antecedente al DL, ed è un perfetto esempio di black box perché non ne viene rilasciato né il codice sorgente né la relativa documentazione.
Abbiamo ricordato all’inizio come l’acronimo XAI derivasse da software militare, e simulasse l’inappellabile dovere di dare spiegazione a un superiore da parte di un militare subalterno. Sono notoriamente ben più laconiche le spiegazioni che dall’esterno si possono pretendere da parte di militari, in casi di azioni che provocano vittime civili, sia causate da errori umani che da sistemi automatici, anche in questi casi aver usato o meno metodi DL non farebbe alcuna differenza.
Vi sono altri motivi per cui risulta ingenerosa l’accusa di carente spiegabilità nei confronti specificatamente del DL.
Carente rispetto a quale standard di riferimento? Se il riferimento sono software convenzionali, vi sono diverse cautele da considerare. Certamente sistemi semplici, in cui il flusso algoritmico riguardi un numero limitato di fattori, possono essere progettati curando manualmente il processamento singolo di ogni fattore e delle loro interrelazioni.
Questi sistemi hanno usi piuttosto marginali, i problemi reali tipicamente hanno una dimensione di fattori non trattabili manualmente. In questo caso qualunque tipo di approccio darebbe luogo a software complessi, per i quali definirne il comportamento in ogni circostanza, e provarne la correttezza, è uno dei più ardui problemi in ingegneria del software e in filosofia della computazione.
Si potrebbe obiettare che siccome non si parla di software in senso lato, ma di sistemi di IA, ovvero che si cimentano negli stessi compiti che caratterizzano l’intelligenza umana, lo standard di riferimento dev’essere la facilità con cui ogni essere umano sa spiegare il perché delle sue azioni, delle sue decisioni, delle sue opinioni.
A dire il vero, assistiamo frequentemente a comportamenti di altre persone che ci sconcertano, a loro scelte che ci appaiono immotivate, opinioni che non condividiamo, e di cui non sappiamo trovare spiegazioni.
Si potrebbe insistere che noi, pur potendo avere difficoltà a spiegare azioni altrui, non abbiamo certo alcun problema a fornire spiegazioni sui nostri propri comportamenti, sulle nostre preferenze e decisioni. Ne abbiamo un accesso privilegiato e diretto che si chiama introspezione.
Explainable AI: l’illusione dell’introspezione
Le cose stanno ben diversamente. Quasi un secolo di psicologia ci ha insegnato quanto l’introspezione sia illusoria.
Uno dei libri di Timothy Wilson, psicologo americano tra i principali investigatori dell’introspezione, ha un titolo eloquente: “Strangers to Ourselves”. Nel 1977 ha raccolto, insieme al collaboratore Richard Nisbett, una collezione di esperimenti che illustrano in modo esemplare l’illusione creata dall’introspezione.
Uno dei primi esperimenti da loro riassunti, e ancora oggi uno dei più celebri, è il “problema delle due corde”, ideato dallo psicologo americano Norman Maier negli anni ’30.
Il laboratorio in cui si svolge l’esperimento ha due corde penzolanti dal soffitto, e vi sono diversi altri oggetti disponibili. Il compito che viene chiesto ai soggetti è di legare tra di loro le due corde, non è di immediata soluzione perché sono troppo distanti da loro per poter essere afferrate contemporaneamente. Quasi tutti i soggetti arrivano rapidamente alla soluzione di utilizzare una terza corda libera che si trova nel laboratorio, legarla al capo di una corda e in questo modo trascinarla fino all’altra.
Maier richiede poi ai soggetti di trovare una soluzione alternativa, chiarendo che esiste, anche se più difficile da immaginare. Qui tipicamente i soggetti spendono molto tempo, senza intravedere altre possibilità. Ad un certo punto Maier, che passeggia nel laboratorio, urta, in modo apparentemente involontario, una corda, facendola oscillare.
Dopo pochi secondi da questo evento la maggior parte dei soggetti trova la soluzione: appendere un oggetto pesante all’estremità libera di una corda in modo da creare un pendolo, e sfruttare la sua oscillazione mentre si prende l’altra corda e la si avvicina.
Il bello viene quando, successivamente, Maier chiede ai soggetti di spiegare come siano arrivati a questa soluzione. Una grande maggioranza dei soggetti sembrava del tutto ignara del decisivo suggerimento offerto da Maier stesso, tuttavia forniva qualche plausibile spiegazione razionale, come aver mentalmente passato in rassegna tutti i possibili utilizzi degli oggetti presenti, e una volta arrivati al peso che poteva essere appeso, la soluzione era trovata.
Fra i soggetti vi era anche un professore di psicologia, che fornì le risposte più fantasiose, come l’ispirazione pensando a oscillare su un fiume appeso ad una corda, o alle scimmie che si spostano sfruttando le liane.
Explainable AI: la fallacia della razionalizzazione
Quando si pretende da un sistema di IA una spiegazione sui meccanismi che conducono alle sue risposte, si esige inoltre che tale spiegazione sia formulata il più possibile in forma logica, una sorta di narrazione razionale che parta dai dati di ingresso forniti al sistema, ed espliciti una serie di passi causali coerenti, che conducano alla sua risposta finale. Anche il formato preteso è un evidente retaggio dell’esigenza che gli esseri umani provano nel dar conto del loro agire.
È il fenomeno che in psicologia va sotto il nome di rationalization, il ricondurre proprie azioni o decisioni prese, ad una base razionale che le possa motivare.
Questa funzione, di cui attualmente uno dei principali studiosi è Fiery Cushman, dell’università di Harvard, è fortemente radicata nell’uomo, messa in atto molto più frequentemente di quanto non si immagini. Il costruire una narrazione razionale delle proprie credenze e desideri non solo è fittizia, ma produce anche l’effetto di modificare a posteriori credenze e desideri, per meglio adattarli alla narrazione costruita.
Dal problema delle due corde di Maier ad oggi la lista di evidenze sulla fallacia della nostra introspezione si è arricchita, uno dei nuovi paradigmi sperimentali, introdotto da Petter Johansson dell’università di Lund, e denominato “choice blindness”, permette di mettere ben in luce il fenomeno della rationalization.
Ai soggetti vengono presentati due cartoncini con due diverse immagini e chiesto di scegliere quale piaccia di più. Tipicamente si tratta di due volti, del genere per cui il soggetto ha attrazione. Subito dopo la scelta lo sperimentatore gira i cartoncini, che sul retro hanno solamente uno sfondo uniforme. A questo punto, lo sperimentatore consegna il cartoncino scelto nelle mani del soggetto, chiedendogli di spiegare nel dettaglio quali siano le caratteristiche che lo hanno condotto a preferirlo rispetto all’altro.
I partecipanti tipicamente forniscono spiegazioni precise, a diversi livelli, per esempio riguardo specifici dettagli dell’immagine, oppure il livello emotivo che aveva trasmesso. Ignaro del fatto che sta descrivendo non l’immagine scelta, ma quella scartata! Lo sperimentatore effettua una manipolazione nascosta per cui il soggetto è convinto di ricevere il cartoncino dove c’è l’immagine scelta, ma in realtà è stata scambiata con l’altra. La maggior parte dei partecipanti non si accorge dello scambio, tuttavia è pronto a giustificare razionalmente la sua preferenza.
Ma ancor di più, sono state le scoperte prodotte dalla neuroscienza negli ultimi cento anni a mostrare quanto sia profondo l’abisso che separa i nostri reali meccanismi cognitivi, dalle spiegazioni ingenue che noi ne cerchiamo di dare mediante introspezione.
Nessuno ha la benché minima consapevolezza della miriade di impulsi elettrici che attraversano le reti di neuroni nel nostro cervello, producendo le nostre percezioni, sostenendo il nostro apparato concettuale, facendoci provare emozioni, immaginazione, idea di pianificare il nostro agire.
Nonostante gli ammirevoli progressi dai primi del Novecento ad oggi, nemmeno la neuroscienza è in grado di spiegare compiutamente come dai segnali elettrici e dai processi biochimici nei neuroni venga costruito il nostro percepire e agire.
L’unica parziale eccezione riguarda alcuni aspetti del sistema visivo, l’unica funzione cognitiva per cui si disponga di alcune formulazioni computazionali che permettono di dare un senso all’elaborazione dei segnali elettrici nei neuroni.
Si tratta di aspetti a basso livello, come l’identificazione di contorni e della loro orientazione, la stima della profondità dalla disparità stereoscopica, la discriminazione di velocità e direzione di un movimento. Come si passa a livello più elevato, per esempio riconoscere oggetti, il mistero è totale.
Allo stesso modo che per XAI, disporre di una spiegazione è ancor più auspicabile quando si sia di fronte a malfunzionamenti.
Non disporre di spiegazioni effettive dei meccanismi cerebrali a livello di processi cognitivi si riflette nell’incapacità, ad oggi, di individuare cosa conduca alla maggior parte delle psicopatie.
I motivi per cui è così difficile arrivare a spiegazioni compiute dei processi cerebrali non è troppo diversa da quella per cui, all’interno dell’IA, i sistemi DL vengono considerati black box.
Sia le aree cerebrali che i sistemi neurali artificiali attuali, sono composti da un numero estremamente elevato di elementi computazionali, i neuroni. Vi sono da decenni accurati modelli che simulano in modo molto fedele i fenomeni elettrici di un singolo neurone biologico, ma anche il più elementare processo cognitivo ne impegna centinaia di milioni. Ogni pur minima rappresentazione mentale non è associabile ad uno o pochi neuroni, ma è distribuita su decine di migliaia.
Per il DL non c’è bisogno di simulatori per caratterizzare il funzionamento di un neurone artificiale, non è altro che una locazione di memoria. Ma il loro numero non è molto dissimile da quello delle reti neurali cerebrali, e anche nel DL le rappresentazioni di ogni caratteristica compiuta del mondo si trova distribuita tra decine o centinaia di migliaia di elementi neurali.
La differenza è che in modelli DL è possibile verificare per ogni esecuzione il valore assunto da ciascun elemento di calcolo, ed applicare strumenti matematici per analisi aggregate di tali valori. Nel cervello è possibile misurare i segnali neurali solo per pochissimi neuroni in contemporanea, e solamente nei casi in cui un soggetto debba essere operato per seri problemi neurologici. Altrimenti metodi come fMRI e PEC producono informazioni drasticamente limitate dalla loro risoluzione spaziale e temporale.
In definitiva, va benissimo cercare di avere sempre maggior informazione possibile sul modo di funzionare dei sistemi IA, e sui motivi per cui potrebbero non funzionare bene, ma non bisogna dimenticare, nell’avanzare la pretesa di spiegabilità, che i sistemi intelligenti di gran lunga più opachi e impenetrabili siamo noi umani.
