L’intelligenza artificiale discrimina, eccome. Ecco perché e come rimediare

Il dibattito intorno al tema della non neutralità dell’IA sta portando, seppur con un certo ritardo, organizzazioni nazionali e internazionali a dotarsi di strumenti per aumentare la consapevolezza di sviluppatori e utilizzatori e per promuovere il progetto di soluzioni etiche e affidabili. Pregiudizi e possibili soluzioni

Le tecniche ad apprendimento automatico (machine learning) sono una branca molto promettente dell’intelligenza artificiale (IA). Si basano sull’acquisizione di grandi quantità di dati da cui, tramite regole fornite dal programmatore, criteri di somiglianza, o per interazione con l’ambiente circostante, viene estratta l’informazione utile alla macchina per prendere una decisione, effettuare una raccomandazione o compiere un’azione e, cioè, per manifestare un comportamento “intelligente”.

Nella definizione e messa a punto delle diverse fasi di acquisizione dei dati ed estrazione dell’informazione, il pregiudizio tipico del sentire umano si insinua e finisce per creare macchine che, similmente a quando capita alle persone, manifestano comportamenti discriminatori. Con la diffusione pervasiva dell’IA, questo fenomeno diventa uno strumento formidabile per alimentare e rinforzare stereotipi e pregiudizi. All’interno della comunità scientifica si sta sviluppando un vivace dibattito su questo tema che potrebbe e dovrebbe portare ad aumentare la consapevolezza di consumatori e cittadini e alla definizione di pratiche e strumenti per mitigare gli effetti delle discriminazioni a opera delle macchine.

Donne svantaggiate nella ricerca del lavoro: colpevole anche l’algoritmo

Indice degli argomenti

Alcuni casi di discriminazione a opera dell’AI

Joy Boulamwini è una studentessa di informatica del MIT di Boston quando per lo svolgimento di un’attività di laboratorio deve utilizzare un software di riconoscimento facciale e si rende conto che il software è molto meno preciso con lei, donna di pelle scura, che con i compagni di corso che sono in prevalenza maschi e bianchi. In seguito, con l’associazione Algorithmic Justice League, che promuove un uso consapevole delle tecnologie dell’intelligenza artificiale, svolge uno studio sistematico di diversi applicativi di riconoscimento facciale e rivela come la maggior parte di questi sistemi presentino lo stesso tipo di comportamento: l’accuratezza dipende dal colore della pelle e dal genere [1].

Questa iniquità diventa particolarmente critica quando il riconoscimento facciale venga integrato in sistemi di identificazione utilizzati dai corpi di polizia, come avviene in diversi Paesi. Alcune associazioni per la difesa dei diritti umani, quali Big Brother Watch nel Regno Unito, segnalano che gli applicativi utilizzati in questo contesto spesso non sono stati adeguatamente verificati, manifestano alti tassi di errore ed evidenti pregiudizi [2].

Quello del riconoscimento facciale è solo uno dei tanti esempi di comportamenti discriminatori da parte dell’IA. Simili discriminazioni coinvolgono spesso i sistemi di raccomandazione usati nei settori più disparati, dallo shopping online, al supporto decisionale per assegnare prestiti finanziari o per definire il reclutamento del personale nelle aziende. Un caso eclatante è quello di COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), uno strumento di raccomandazione adottato in alcuni Stati degli USA come supporto al sistema giudiziario. Lo strumento assegna a una persona imputata di un reato un punteggio che indica la probabilità di reiterazione del reato. Secondo lo studio di ProPublica riportato in [3], il sistema, che si basa principalmente sulla raccolta di informazioni relative al contesto socio-economico in cui la persona vive, risulta discriminatorio verso le minoranze ispaniche e afro-americane. Lo studio stima che tra le persone che in un periodo di tempo di due anni non abbiano reiterato un comportamento criminoso, ai neri era stato assegnato erroneamente un punteggio alto (alta probabilità di ripetere il reato) il doppio delle volte che ai bianchi. E, viceversa, ai bianchi era stato erroneamente assegnato un punteggio basso il doppio delle volte che ai neri.

Algoritmi razzisti, ecco le cause del problema e le soluzioni in campo

Sono sistemi di raccomandazione anche quelli che sperimentiamo quotidianamente utilizzando i motori di ricerca di Internet. Si può facilmente osservare come la navigazione in Internet tramite i motori ricerca nasconda rappresentazioni stereotipate (e discriminatorie) della realtà. Una ricerca di immagini che corrispondano alla parola “donna”, per esempio, restituisce donne prevalentemente giovani e belle, una ricerca di contenuti per la stessa parola chiave restituisce siti di cosmetici, abbigliamento o moda. Il sistema di raccomandazione dovrebbe fornirci le risposte che con maggior probabilità ci interessano ma finisce per riprodurre e rinforzare stereotipi iniqui e discriminatori.

Come può una macchina avere atteggiamenti discriminatori?

Proviamo ad analizzare alcuni dei meccanismi tramite cui l’intelligenza naturale delle persone che lavorano allo sviluppo delle macchine dotate di intelligenza artificiale trasmette comportamenti iniqui e discriminatori. L’elenco non intende essere esaustivo ma far intuire come sia possibile che stereotipi e pregiudizi si trasferiscano dalle persone alle macchine.

Le macchine ad apprendimento automatico imparano estraendo informazioni da grandi quantità di dati. Se questi dati non sono rappresentativi della realtà ma solo di una sua parte, il comportamento della macchina può risultare iniquo, come se la macchina, avendo conosciuto solo una parte di un certo contesto, ne avesse elaborato una conoscenza ristretta e limitata. Per esempio, se il software di riconoscimento facciale impara a identificare la presenza di un viso da immagini che in prevalenza riproducono uomini dalla pelle chiara, risulterà più preciso per questo gruppo di persone che per altri.

La stessa cosa capita, in maniera meno evidente ma ancora più clamorosa, quando i dati su cui si basa l’apprendimento automatico sono generati e condivisi dagli utenti stessi, come nel caso dei motori di ricerca di Internet. Il sistema impara quali dati restituire dalle informazioni che vengono condivise dagli utenti stessi e queste non sono rappresentative dalla realtà perché generate da un insieme ristretto di persone. Si stima che appena il 7% degli utenti produca il 50% dei post di FaceBook, che il 4% degli utenti produca il 50% delle recensioni su Amazon e solo il 2% degli utenti produca il 50% dei messaggi di Twitter. La rete è popolata di informazioni che rappresentano il punto di vista di una minoranza, che è poco rappresentativa in termini di provenienza geografica, demografia, genere.

Se i sistemi che imparano dai contenuti degli utenti, utilizzando dati che già in partenza possono essere poco rappresentativi, i meccanismi di raccomandazione che mirano a migliorare i servizi per l’utente – imparando dal comportamento dell’utente stesso – possono portare ad amplificare ulteriormente la poca rappresentatività dei dati. La macchina impara quali contenuti sono popolari tra gli utenti dalla frequenza con cui questi vengono richiesti, e, al fine di migliorare il servizio, posiziona questi contenuti in modo che siano più visibili e quindi in modo da facilitarne la fruizione. Facilitando l’accesso ai contenuti popolari, se ne accresce ulteriormente la popolarità: si crea un circolo vizioso che amplifica la poca rappresentatività dei dati e rinforza gli stereotipi.

Esistono poi una serie di pregiudizi (bias) che in maniera più o meno consapevole influenzano il lavoro dei programmatori che realizzano i sistemi ad apprendimento automatico. Nel caso del cosiddetto in-group bias, per esempio, si è osservato che esiste nelle persone una tendenza innata a favorire gli individui appartenenti al proprio gruppo, un atteggiamento che probabilmente deriva da un istinto di sopravvivenza in periodi di ristrettezza di risorse o da un bisogno di aumentare la propria autostima tramite la valorizzazione del gruppo di appartenenza. Questa tendenza innata si riflette nel lavoro di selezione dei dati che vengono utilizzati per l’apprendimento automatico, finendo per condizionarlo e distorcerlo, come se pregiudizi e stereotipi dei programmatori, che sono in prevalenza maschi bianchi, si trasferissero alle macchine. Questo è probabilmente quello che è capitato nella fase di apprendimento per il riconoscimento facciale o per il sistema COMPAS, citati sopra.

Con gli strumenti di apprendimento automatico è possibile rilevare, all’interno di un insieme di dati, le correlazioni tra i parametri caratterizzanti, e quindi estrarre informazioni utili per arricchire la conoscenza del fenomeno rappresentato dai dati e compiere azioni “intelligenti” sulla base di questa conoscenza. Se questo può essere molto interessante per rivelare possibili relazioni di causa-effetto tra le variabili in gioco, la presenza di correlazioni non sempre implica l’esistenza una relazione di causalità e, spesso, solo una profonda conoscenza dei dati stessi permette di ricavare informazioni corrette. In uno studio di alcuni anni fa sull’obesità infantile in diversi Paesi, veniva evidenziato come un alto tasso di obesità sia associato ad un’alta aspettativa di vita, in aperta contraddizione con le conoscenze mediche. Da ulteriori approfondimenti, si è capito che questo risultato, è dovuto al legame di causalità tra queste due variabili, l’aspettativa di vita e il tasso di obesità, e una terza variabile: il reddito. Nei Paesi a basso reddito, l’obesità è associata al benessere e quindi alla possibilità di accedere a cure mediche e un’alimentazione adeguate che portano a una più alta aspettativa di vita.

Possibili azioni

Il dibattito intorno al tema della non neutralità dell’IA è oggi piuttosto vivace e sta portando, seppur con un certo ritardo, organizzazioni nazionali e internazionali a dotarsi di strumenti per aumentare la consapevolezza di sviluppatori e utilizzatori e per promuovere il progetto di soluzioni etiche e affidabili. Il progetto delle soluzioni di IA dovrebbe essere ripensato per eliminare le distorsioni e iniquità nascoste nella fase di raccolta dei dati e di estrazione della conoscenza; l’utilizzo delle soluzioni per prendere decisioni dovrebbe essere più consapevole e maggiormente critico.

Oltre a rendere il progetto delle soluzioni di IA trasparente e la raccolta dati verificabile, per essere inclusivo, l’intero ciclo di sviluppo dell’IA dovrebbe prevedere il coinvolgimento di personale proveniente da contesti, culture e discipline diverse così da garantire la diversità di opinioni e di sensibilità che presuppongono un prodotto neutro e inclusivo. Molti dei problemi descritti nelle precedenti sezioni potrebbero essere mitigati dalla presenza di gruppi di lavoro con una maggior diversità. Oggi le società ad alto contenuto tecnologico hanno una prevalenza di dipendenti maschi, specialmente tra i tecnici e i programmatori. Una maggiore diversità potrebbe mitigare gli effetti dei pregiudizi inconsapevoli e migliorare le varie fasi di acquisizione e trattamento dei dati.

Nello studio dell’UNESCO “I’d blush if I could” [4] si sottolinea l’importanza non solo dell’aumento della presenza delle donne nelle discipline STEM (Science, Technology, Engineering, Mathematics) ma anche della riduzione del divario di genere nelle competenze digitali come strumenti di emancipazione delle donne, alla luce del fatto che le competenze digitali saranno sempre più cruciali per una partecipazione attiva alla società, alla politica, al mondo del lavoro.

Nel 2018, la Commissione Europea ha istituito il Gruppo di Esperti di Alto Livello sull’Intelligenza Artificiale che sta lavorando alla stesura di linee guida e raccomandazioni per la realizzazione di un’IA affidabile ed etica. Nel documento “Orientamenti Etici per un’IA Affidabile” [5] il gruppo di esperti identifica quattro principi etici ai quali aderire per lo sviluppo di IA affidabile. Il rispetto dell’autonomia umana prevede che l’IA debba essere progettata per aumentare, integrare e potenziare le abilità cognitive, sociali e culturali umane e quindi richiede di garantire la sorveglianza e il controllo dei sistemi da parte dell’essere umano. Il principio della prevenzione dei danni prevede che l’IA operi in ambienti sicuri e protetti, e nel rispetto per l’ambiente. Il principio di equità implica un impegno a garantire che non siano presenti distorsioni inique, discriminazioni e stigmatizzazioni. Infine, il principio di esplicabilità prevede processi di sviluppo trasparente, strumenti di verifica e tracciabilità, processi che possano essere condivisi con gli utilizzatori e decisioni spiegabili alle persone coinvolte.

L’UNESCO ha lanciato un’iniziativa di discussione e sensibilizzazione sul tema, UNESCO’s Dialogue on Gender Equality and AI, che ha coinvolto diversi portatori di interesse, da esperti di IA a esponenti della società civile, dal settore produttivo privato alla politica. Nel rapporto che ne è derivato, riportato in [6], tra le raccomandazioni per un’evoluzione giusta e inclusiva dell’IA, si sottolinea l’importanza dell’aumento di consapevolezza all’interno della società nel suo insieme e dell’aumento della presenza delle donne nelle discipline STEM.

Per diventare la grande opportunità di un mondo più equo e inclusivo, lo sviluppo delle tecnologie di IA deve superare i suoi attuali limiti, deve diventare oggetto di un dibattito pubblico ampio e costruttivo che porti all’elaborazione di una visione condivisa di sviluppo e progresso e favorisca l’elaborazione di efficaci politiche di controllo e gestione.