Era il 2013 quando Eric L. Loomis era alla guida di un veicolo precedentemente usato per una sparatoria nello stato del Wisconsin, Stati Uniti. Fermato dalla polizia, gli venivano addebitati cinque capi d’accusa, tutti in recidiva.
Questo che a primo impatto sembrerebbe un normalissimo fatto di cronaca in una qualsiasi giornata americana, è in realtà una delle vicende più importanti degli ultimi anni in tema di applicazione delle nuove tecnologie alle vicende umane.
Giustizia predittiva: la dignità umana faro per l’AI nei processi
I problemi del software COMPAS
Nel processo a carico di Loomis, infatti, il giudice aveva quantificato la pena anche sulla base dei risultati di un software chiamato COMPAS, strumento di valutazione concepito per prevedere il rischio di recidiva e identificare i bisogni dell’individuo in aree quali occupazione, disponibilità di alloggio ed abuso di sostanze stupefacenti. L’aspetto da tenere ben presente, è che COMPAS non prevedeva il rischio di recidiva individuale dell’imputato, ma elaborava una previsione comparando le informazioni ottenute dal singolo con quelle relative ad un gruppo di individui con caratteristiche assimilabili; ad esempio, la comunità afroamericana.
Ora, nonostante la Corte Suprema del Wisconsin – rigettando le argomentazioni difensive – abbia ritenuto che COMPAS non avesse violato i diritti dell’imputato, il caso ha acceso i riflettori sull’utilizzo degli algoritmi in situazioni delicate per gli esseri umani.
Nel corso degli anni, la situazione è molto cambiata, nella misura in cui si sono accumulati casi analoghi con il medesimo aspetto comune: l’IA applicata all’uomo dimostra imperfezioni, ha derive discriminatorie, e ad oggi il problema non è ancora risolto.
Il falso mito della neutralità delle macchine
Spesso diamo per scontato che le macchine siano neutre, ma non lo sono. Questo è quanto risulta da molteplici ricerche fatte negli anni, come quella dell’informatica e attivista digitale ghanese, naturalizzata statunitense Joy Boulamwini, fondatrice della Algorithmic Justice League, un’organizzazione che studia e combatte i pregiudizi dei software.
La sua ricerca ha infatti scoperto grandi pregiudizi di genere e razziali nei sistemi di intelligenza artificiale venduti da giganti della tecnologia come IBM, Microsoft e Amazon. Una volta attribuito alla tecnologia il compito di indovinare il genere di un volto, tutti gli algoritmi hanno ottenuto risultati sostanzialmente migliori sui volti maschili rispetto ai volti femminili, con tassi di errore non superiori all’1% per gli uomini dalla pelle più chiara. Per le donne dalla pelle più scura, invece, gli errori sono saliti al 35%. I sistemi di intelligenza artificiale delle principali aziende non sono riusciti a classificare correttamente nemmeno i volti di Oprah Winfrey, Michelle Obama e Serena Williams. In particolare, tutte e tre le famosissime protagoniste dell’esperimento sono state identificate dagli algoritmi come uomini.
In questo modo, ecco che viene a crearsi una sorte di sottorappresentazione delle donne, delle persone di colore e di altre minoranze etniche. La prima conseguenza di ciò, è che ad oggi l’IA ha ha creato un contesto dominato da una tecnologia ottimizzata solo per una piccola parte del mondo. Basti pensare che, nel 2019, meno del 2% dei dipendenti in ruoli tecnici su Facebook e Google erano soggetti di colore. In otto grandi aziende tecnologiche valutate da Bloomberg, solo circa un quinto della forza lavoro tecnica di ciascuna è costituita da donne.
Naturalmente, l’altro elemento sul quale occorre riflettere deriva dal modo in cui funziona l’IA. Questa, in estrema sintesi, si fonda sulla elaborazione di ingenti quantità di dati immessi dall’uomo, i quali vengono poi elaborati da algoritmi appositamente “addestrati”. Ebbene, durante la sua ricerca, Joy Boulamwini ha scoperto un set di dati governativi di volti raccolti per i test che conteneva il 75% di uomini e l’80% di individui dalla pelle più chiara, e meno del 5% di donne di colore, escludendo gran parte della società dai dati che alimentano l’intelligenza artificiale. Ecco, quindi, che il problema non è soltanto nel funzionamento della tecnologia, ma nasce in parte già prima, quando cioè occorre predisporla nel modo corretto.
“Coded Bias”, così abbiamo delegato il nostro razzismo agli algoritmi
L’IA non vede le minoranze, ma le giudica
Nel gennaio 2020, Robert Williams, un uomo afroamericano era stato arrestato ingiustamente a causa di un algoritmo di riconoscimento facciale impreciso, un software che analizzava i volti umani e li identificava rispetto alle immagini di persone conosciute contenute in un database.
Sulla base di quello strumento, Williams era stato ammanettato di fronte alla sua famiglia dalla polizia di Detroit senza che gli fosse stato detto il motivo, quindi incarcerato durante la notte e sottoposto a foto segnaletiche, alla rilevazione delle impronte digitali e al prelievo di un campione di DNA.
Il giorno successivo, gli investigatori avevano mostrato a Williams un’immagine estrapolata da un filmato di sorveglianza ritraente un uomo di colore davanti ad un negozio di orologi. Quasi immediatamente, era chiaro a tutti che Williams non era la persona mostrata nel video, ma si era comunque giunti a lui perché un sistema di riconoscimento facciale aveva contrassegnato la foto della sua patente di guida come corrispondente a un’immagine del video di sorveglianza. In altri termini, sembra che per l’algoritmo tutte le persone di colore fossero uguali, non agli altri, ma tra loro.
Ad ogni modo, la conta dei danni subiti da Williams è presto fatta: trenta ore in prigione, 1000 dollari di cauzione per essere scarcerato, violazione della privacy derivante dal prelievo di dati genetici, senza contare gli aspetti traumatici per lui e la sua famiglia che ha assistito all’arresto. Un altro caso simbolo che rappresenta un fenomeno preoccupante.
La campagna Ban the Scan di Amnesty International
A gennaio 2021 Amnesty International aveva lanciato l’ormai nota campagna Ban The Scan, scagliandosi contro il proliferare di telecamere dotate di riconoscimento facciale a New York, le quali, a detta degli attivisti, amplificherebbero le discriminazioni raziali. Questo sia per quanto riguarda le difficoltà che l’IA incontra quando deve identificazione dei soggetti non caucasici, sia per il fatto di causare un alto tasso di perquisizioni e interventi preventivi delle forze dell’ordine nei quartieri dove gli abitanti con pelle chiara sono in minoranza.
A tal proposito, bisogna dire che Amnesty ha già ottenuto una prima vittoria. Di recente, infatti, La Corte suprema dello Stato di New York – a seguito di un ricorso presentato da Amnesty stessa e dal Surveillance Technology Oversight Project – ha ordinato al dipartimento di polizia di New York di rendere pubblici i dati sulla tecnologia di sorveglianza facciale usata nei confronti dei manifestanti del movimento Black Lives Matter.
Purtroppo, però, le derive discriminatorie della tecnologia non si limitano agli errori della facial recognition o dei sistemi di identificazione dei soggetti, ma coinvolge molteplici settori. Tra i più problematici c’è senz’altro quello bancario e creditizio.
Secondo il più grande studio mai realizzato in materia dagli, gli economisti Laura Blattner della Stanford University e Scott Nelson dell’Università di Chicago, gli algoritmi utilizzati nei settori sopra citati avrebbero importanti derive discriminatorie tra gruppi di minoranza e di maggioranza. Questo non solo a causa del pregiudizio in senso stretto, ma anche al fatto che minoranze e gruppi a basso reddito hanno meno dati nelle loro storie di credito. Ciò significa che quando questi dati vengono utilizzati per calcolare un punteggio di credito e questo viene utilizzato per fare una previsione sull’insolvenza del prestito, tale previsione sarà meno precisa. Quindi, le minoranze etniche vengono giudicate meno meritevoli di ottenere finanziamenti poiché valutate come probabilmente insolventi.
Conclusioni
Un principio del quale è assolutamente necessario tenere conto è che i problemi fin qui esaminati non devono in nessun modo essere limitati ai settori cui si riferiscono. In altri termini, le derive discriminatorie degli algoritmi possono infatti essere trattate con un’attenzione particolare ad un determinato settore a titolo esemplificativo, ma in realtà cadono a pioggia su tutti gli altri. Tanti sono i settori in cui l’IA può essere applicata alle vicende umane, altrettante sono le possibili disfunzioni che emergono.
Un altro campo d’azione delle nuove tecnologie è quello delle risorse umane, ossia la selezione dei candidati a posizioni lavorative.
Da questo settore era scaturito un dibattito a partire da una posizione assunta da un’esponente del Chartered Institute of Personnel and Development, associazione di professionisti nel settore delle risorse umane, secondo la quale l’intelligenza artificiale potrebbe aiutare in modo efficiente ad aumentare la diversità di un’azienda, filtrando i candidati.
Tuttavia, uno studio condotto da ricercatori dell’Università di Cambridge ha scoperto che gli strumenti di intelligenza artificiale utilizzati per le assunzioni non riducono i bias di reclutamento.
Assunzioni tramite IA e discriminazioni contro i disabili: gli Usa corrono ai ripari
Infatti, secondo una delle ricercatrici, gli algoritmi non possono essere addestrati per identificare solo le caratteristiche legate al lavoro ed eliminare altri aspetti della persona, ed in modo particolare il genere o l’etnia. In altri termini, il problema dei bias rimane attuale e di difficile soluzione in tutti gli ambiti. Anche per questo il futuro Regolamento europeo sull’IA mira a vietare in assoluto gli strumenti di rating sociale: se ad oggi non è possibile “insegnare” agli algoritmi a non discriminare, forse dovremmo evitare di applicarli agli esseri umani fino alla soluzione del problema.
