L’intervento umano non aiuta a correggere gli errori e le discriminazioni prodotti dalle decisioni prese dall’intelligenza artificiale, anzi a volte li peggiora. Come fare allora a fornire adeguate tutele agli individui che tali errori li subiscono, non solo – come vedremo – in campo penale?
La soluzione va trovata sempre in ambito normativo, dove permangono troppe zone grigie. Il GDPR ha alcune garanzie contro gli effetti delle decisioni automatizzate sulle nostre vite, ma sta mostrando anche limiti, affrontati da normative successive (quella privacy della California in primis).
Partiamo da due casi che ci aiutano a inquadrare bene la questione.
Le distorsioni dell’algoritmo Compas usato negli Usa
Nel 2014, Brisha Borden fu arrestata con l’accusa di furto con scasso: venne fermata con un’amica mentre circolavano con una bici e uno scooter non di loro proprietà. Un anno prima, Vernon Prater venne arrestato con l’accusa di taccheggio presso un centro commerciale. Prater aveva già scontato cinque anni di carcere per rapina a mano armata. Anche se i loro casi sono diversi, è comunque chiaro immaginare chi fosse il criminale più “esperto” tra i due. Tuttavia, quando entrambi arrivarono in prigione, un algoritmo informatico, utilizzato per determinare la probabilità di recidiva di un detenuto, assegnò a Borden (afroamericana) un punteggio di recidiva di otto su 10 e a Prater (caucasico) un punteggio di tre su 10. Nonostante i trascorsi di gravità opposta.
Uno degli algoritmi di recidiva più usati – e più controversi – del sistema giudiziario degli Stati Uniti si chiama “Correctional Offender Management Profiling for Alternative Sanctions” (COMPAS). Un’analisi del codice effettuata nel 2016 dall’organizzazione non profit statunitense ProPublica mostrò serie preoccupazioni riguardo all’efficacia dell’algoritmo COMPAS quando si confrontano diversi fattori, come etnia, età e background socioeconomico.
Le preoccupazioni sugli algoritmi d’Intelligenza Artificiale non sono limitate al sistema di giustizia penale. Sono state espresse da esperti di etica e da professionisti di diversi settori, dato che l’Intelligenza Artificiale è diventata molto pervasiva in quasi ogni area della nostra vita quotidiana. Anche se non siamo dinanzi a una nuova tecnologia, le sue capacità sono tuttavia cresciute esponenzialmente negli ultimi anni, rendendo il suo impatto sulla nostra quotidianità “onnipresente”.
Algoritmi razzisti, ecco le cause del problema e le soluzioni in campo
Le prescrizioni del GDPR (e i suoi limiti)
Attualmente non esiste un quadro normativo completo che si occupi della regolamentazione dell’Intelligenza Artificiale. Tuttavia, alcune normative in materia di protezione dei dati personali hanno tentato di regolare in maniera “generale” l’utilizzo degli algoritmi d’Intelligenza Artificiale. Il Regolamento Europeo 2016/679 (GDPR), per esempio, possiede un articolo specifico che si occupa di ciò, ossia l’Art. 22 (Processo decisionale automatizzato relativo alle persone fisiche, compresa la profilazione). In tale articolo, al primo paragrafo, si legge che “l’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona”. La parola chiave dell’Art. 22 è “unicamente”.
Se una decisione che ha un impatto significativo sulla persona interessata è raggiunta “unicamente” sul trattamento dei dati da parte di un algoritmo, allora si applica tale disposizione, comprese alcune protezioni e garanzie concesse alla persona interessata.
D’altro canto, se l’algoritmo si limita ad aiutare il processo decisionale di un individuo, non si applica né l’Art. 22 né – pleonasticamente – la sua protezione giuridica. Come spiegò il già “Gruppo di Lavoro Articolo 29 per la Protezione dei Dati” (ora “Comitato Europeo per la Protezione dei Dati” – CEPD/EDPB) nelle sue Linee Guida WP251[1], “un processo automatizzato produce ciò che di fatto è una raccomandazione riguardante un interessato. Se un essere umano riesamina il risultato del processo automatizzato e tiene conto di altri fattori nel prendere la decisione finale, tale decisione non sarà basata unicamente sul trattamento automatizzato”.
Perché l’intervento umano non risolve tutto
L’ipotesi di fondo fatta dal GDPR è che la “cura” per le imperfezioni derivanti dal difettoso processo decisionale algoritmico è un maggiore coinvolgimento umano. Una volta che un essere umano viene introdotto nell’equazione, si presume che le preoccupazioni circa l’impatto dei danni causati dalle decisioni automatizzate possano “cadere”.
Tuttavia, questa supposizione è errata per due motivi.
- Primo, la ragione stessa per cui esistono pregiudizi e risultati distorti negli algoritmi è dovuta al codice scritto dall’uomo: gli esseri umani sono coloro che impartiscono i loro pregiudizi e le loro inclinazioni, tradotti nella pratica del codice che scrivono.
- In secondo luogo, a causa della sofisticazione di questi sistemi, anche i codificatori che hanno costruito gli algoritmi a volte non capiscono esattamente come essi funzionano. E, quindi, sorgono spontanee alcune domande: come ci si può aspettare che un giudice (o un assicuratore, un medico…) attenui i pregiudizi in un sistema che gli inventori del sistema stesso non sempre comprendono a fondo? Come può prendersi la responsabilità di andare contro il giudizio algoritmico? Se ci ponessimo in veste di giudice che esamina un punteggio algoritmico di recidiva di tre su 10 contro otto su 10, a chi daremmo ragione? E a chi la pena più lunga? Sarebbe impossibile determinare con certezza chi ha ragione e chi ha torto.
Processo decisionale automatizzato e profilazione: cosa sono, differenze e sinergie
Come correggere i problemi
Quindi cosa si può fare per correggere il problema? È necessario scartare l’idea che un maggiore coinvolgimento umano possa “curare” i pregiudizi algoritmici. È necessario ampliare la portata del GDPR per applicarlo non solo agli algoritmi decisionali ma anche agli algoritmi di aiuto alla decisione. Il fatto che la raccomandazione sia stata fatta da un algoritmo dovrebbe far scattare le protezioni del legislatore, indipendentemente dal fatto che un essere umano prenda o meno la decisione finale.
Il California Privacy Rights Act
Abbiamo già esempi di leggi e disegni di legge che implementano questo esatto approccio. Il California Privacy Rights Act (CPRA)[2], varato il 4 novembre 2020, definisce il “profiling” come “qualsiasi forma di trattamento automatizzato delle informazioni personali…”. Il CPRA non distingue se la decisione effettiva sia stata presa dall’algoritmo o meno. Il semplice fatto che le informazioni personali siano state elaborate con mezzi automatizzati, per produrre una raccomandazione su come agire, garantisce ulteriori protezioni e salvaguardie, sia che la decisione finale venga presa da un essere umano sia che vengano prese da una macchina.
Il Bill C-11 canadese
A “tallonare” il CPRA vi è il canadese Bill C-11, in discussione da alcuni mesi presso il Parlamento di Ottawa[3]. Tale “disegno di legge” definisce un “sistema decisionale automatizzato” come “qualsiasi tecnologia che assiste o sostituisce il giudizio dei decisori umani utilizzando tecniche come i sistemi basati su regole, analisi di regressione, analisi predittiva, Machine Learning, Deep Learning e reti neurali”.
In sintesi, affermare che la mitigazione di un qualsiasi danno creato da un pregiudizio (bias) algoritmico risieda in un maggiore coinvolgimento umano si è dimostrato falso. Non solo il coinvolgimento umano non aiuta, ma in alcuni casi può addirittura peggiorare la situazione. Poiché gli algoritmi d’Intelligenza Artificiale diventano sempre più sofisticati, e gli esseri umani diventano sempre meno in grado di capire come essi funzionano. È necessario “espandere” la normativa di settore per applicarla ai sistemi di aiuto alle decisioni, affinché si vadano a colmare le zone grigie ancora troppo presenti nel mondo dell’Intelligenza Artificiale.[4]
___________________________________________________________________________________________
- Linee guida sul processo decisionale automatizzato relativo alle persone fisiche e sulla profilazione ai fini del regolamento 2016/679 (WP 251 rev.01). https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053 ↑
- Per approfondimenti. California Privacy Rights Act, le estensioni della legge privacy californiana e le lezioni del GDPR. Cybersecurity360. https://www.cybersecurity360.it/legal/privacy-dati-personali/california-privacy-rights-act-le-estensioni-della-legge-privacy-californiana-e-le-lezioni-del-gdpr/ ↑
- “An Act to enact the Consumer Privacy Protection Act and the Personal Information and Data Protection Tribunal Act and to make consequential and related amendments to other Acts”. Parliament of Canada. https://parl.ca/DocumentViewer/en/43-2/bill/C-11/first-reading ↑
- One word can make all the difference in the world. IAPP. https://iapp.org/news/a/one-word-can-make-all-the-difference-in-the-world/ ↑
