«It’s a day that’s here», questa la risposta del Presidente della Corte suprema degli Stati Uniti, John Roberts, quando gli venne richiesto quando sarebbe arrivato il giorno in cui il giudice sarebbe stato assistito da un algoritmo in grado di affiancarlo nella ricostruzione del fatto oggetto della vicenda giudiziaria, o addirittura intervenendo nel processo di decision-making.
Il giorno della giustizia predittiva. Ad oggi questo sistema è ampiamente diffuso non solo in America ma anche in Europa, ove il funzionamento di questi meccanismi si trova a fare i conti con la nuova normativa in materia di trattamento dati personali, nonché con gli orientamenti europei finalizzati a definire le linee guida per la compenetrazione tra etica e sviluppo delle nuove tecnologie.
Nonostante la diversità delle esperienze riscontrate nei due continenti (giustificate anche da un diverso substrato normativo e contesto sociale), nonché le criticità riscontrate nei diversi sistemi, il ruolo del giudice “persona” nella giustizia penale continua ad essere un elemento imprescindibile per il fine ultimo della Giustizia a garanzia della dignità delle persone interessate. Non si tratta pertanto di capire quanto velocemente i meccanismi di giustizia predittiva possano evolversi, quanto invece se gli attuali sistemi di intelligenza artificiale siano all’altezza dei compiti che si intendono affidargli.
Giustizia predittiva negli Usa: algoritmi e analisi predittive
Chissà se Philip K. Dick avesse fin dal principio concepito il suo libro “Rapporto di minoranza” non come un’opera di fantascienza ma di fatto come un preludio di un’epoca in cui algoritmi e tecnologie trovano applicazione del campo della giustizia penale e della polizia predittiva, ed in particolare nella determinazione delle pene detentive o nella applicazione delle regole in materia di libertà vigilata. Con lo sviluppo delle nuove tecnologie dalla fantascienza si passa alla realtà.
Il caso Loomis e Compas
Ormai da decenni negli Stati Uniti gli algoritmi predittivi vengono utilizzati sia nella fase preliminare al giudizio per la determinazione della cauzione, che in fase pre-decisoria per la valutazione dell’eventuale definizione del procedimento con una “sentenza di probation” o di messa alla prova del soggetto. Non solo. Suole ricordare come in occasione del celebre caso della Suprema Corte del Wisconsin contro Eric L. Loomis, il ricorso a meccanismi di IA trovò applicazione anche in fase di cognizione. La Corte infatti addivenne al giudizio di condanna fondando le sue valutazioni (anche se non in via automatica) sugli esiti degli algoritmi di giustizia predittiva integrati nel software “Compas”.
È stato proprio a seguito del caso Loomis che l’organizzazione no-profit americana ProPublica diffuse un’analisi molto dettagliata sul software “Compas”.
Da tale analisi emerse non solo una mancanza di trasparenza in ordine al relativo funzionamento, ma anche che i dati elaborati dal programma conducevano a risultati discriminatori della popolazione di riferimento. Il software, ad esempio, elaborava una maggiore probabilità di recidiva per i soggetti neri rispetto ai bianchi. In particolare, i neri avrebbero avuto il 77% in più di probabilità di reiterare crimini violenti quali omicidi, stupri, rapine e aggressioni aggravate.
Tale vicenda ebbe il merito di focalizzare l’attenzione pubblica sulle criticità del sistema di giustizia penale basato, anche se in parte, su meccanismi di intelligenza artificiale, per arrivare ad una intensa riflessione in ordine alle modalità di funzionamento di tali algoritmi.
La potenza mediatica che interessò il suddetto caso pose l’attenzione sulle implicazioni etiche, morali e giuridiche riferibili al ricorso a meccanismi di intelligenza artificiale applicati al processo, alle ripercussioni apprezzabili sui diritti e le libertà delle persone derivanti dal modello matematico sotteso alla progettazione dell’algoritmo, alla definizione degli input e alla elaborazione dei correlativi output.
Le proteste
Dopo il caso “Compas”, la questione del funzionamento dell’algoritmo venne ripresa in occasione dei lavori della commissione governativa della Pennsylvania per l’adozione della tecnologia predittiva, finalizzati alla progettazione di un algoritmo che avrebbe dovuto valutare il rischio di recidiva del soggetto dopo che questo era stato condannato.
L’idea del progetto era di fondare il giudizio di probabilità raffrontando informazioni note sui soggetti interessati (chiedendo loro di rispondere ad una serie di domande) e mettendo a confronto le risposte rese con statistiche che descrivessero le caratteristiche dei trasgressori noti, eventualmente fornite dai dipartimenti di libertà vigilata della contea.
Tuttavia, non mancarono proteste avverso l’adozione di un sistema di questo tipo, avanzate in primis dall’Unione americana per le libertà civili (“American Civil Liberties Union”), la quale denunciava principalmente:
- La mancata trasparenza della logica utilizzata
- Aumento del pregiudizio razziale o riferibile alla minoranza di appartenenza dell’interessato.
Algoritmi di questo tipo per finalità di polizia predittiva vengono utilizzati in diversi Stati dell’America, e anche le perplessità avanzate sono più o meno le stesse.
Sono nate infatti diverse organizzazioni quali la Media Mobilizing Project di Philadelphia che ha creato pretrialrisk.com ossia un database che analizza l’uso degli algoritmi di predizione in tutta la nazione, attraverso il quale viene analizzato il modo in cui vengono utilizzati gli strumenti di valutazione del rischio, e come incidono sulle libertà dei singoli individui; e la Silicon Valley De-Bug (San Jose, California) che si dedica ad intervistare la famiglia di ciascun imputato, portando a ciascuna udienza le informazioni personali raccolte in questo contesto, condividendole con i difensori come una sorta di contrappeso alla “fredda” applicazione degli algoritmi.[1]
Ma non solo.
Lo studio 2019 sulla giustizia predittiva
Un contributo interessante emerge da uno studio del 2019 condotto dal Royal United Service Institute per gli studi sulla difesa e la sicurezza del Regno Unito, dove i sistemi di giustizia predittiva venivano addestrati ricorrendo ai database forniti dalla polizia. Lo studio aveva evidenziato che in tale fase l’algoritmo acquisiva (ed elaborava) di fatto i pregiudizi delle forze dell’ordine riportati nei rapporti da loro redatti. La conseguenza era un circolo vizioso: il sistema evidenziava che la popolazione nera era la più propensa a commettere reati, e, pertanto, la repressione finiva per essere incentrata contro i soggetti facenti parte proprio di quel gruppo.
Uomini e macchine: “errori” comuni
La rilevanza dell’errore nel processo decisionale automatizzato che riguarda l’algoritmo di giustizia predittiva emerge anche in un interessante studio condotto da Julia Dressel e Hany Farid, studiosi presso il college di Dartmouth nel corso del quale viene analizzato il funzionamento del software Compass. Il loro studio metteva infatti a confronto il funzionamento dell’algoritmo con le decisioni assunte da un gruppo di persone di media cultura (e senza particolari conoscenze nel settore penale) alle quali venivano sottoposti dei “test” che permettessero loro di valutare il rischio recidiva di un soggetto basandosi sulla conoscenza di 5 fattori di rischio (sesso, età, carica attualmente ricoperta, numero di precedenti penali per adulti e per minori). Il risultato di tale indagine fece emergere come di fatto il livello di accuratezza delle decisioni assunte dal software Compas fossero di un livello analogo a quelle assunte dal gruppo di persone prese in considerazione, discostandosi soltanto di alcuni punti percentuali. In che ambito pertanto l’intelligenza artificiale è in grado di superare l’accuratezza della decisione umana?
Alcuni ricercatori dell’Università della California (Zhiyuan “Jerry” Lin1, Jongbin Jung1, Sharad Goel1, and Jennifer Skeem) hanno condotto un secondo esperimento in linea con quello realizzato da Dressel e Farid, con la previsione tuttavia di alcuni correttivi tra cui: la sottoposizione al campione di soggetti chiamati ad effettuare il test di maggiori informazioni rispetto a quelle fornite nel precedente esperimento (tra cui lo stato occupazionale, lo stato occupazionale, l’uso di sostanze stupefacenti e la salute mentale), e l’immediata comunicazione (ad alcuni di essi) dell’esito della valutazione effettuata (se il soggetto che avevano indicato come recidivo aveva effettivamente compiuto un ulteriore reato entro due anni dalla condanna). I risultati hanno evidenziato che quando le persone non ricevevano alcuna conferma in ordine alla esattezza o meno della loro valutazione (come avviene nella realtà quando un giudice si trova a decidere su una causa), l’algoritmo nella medesima situazione produceva risultati più accurati e precisi (89% dei casi di corretta previsione della recidiva da parte del software Compass, contro il 60% per le persone che non avevano ricevuto il riscontro, caso per caso, nelle loro decisioni).
Questi risultati mostrano che in ogni caso, siano uomini o macchine a giudicare, l’errore giudiziario accomuna uomini e macchine “intelligenti”. Solo, però, i giudizi espressi dalle macchine risultavano più difficilmente “appellabili” e quindi controvertibili, rispetto a quelli umani.
Ecco perché se da un lato i suddetti risultati incoraggiano l’uso e il miglioramento del funzionamento degli algoritmi nella valutazione dei rischi, le variabili che caratterizzano un processo penale, non potranno mai esautorare il giudice della sua funzione.
Pertanto, nonostante gli sviluppi ai sistemi di giustizia predittiva finalizzati all’implementazione del grado di affidabilità, il ruolo del giudice “persona” resta centrale non solo come garanzia di efficacia ed efficienza della giustizia penale, ma altresì per permettere al soggetto interessato di sottoporre la sua situazione e le sue esigenze specifiche ad un giudice che possa guardare alla persona che ha di fronte e che non può essere ridotta da un algoritmo ad una serie di risposte a domande predeterminate. Shared Goel, scienziato computazionale presso l’Università di Stanford, sottolinea che “Gli strumenti di valutazione dei rischio (riferibili a soggetti interessati) possono aiutare i professionisti della giustizia a rendere decisioni più informate e consapevoli. (…) Ma come qualsiasi strumento di valutazione del rischio devono essere associate ad una solida politica e al controllo umano per sostenere una riforma della giustizia penale equa ed efficace”.
La giustizia della predittiva in Europa: il ruolo centrale dell’etica e della dignità umana
L’esperienza statunitense apre la strada ad una intensa riflessione al ruolo dell’intelligenza artificiale applicata al processo, con particolare riferimento alle implicazioni sui diritti e le libertà delle persone.
A partire dalla stipula della “Convenzione sulla protezione delle persone rispetto al trattamento automatizzato di dati a carattere personale”, avvenuta a Strasburgo il 28 gennaio 1981 gli Stati Membri del Consiglio d’Europa hanno inteso garantire il rispetto dei diritti e delle libertà fondamentali di ogni persona in relazione ai trattamenti automatizzati. Principio che è stato poi successivamente ribadito per effetto del protocollo di integrazione alla predetta convenzione adottato al Strasburgo il 10 ottobre 2018, ove già nel preambolo gli Stati membri del Consiglio d’Europa sottolineano la necessità di “garantire la dignità umana e la protezione dei diritti umani e delle libertà fondamentali di ogni individuo e, data la diversificazione, l’intensificazione e la globalizzazione del trattamento dei dati e dei flussi di dati personali, l’autonomia personale basata sul diritto di una persona di controllare i suoi dati personali e il trattamento di tali dati” stabiliscono che lo scopo della Convenzione è quello di “proteggere ogni individuo, qualunque sia la sua nazionalità o residenza, in relazione al trattamento dei propri dati personali, contribuendo in tal modo al rispetto dei propri diritti umani e libertà fondamentali, in particolare il diritto alla privacy” (Art. 1).
Il primato dei diritti e della dignità umana nel ricorso a sistemi di intelligenza artificiale è stato ribadito con riferimento ai sistemi di giustizia predittiva in occasione della conferenza tenutasi lo scorso ottobre a Strasburgo “Digital challenges to justice in Europe” ove la presidenza francese del Comitato dei Ministri del Consiglio d’Europa ha fissato i principi generali intorno ai quali dovrà in futuro ruotare l’intelligenza artificiale nell’ambito della giustizia.
I principi generali esprimono:
• il ruolo supplementare dell’accesso “digitale” alla giustizia rispetto a quello analogico per favorire un migliore accesso alle sentenze e alle cancellerie dei tribunali sia ai cittadini che ai professionisti legali;
• il divieto di effetti discriminatori degli algoritmi applicati nel settore della giustizia che possano violare i principi dettati in materia di privacy e protezione dati personali;
• il diritto di ciascun cittadino di poter ricorrere in ogni caso al controllo giudiziario di un giudice al fine di ottenere una decisione individuale (rispetto a quella);
• l’uso di strumenti digitali dovrebbe rispettare i principi del giusto processo, della segretezza delle investigazioni e del principio di conoscibilità e trasparenza delle decisioni giudiziali;
• l’uso di tali strumenti dovrebbe impedire la diffusione di contenuti illegali e notizie false,
suscettibili di creare un grave impatto sulle società democratiche, garantendo allo stesso tempo la libertà di espressione e informazione.
Dalla teoria alla pratica: il caso Key Crime
Come abbiamo visto gli algoritmi di intelligenza artificiale possono essere sviluppati con approcci e tecnologie molto diverse tra loro. Nel caso Compas l’algoritmo era stato addestrato per calcolare il rischio di recidiva assegnando un punteggio non tanto tenendo conto delle caratteristiche individuali del soggetto, ma della comparazione delle informazioni immesse con quelle riferibili a classi di soggetti, aprendo così la strada a possibili applicazioni discriminatorie in base al sesso, colore della pelle e contesto familiare di appartenenza.
Le diverse implicazioni della differenza metodologica nella progettazione dell’algoritmo sono dimostrate dall’esperienza italiana nella progettazione del software Key Crime[2], ideato dall’ex assistente capo della Questura di Milano Mario Venturi. In controtendenza rispetto a tutti gli altri software di polizia predittiva utilizzati in ambito statunitense (basati sulla cosiddetta hotspot analysis per segnalare le aree a rischio furti e illeciti della città), l’esperienza italiana focalizza la sua attenzione non al “contesto” ma al “soggetto” autore del reato.
Mediante uno studio condotto sui fascicoli dei reati detenuti presso le varie stazioni di polizia emergeva infatti che la maggior parte delle rapine erano state realizzate dalla stessa “mano operativa”. La questione (e quindi l’analisi) si spostava quindi dalla criminalizzazione delle aree della città (con evidenti effetti discriminatori nei confronti di soggetti abitanti in quelle zone) alla profilazione del soggetto autore del reato per arrivare a capire la prossima mossa e il prossimo obiettivo a rischio.
Ed è proprio la profilazione dell’autore del reato effettuata in base ad una molteplicità di dati e informazioni a scongiurare ogni possibile discriminazione dei soggetti riportanti una sola di quelle caratteristiche, o rientranti in una soltanto delle categorie oggetto di elaborazione da parte dell’algoritmo.
Conclusioni
La certezza del diritto e quindi il “principio in base al quale ogni persona deve essere posta in condizione di valutare e prevedere, in base alle norme generali dell’ordinamento, le conseguenze giuridiche della propria condotta, e che costituisce un valore al quale lo Stato deve necessariamente tendere per garantire la libertà dell’individuo e l’eguaglianza dei cittadini davanti alla legge” (Enc. Treccani.it) apre le porte all’intelligenza artificiale e ai sistemi di giustizia predittiva.
Tuttavia, l’esigenza di adattarsi alle nuove sfide provocate dalla trasformazione delle società europee, che si è intensificata in conseguenza del progresso tecnologico, non può perdere di vista il principio della dignità umana, oltre il quale nemmeno il più sofisticato sistema di intelligenza artificiale può spingersi. I sistemi di intelligenza artificiale rappresentano uno strumento di supporto fondamentale all’attività del giudice, in grado di facilitare l’applicazione del principio del giusto processo e della certezza del diritto. Rifiutarli sarebbe un errore, ma accettarli in assenza di un qualsivoglia senso critico improntato alla salvaguardia della dignità umana come fine di ogni sviluppo nel settore dell’IA sarebbe la fine di ogni garanzia di libertà.
Parafrasando una frase resa da A. Einstein, se il processo senza intelligenza artificiale può anche essere zoppo, l’intelligenza artificiale senza etica è sicuramente cieca.
_________________________________________________________________
- J. Kourkounis, New York Times ↑
- A.D. Signorelli, WIRED ↑
