Non si ferma l’adozione di sistemi di Intelligenza artificiale nei processi di decision-making di importanza anche critica per la persona: nei sistemi giuridici, di polizia, in quelli che servono ad assumere nelle multinazionali.
Emerge con forza la necessità di regole più stringenti, che ad esempio prevedano il “rodaggio” dell’algoritmo prima della messa su strada. Così da assicurare un’automazione orientata all’interesse dei cittadini, e non contro di essi. O i danni – per l’innovazione stessa – saranno irrimediabili.
Intelligenza artificiale, la grande scalata
A conferma di questo, sui giornali italiani e stranieri si moltiplicano le notizie circa l’uso di sistemi e algoritmi di intelligenza artificiale all’interno dei processi decisionali delle pubbliche amministrazioni, non solo nell’ambito della pubblica sicurezza ma anche in quello della gestione del welfare, ad esempio. L’adozione di queste tecniche raggiunge gli onori delle cronache, di solito, a seguito delle proteste di cittadini e di gruppi organizzati, contrari a che lo Stato deleghi a una macchina, sia pure parzialmente, le proprie decisioni in merito ai rapporti con i cittadini.
È l’avviso di chi scrive che tale tendenza all’adozione di sistemi automatizzati nei processi di decision-making non farà che aumentare nei prossimi anni, per gli stessi motivi che spingono verso l’adozione di algoritmi similari in un numero sempre crescente di settori dell’attività umana: dall’industria alla finanza, dalla sanità alla cybersecurity, dall’intrattenimento e al tempo libero.
Le tre “V” che spingono i sistemi di AI
Questa spinta muove da una necessità che potremmo riassumere con le “3 V” che caratterizzano i dati generati e/o rilevanti per queste stesse attività.
La prima V indica il volume di dati: per rimanere nell’ambito della PA, le informazioni disponibili su ciascun cittadino sono sempre più estese, grazie al proliferare di database sui cittadini e alla possibilità di correlare le informazioni fra basi di dati differenti.
La seconda V fa riferimento alle velocità dei dati, ovvero la produzione sempre più rapida di dati che si avvicina alla produzione – e necessità di elaborazione – “in tempo reale”.
La terza V, infine, indica la varietà dei dati prodotti e disponibili. Se la pubblica amministrazione pre-digitale era basata su testi e numeri, oggi a questi si sono affiancati video, immagini, audio, flussi informativi dai social network. L’adozione di paradigmi di elaborazione mutuati dalla logica dei cosidetti “big data”, che permettano un elevato grado di automazione, è sempre meno una scelta etica quanto una scelta di necessità. Le pubbliche amministrazioni, confrontate con la necessità di operare in questo nuovo contesto informativo, e sottoposte a rigorosi limiti di budget e di personale, sono costrette ad operare con sistemi automatici per ottenere un’ottimizzazione dei propri costi operativi.
Il problema, quindi, è come regolamentare questo utilizzo, garantendo che nell’adottare tali sistemi le amministrazioni siano consapevoli non solo dei (potenziali) benefici, ma anche e soprattutto dei limiti e dei rischi che questi sistemi di automazione comportano.
Sistemi anti-frode, il caso Olanda
Consideriamo un esempio fra quelli recentemente finiti sui giornali: il tribunale distrettuale dell’Aia ha recentemente forzato la chiusura del programma SyRI, in forza delle leggi europee sui diritti umani e sulla privacy dei dati. SyRI, Systeem Risico Indicatie, sistema per il rilevamento del rischio, è stato commissionato dal Ministero degli Affari Sociali olandese nel 2014 per identificare le persone ritenute ad alto rischio di frode previdenziale.
La legislazione approvata dal Parlamento olandese ha permesso al sistema di utilizzare i dati provenienti da 17 sorgenti di dati governativi, tra cui i registri fiscali, gli archivi catastali e le immatricolazioni dei veicoli. Quattro città hanno utilizzato lo strumento, in ogni caso utilizzandolo solo su specifici quartieri con un alto numero di residenti a basso reddito e immigrati. La decisione del tribunale distrettuale è arrivato dopo che, l’anno scorso, la comunità di alcuni quartieri di Rotterdam hanno iniziato una protesta contro tale sistema, con l’appoggio della federazione sindacale FNV.
La controversia è arrivata all’attenzione del relatore speciale delle Nazioni Unite per i diritti umani, Philip Alston, che in un documento[1] ha affermato che SyRI rappresentava “una significative minaccia potenziale ai diritti umani, in particolare per gli elementi più poveri della società”.
Il tribunale distrettuale dell’Aia ha avallato questa valutazione ma con una interessante sottolineatura. La sentenza ha affermato che l’uso da parte del governo di strumenti tecnologici per affrontare le frodi era legittimo, ma che nello specifico il programma SyRI era troppo invasivo perché violava il diritto alla vita privata garantito dalla legge europea sui diritti umani. Inoltre, il programma non era conforme ai principi di trasparenza e di minimizzazione della raccolta di dati previsti dalla legge UE sulla privacy GDPR. Infine ha avvertito del rischio che il sistema potesse discriminare, collegando un reddito più basso o un background di immigrati a un maggiore rischio di frode.
I rischi del riconoscimento facciale
Il caso dimostra come le norme sulla privacy e le leggi sui diritti umani possano frenare l’uso dell’automazione da parte del governo. È uno dei numerosi esempi recenti di regolamenti europei che limitano i programmi governativi che trasformano gli algoritmi e l’intelligenza artificiale sui cittadini.
La sentenza contro il sistema SyRI entra così a far parte di una serie di sentenze, emesse da tribunali e regolatori europei, che stanno imponendo dei limiti all’utilizzo di algoritmi per aumentare l’efficienza o la supervisione del governo. Ad esempio, nell’agosto 2019, l’autorità svedese per la protezione dei dati ha comminato ad un’agenzia governativa locale una multa di oltre 20.000 dollari a causa di un test di tre settimane relativo all’utilizzo di un sistema di riconoscimento facciale che registrava gli ingressi in aula degli studenti[2], mentre in ottobre l’autorità francese per la protezione dei dati ha stabilito che le scuole non dovrebbero usare il riconoscimento facciale per controllare gli ingressi degli studenti, a seguito di lamentele sui piani per testare la tecnologia nelle scuole superiori di Nizza e Marsiglia[3].
Una tendenza analoga all’utilizzo di algoritmi si va diffondendo anche nella gestione della pubblica sicurezza e della giustizia: a Filadelfia, USA, da almeno 5 anni un algoritmo creato da un professore della University of Pennsylvania contribuisce a stabilire il profilo di controllo da applicare ai detenuti in libertà vigilata. L’algoritmo è solo uno dei tanti utilizzati nei processi decisionali relativi alla vita delle persone negli Stati Uniti e in Europa. Le autorità sempre più spesso ricorrono ad algoritmi predittivi per stabilire la distribuzione territoriale delle pattuglie della polizia, il computo delle pene detentive e le regole per la libertà vigilata.
Il software che prevede i crimini
Ad esempio, oltre al già menzionato Syri, il giornale “The Guardian” cita uno studio di un gruppo a difesa delle libertà civili secondo il quale almeno 14 forze di polizia in Inghilterra e Galles stanno usando o hanno usato un software per prevedere i crimini in particolari zone, mentre tre di esse stanno cercando di estendere la stessa tecnologia agli individui, per prevederne la probabilità di recidiva[4].
E la tendenza è in rapida crescita: secondo l’Electronic Privacy Information Center, una no-profit che si occupa di diritti digitali, quasi tutti gli stati americani stanno valutando l’adozione di questo tipo di algoritmi. La stessa situazione si sta verificando anche in Europa, dove Algorithm Watch, un’organizzazione di Berlino che si occupa della valutazione di impatto delle decisioni automatizzate, ha individuato programmi simili in almeno 16 paesi europei[5] già nel 2019.
Uno dei principali punti di contestazione di questa crescente dipendenza da sistemi automatizzati è la riduzione, quando non l’eliminazione, della trasparenza dal processo. Molto spesso non è spiegato quali sono i criteri con cui le decisioni vengono prese. Il sesso è un fattore? L’età? Il codice di avviamento postale? È difficile dirlo, dato che non esiste ancora un sistema normativo rigoroso che richieda la divulgazione della logica utilizzata da tali algoritmi. Non è un caso che di recente la California abbia messo al bando i sistemi di polizia predittiva.
Uno dei problemi è che sistemi di questo tipo utilizzano spesso delle serie storiche per assegnare delle “etichette” ai cittadini, utilizzando le informazioni che le caratterizzano per confrontarle con la “storia” di individui simili nel passato. È evidente che un simile sistema è perfetto per perpetuare eventuali discriminazioni annidate nei dati di origine.
L’algoritmo che discrimina
Un classico esempio, in un ambito diverso, è capitato ad Amazon, che nel 2018 aveva utilizzato un sistema automatico per la “scrematura” dei CV di candidati all’assunzione[6]. Il problema risiedeva nel fatto che i dati di addestramento erano relativi alle precedenti esperienze di assunzione in azienda, ovvero l’insieme dei CV presentati rispetto all’insieme dei CV scelti. Poiché la politica di assunzione aveva privilegiato in passato i candidati maschi, ecco che automaticamente l’algoritmo considerava il sesso maschile come un buon indice per valutare l’idoneità dei nuovi candidati, perpetuando in questo modo la discriminazione.
Oltre ai rischi di polarizzazione, discriminazione e scarsa trasparenza, è inoltre opportuno riflettere sui rischi di sicurezza che l’utilizzo di moli di dati così ampie ed estese comporta. Un caso recentemente tornato agli onori delle cronache è la violazione della sicurezza della società Equifax, scoperta nel luglio 2017 e rilanciata quest’anno, dopo che una lunga indagine ha indicato l’esercito Cinese come esecutore della violazione.
Equifax è una delle maggiori agenzie di valutazione del credito al consumo; raccoglie e aggrega informazioni su oltre 800 milioni di consumatori e oltre 88 milioni di imprese in tutto il mondo. Oltre ai dati e ai servizi di credito e demografici alle imprese, Equifax vende servizi di monitoraggio del credito e di prevenzione delle frodi. Sin dalla sua fondazione, il volume di dati che accumula ha suscitato preoccupazione, e i timori sono aumentati con l’arrivo dell’era digitale, al punto che già nel 1970 un professore alla Columbia University aveva dichiarato: “Quasi inevitabilmente, il trasferimento di informazioni da un foglio cartaceo a un computer genera una minaccia alle libertà civili, alla privacy, alla stessa umanità di un uomo… perché l’accesso [ai dati] diviene così semplice”[7].
La violazione del 2017 ha in qualche modo sostanziato questa preoccupazione: nel corso di alcuni mesi gli hacker sono stati in grado di estrarre i record di 143 milioni di persone. E’ chiaro che l’aumento dei sistemi per la profilazione dei cittadini comporterà anche un aumento della dimensione e della varietà dei dati raccolti in sistemi centralizzati, i quali diverranno sempre più spesso l’oggetto degli attacchi di organizzazioni interessate ad ottenere un accesso fraudolento a quegli stessi dati.
I principi previsti dall’Europa
Come detto nell’introduzione, la tendenza all’uso di sistemi automatizzati per accompagnare le decisioni delle pubbliche amministrazioni è una tendenza inarrestabile. Va dunque fatto uno sforzo per far sì che questa “automatizzazione” dei processi decisionali sia fatta nell’interesse dei cittadini, e non contro di essi. Questa esigenza è riconosciuta da molti stati e dall’Unione Europea, che ha enunciato una serie di principi per garantire un uso etico dell’Intelligenza Artificiale[8], estendibile all’uso di algoritmi più in generale:
- Finalità e supervisione: i sistemi di IA dovrebbero aiutare le persone, permettendo loro di prendere decisioni informate e promuovendo i loro diritti fondamentali. Allo stesso tempo, devono essere garantiti adeguati meccanismi di supervisione, che possono essere realizzati attraverso approcci “human-in-the-loop”, “human-on-the-loop” e “human-in-command”.
- Robustezza tecnica e sicurezza: I sistemi AI devono essere robusti e sicuri. Devono essere sicuri, precisi, affidabili e riproducibili per garantire che anche i danni non intenzionali possano essere minimizzati e prevenuti.
- Privacy e governance dei dati: oltre a garantire il pieno rispetto della privacy e della protezione dei dati, occorre anche assicurare adeguati meccanismi di governance dei dati stessi, tenendo conto della qualità e dell’integrità dei dati e garantendo un accesso legittimo ad essi.
- Trasparenza: i dati, il sistema e i modelli decisionali devono essere trasparenti. Gli algoritmi adottati e le loro decisioni dovrebbero essere spiegati in modo adeguato agli stakeholder interessati. Gli esseri umani devono essere consapevoli di interagire con un sistema di IA e devono essere informati delle capacità e dei limiti del sistema.
- Diversità, non discriminazione ed equità: Si devono evitare pregiudizi ingiusti,che potrebbero avere implicazioni negative, dalla marginalizzazione dei gruppi vulnerabili, all’esacerbazione del pregiudizio e della discriminazione.
- Benessere sociale e ambientale: I sistemi di IA dovrebbero andare a beneficio di tutti gli esseri umani, comprese le generazioni future. Occorre quindi garantire che siano sostenibili e rispettosi dell’ambiente. Inoltre, dovrebbero tenere conto dell’ambiente, compresi gli altri esseri viventi, e il loro impatto sociale e societario dovrebbe essere attentamente considerato.
- Responsabilità: Dovrebbero essere messi in atto meccanismi per garantire la responsabilità e l’assunzione di responsabilità per i sistemi di IA e i loro risultati. L’auditability, che consente la valutazione di algoritmi, dati e processi di progettazione, gioca un ruolo chiave, soprattutto nelle applicazioni critiche. Inoltre, dovrebbe essere garantito un adeguato e accessibile rimedio.
Tutti gli esempi citati erano carenti in uno o più degli obiettivi descritti: mancanza di trasparenza, finalità antagoniste rispetto ai diritti degli individui, oscurità dei criteri decisionali, mancanza di sicurezza. E’ necessario quindi che l’adozione di algoritmi automatizzati sia valutata prima della loro messa in campo, per stabilire l’aderenza del progetto a tali norme. I risultati dell’analisi devono essere comunicati ai cittadini al fine di creare un clima di fiducia verso tali sistemi. Solo così è possibile evitare che un uso improprio possa generare una reazione negativa dei cittadini di dimensioni tali da portare al bando tout-court di queste tecnologie, col rischio di “buttare il bambino con l’acqua sporca”.
NOTE
- Una copia del documento può essere trovata qui
- Ricci, T., “L’autorità Datainspektionen ha sanzionato per circa 20.000 euro una scuola: aveva implementato un sistema di riconoscimento facciale al fine di monitorare la presenza degli alunni a lezione”, 22 Agosto 2019, Cybersecurity 360
- “La Cnil juge illégale la reconnaissance faciale à l’entrée des lycées”, Le Figaro.fr Étudiant, 29 Ottobre 2019
- Editoriale: “The Guardian view on crime and algorithms: big data makes bigger problems”, 4 febbraio 2019, The Guardian
- AA.VV., “Automating Society, Taking Stock of Automated Decision-Making in the EU”, 1a Edizione, AlgorithmWatch
- Dastin, J., “Amazon scraps secret AI recruiting tool that showed bias against women”, 10 ottobre 2018, Reuters
- Warzel, C., “Chinese Hacking Is Alarming. So Are Data Brokers”, 10 febbraio 2020, The New York Times
- Unione Europea, “Linee guida per un’Intelligenza Artificiale affidabile”, 8 aprile 2019
