Sempre più di frequente, decisioni che riguardano i diritti delle persone vengono delegate agli algoritmi, i quali -ormai è cosa nota – non sono certo esenti da errori e pregiudizi. Una delle ultime notizie risale a qualche settimana fa: a causa di un errore nel software Acis, migliaia di detenuti nelle carceri dell’Arizona sarebbero ancora in cella nonostante possano invece già godere di uno stato di libertà.
Le informazioni, che il programma è chiamato a vagliare, sono quelle indicate da una legge promulgata due anni fa in Arizona: determinati prigionieri, classificati sulla base del delitto compiuto, che abbiano completato programmi di formazione, scolarizzazione e recupero, possono uscire dal carcere dopo aver scontato il 70% della loro condanna.
Purtroppo per loro, il software utilizzato dal Dipartimento carcerario dell’Arizona non sarebbe in grado di identificare i soggetti che, sulla base di caratteristiche definite, possono seguire i programmi di recupero e di calcolare il punteggio che, così, acquisirebbero per poter usufruire della scarcerazione anticipata.
Intelligenza artificiale: a chi spetta definire l’etica? La risposta dei ricercatori
Indice degli argomenti
La punta dell’iceberg
Le fonti anonime riportano che questa sarebbe solamente la punta di un iceberg: dal 2019, quando è entrato in servizio il programma, gli errori rilevati sarebbero 14 mila.
Una pratica roadmap per rendere perfetta la Compliance aziendale: scarica ora la guida
Il sistema non verrebbe messo però in discussione per l’elevato investimento che ha comportato: più di 24 milioni di dollari.
Il Dipartimento carcerario dell’Arizona ha replicato ammettendo che il programma Acis non è effettivamente in grado di effettuare i calcoli in questione e che dei dipendenti stanno provvedendo ad inserire manualmente nel software le informazioni necessarie per risolvere il problema. Così sono state liberate 733 persone non identificate precedentemente dal programma.
Le carceri gestite dal Dipartimento carcerario dell’Arizona sono una decina e, sempre secondo gli informatori anonimi, il numero delle persone che dovrebbero essere messe in libertà sarebbe notevolmente superiore a quelle effettivamente uscite.
Seppure si tratti di una fonte sconosciuta, il cui contenuto richiederà il vaglio anche della giustizia, la questione che apre non è assolutamente nuova: fino a che punto possono essere delegate la scelta e l’azione alle macchine?
I pregiudizi dell’algoritmo e le questioni economiche
Abbiamo già discusso, in un precedente articolo, come vengono inseriti in programmi bias umani, quali pregiudizi di attitudini criminali verso minoranze etniche – sempre nel caso dell’amministrazione della giustizia – o nella selezione lavorativa con discriminazioni di genere, e che dei software in questione, per motivi di segretezza, non può essere rivelato l’algoritmo decisionale.
Nel caso, qui riportato, il bias è anche esterno al programma e risiede nell’investimento dell’Istituzione – stando alle fonti – di 24 milioni di dollari: l’Istituzione non ammette i propri errori, perché non può essere messa in discussione.
Ma anche l’Istituzione è un apparato tecnico, razional-burocratico, direbbe Weber, per ridurre la complessità, in maniera impersonale, e sulla base di calcoli oggettivi, procedure e funzioni stabilite, elabora le informazioni in entrata, proprio come una macchina.
Le vittime di una situazione kafkiana
Il caso che si sarebbe così prodotto, per chi aspetta ancora la sua libertà, è kafkiano (pensiamo ad all’emblematicamente inconcluso “Il processo”): l’individuo da solo e schiacciato da procedure per lui prive di senso.
Gli effetti di questa situazione kafkiana sono moltiplicati dalla riproducibilità digitale, per cui le potenziali vittime dell’errore sistematico pare siano migliaia.
Sono sempre di più i sistemi di IA e Machine Learning ai quali deleghiamo scelte sulla vite delle persone: le ignare vittime, private di diritti, discriminate o danneggiate da errori sconosciuti potrebbero perciò diventare illimitate.
Perché insegnare alle macchine a parlare e scrivere come noi? I pericoli
___________________________________________________________________
Fonti:
Norma ISO 31700 e privacy by design: cosa devono sapere aziende e consulenti
