La legge di Goodhart afferma che quando una misura diventa un obiettivo cessa di essere una buona misura (“when a measure becomes a target, it ceases to be a good measure”).
Così, per esempio, quando le persone sono a conoscenza del fatto che verranno o non verranno assunte sulla base di un responso dato da una Intelligenza Artificiale, iniziano a usare parole chiave per ottenere un punteggio più alto: in modo semplicistico, possedere certe caratteristiche diventa l’obiettivo e per questo stesso motivo il fatto di averle smette di essere un buon criterio per giudicare i giusti candidati. Si tratta di comportamenti strategici che non necessariamente sono espressione della volontà di truccare le carte, ma al contrario esprimono il nostro modo normale di comportarci, quando sappiamo di dover essere giudicati.
Naturalmente, lo stesso potrebbe dirsi dei casi in cui a giudicare è un essere umano, che anzi potrebbe essere guidato da pregiudizi profondi e gravi verso determinati gruppi di persone. Il livello di complessità del processo, però, sembra essere differente nei due casi. E il comportamento strategico esplicito può avere delle ricadute socioeconomiche tutt’altro che irrilevanti.
Se l’IA decide delle nostre vite: l’ottimizzazione predittiva
Quando allora questo tema diventa cogente? Per esempio, quando IA e Machine Learning (ML) sono applicate massicciamente per prendere delle decisioni che ci riguardano nella nostra vita quotidiana, o da cui potrebbero addirittura dipendere le nostre vite (per esempio, nel caso di decisioni mediche, che riguardino la nostra probabilità di morire entro un certo lasso di tempo da un intervento e che quindi facciano sì che l’intervento stesso ci venga negato).
In questi casi, si parla di ottimizzazione predittiva – o così la definisce un gruppo di studiosi di Princeton che ha svolto un importante compito di rassegna delle pubblicazioni sul tema e sulle sue applicazioni realmente esistenti ed effettive (Wang, Kapoor, Barocas, Narayanan 2022, rev. 2023). L’ottimizzazione predittiva vuole affiancarsi (ma anche sostituirsi) ai due modelli tradizionali di presa delle decisioni rilevanti a livello sociopolitico, ovvero il giudizio umano e la burocrazia.
Quando si usa l’ottimizzazione predittiva
L’ottimizzazione predittiva non corrisponde a qualsiasi applicazione di ML o decisione automatica, bensì si dà in casi molto specifici: quando tecniche di ML (1) sono utilizzate per prevedere il futuro (2) e, sulla base di tali previsioni, per prendere delle decisioni che influiscono direttamente sugli individui (3). Una definizione che potrebbe apparire tanto specifica da riguardare solo rari casi, ma così non è. Gli autori ne analizzano 47, utilizzando una serie di criteri valutativi allo scopo specifico di mostrare i limiti di questa applicazione del ML che si vuole dimostrare essere iniqua e, quindi per ciò stesso, illegittima.
ChatGPT, perché ora l’intelligenza artificiale ci stupisce e spaventa
Tra le motivazioni qui più degne di nota ci sono il riconoscimento del fatto che fare buone predizioni non vuol dire ottenere buone azioni (e d’altronde ottenere buone predizioni è di per sé comunque difficile con tecniche automatiche che non riescono a tenere conto di diversi fattori, come il differente valore che gli individui possono attribuire a una soluzione piuttosto che a un’altra e la possibilità di influenzare i propri dati, viziando il procedimento) e il fatto che l’utilizzo di criteri numerosi da parte dei sistemi di ML fa sì che coloro che sono soggetti alle decisioni prese nell’ottica dell’ottimizzazione predittiva non hanno i mezzi per, eventualmente, contestarle.
Black box e algorithmic auditing
Questo fenomeno si lega anche alla questione delle cosiddette black box, recentemente contestate (per esempio da Meredith Broussard, professoressa di Data journalism presso l’Arthur L. Carter Journalism Institute della New York University e autrice del recente libro More than a Glitch) che in una intervista al MIT Technology Review ha affermato di non amare l’espressione “black box” perché fa credere che sia impossibile spiegare i meccanismi di ML, mentre dovremmo mantenere una distinzione tra ciò che non sappiamo e ciò che non possiamo sapere. Inoltre, Broussard sostiene, l’algorithmic auditing, campo di recente sviluppo che consiste nello sforzo di garantire che il contesto e lo scopo delle applicazioni di apprendimento automatico informino direttamente le valutazioni della loro utilità e correttezza, ci insegna come sia possibile interrogarci sulla iniquità e sulle discriminazioni presenti negli algoritmi, ovvero sul potenziale impatto su diritti e interessi degli individui, cercando poi di intervenire per risolvere i problemi esistenti e fare in modo che gli strumenti di apprendimento automatico vengono esaminati tenendo conto del contesto di riferimento. Cfr. Brown, Davidovic, Hasan 2021).
Interessante è il fatto che i sostenitori dell’utilizzo del ML a scopo predittivo abbiano invece affermato (Kleinbern et al. 2015) che poiché molte delle decisioni che vanno prese a livello sociale non sono vere e proprie scelte, ottimizzare le previsioni porterebbe a una ottimizzazione dei risultati. Così, la decisione di prendere l’ombrello prima di uscire di casa dipende solamente da buone previsioni del meteo: se queste sono corrette, la nostra scelta sarà certamente corretta perché il gesto di prendere o non prendere l’ombrello non può influenzare la previsione stessa, né tantomeno il meteo. Ciò che si può contestare, però, è che in ambito economico-sociale le decisioni che vanno prese siano davvero di questo tipo e che, per esempio, invece, non siano riconducibili alla cosiddetta legge di Goodhart di cui abbiamo parlato all’inizio.
Degno di nota è anche il fatto che gli autori stessi riconoscano come i criteri di equità statistica possano solamente indicare la presenza di una ingiustizia e ne siano quindi piuttosto il sintomo. Motivo per cui molte delle questioni andrebbero affrontate non solo criticando l’applicazione dell’ottimizzazione predittiva, ma anche ponendosi domande più generali, sulla struttura sociale in cui tali predizioni sono possibili e sulle possibilità che abbiamo di intervenire su questo livello, sebbene l’articolo non si occupi di questo tema nello specifico.
Explainable AI: come andare oltre la black box degli algoritmi
La questione centrale è che l’ottimizzazione predittiva va ad incidere direttamente su questioni di interesse personale, civile, sociale, rimuovendo paradossalmente la politica dalla elaborazione delle politiche. Certamente, i casi in cui le scelte politiche sono qualcosa di più di una applicazione di regole su criteri prestabiliti e noti sono piuttosto rare, così come la necessità di affidarle a esseri umani ingiusti, corrotti, spinti da interessi del tutto personali, può essere una soluzione poco invitante. Tuttavia, ciò che l’ottimizzazione predittiva ci spinge a domandarci è se ogni questione socio-politica può essere matematizzata e se vogliamo che i criteri in base ai quali importanti decisioni su noi stessi e le nostre vite sono prese siano completamente lasciate a criteri che, per loro natura, non possiamo comprendere e mettere in dubbio.
Bibliografia
Brown, S., Davidovic, J., & Hasan, A. (2021). The algorithm audit: Scoring the algorithms that score us. Big Data & Society, 8(1). https://doi.org/10.1177/2053951720983865.
Kleinberg, Jon, Jens Ludwig, Sendhil Mullainathan, and Ziad Obermeyer. 2015. Prediction Policy Problems. American Economic Review 105, 5 (May 2015), 491–495.
Ryan-Mosleyarchive, Tate. Meet the AI expert who says we should stop using AI so much. The MIT Technology Review, March 10, 2023.
Wang, Angelina and Kapoor, Sayash and Barocas, Solon and Barocas, Solon and Narayanan, Arvind, Against Predictive Optimization: On the Legitimacy of Decision-Making Algorithms that Optimize Predictive Accuracy (October 4, 2022). Available at SSRN: https://ssrn.com/abstract=4238015.
