il caso

L’IA ha ancora un problema con le minoranze: il caso dei “non morti” in India



Indirizzo copiato

L’IA continua ad essere utilizzata con sempre maggiore frequenza in ambito sociale, come ad esempio per la connessione di sostegni alimentari o economici alle minoranze emarginate. Tuttavia, un recente caso di cronaca avvenuto in India riaccende i riflettori sulle derive discriminatorie e le disfunzioni degli algoritmi

Pubblicato il 20 mar 2024

Marco Martorana

avvocato, studio legale Martorana, Presidente Assodata, DPO Certificato UNI 11697:2017



india

L’intelligenza artificiale potrebbe cambiare radicalmente il mondo, ma allo stesso tempo causare maggiori pregiudizi ed esclusioni razziali.

Sebbene gran parte dell’attenzione sugli aspetti negativi dell’intelligenza artificiale si è concentrata su cose come i sinistri stradali delle auto a guida autonoma o gli errori commessi dalle applicazioni basate sull’AI utilizzate per generare testi, molti ricercatori affermano che l’attenzione andrebbe rivolta anche e soprattutto altrove, perché la tecnologia potrebbe rappresentare una minaccia e un impatto negativo sui poveri, sugli emarginati e sulle persone di colore.

“Ogni volta che l’umanità attraversa una nuova ondata di innovazione e trasformazione tecnologica, ci sono persone che sono ferite e ci sono problemi grandi quanto il conflitto geopolitico”, ha affermato Fei Fei Li, direttore dello Stanford Artificial Intelligence Lab.

Alcuni recenti avvenimenti a danno delle popolazioni più povere dell’India sembrano quantomeno legittimare quegli esperti che continuano a lanciare l’allarme sulle derive dell’applicazione dell’AI in ambito sociale.

Il recente caso dei “non morti” in India

Nel 2019 il primo ministro dell’Haryana Manohar Lal Khattar aveva lanciato il cosiddetto programma PPP. Nel giugno 2020 è poi divenuto obbligatorio, e pertanto lo Stato ha iniziato a utilizzare quello che è un sistema algoritmico di nuova costruzione – il Family Identity Data Repository o il database Parivar Pehchan Patra (per l’appunto, PPP) – per determinare l’ammissibilità dei richiedenti all’assistenza sociale.Si tratta in sostanza di un documento d’identità univoco di otto cifre fornito a ciascuna famiglia nello stato, che contiene dettagli su nascita e morte, matrimonio, impiego, proprietà e imposta sul reddito, tra gli altri dati, dei membri della famiglia.

Tale codice mappa anche le informazioni demografiche e socioeconomiche di ogni famiglia collegando diversi database governativi per verificarne l’idoneità ai programmi di welfare.

Fin dall’inizio i partiti di opposizione avevano contestato la decisione di raccogliere i dati personali dei cittadini per la realizzazione del PPP, trovando le resistenze del governo, convinto di aver garantito in questo modo un’erogazione “proattiva” del welfare senza che i richiedenti dovessero mostrare alcun documento o necessitare di una verifica sul campo. Nel giro di un anno, tuttavia, sono iniziati a sorgere svariati problemi, quando un cittadino indiano, Chand, si accorse che la sua pensione sociale mensile era stata improvvisamente sospesa perché era stato dichiarato morto nei registri governativi.​

In pratica, il PPP aveva erroneamente contrassegnato Chand come “morto”, negandogli la pensione per diversi mesi. Quel che è peggio è che le autorità non avevano cambiato il suo status dopo averlo più volte incontrato di persona. Soltanto dopo aver architettato una messinscena, un finto corteo nuziale, che Chad è riuscito ad incontrare un politico locale che ha ammesso l’errore e chiesto alle autorità di sbloccare la pensione.

Chand non è stato tuttavia un caso isolato di fallimento dell’algoritmo, anzi. Venuti a conoscenza della notizia, tanti altri indiani si sono mossi per verificare la loro posizione, facendo emergere come in tre anni, a causa delle disfunzioni degli algoritmi, fossero state sospese le pensioni di 277.115 anziani.

Tali anomalie non hanno però riguardato soltanto le pensioni di vecchiaia, ma anche i beneficiari di pensioni di invalidità, reversibilità, e di altri programmi di welfare come gli alimenti sovvenzionati, lasciando migliaia di persone prive di mezzi di sostentamento per molto tempo.

Ma c’è dell’altro, a causa dell’algoritmo PPP e delle sue previsioni errate sui redditi o sull’occupazione, migliaia di cittadini poveri sono stati esclusi dai criteri di ammissibilità. Il tutto, accendendo inevitabilmente e nuovamente non solo le critiche nei confronti delle autorità indiane, bensì nei confronti dell’uso dell’AI in ambito sociale, sulla base del principio che se gli algoritmi possono sbagliare, non dev’essere permesso che lo facciano a danno delle fasce più deboli, discriminate ed emarginate della società.

Come la tecnologia potrebbe aiutare le regioni più povere  

Al di là degli aspetti negativi che abbiamo esaminato, l’IA può anche dare un importante contributo al miglioramento delle condizioni di vita delle fasce più povere e deboli del Pianeta.

L’intelligenza artificiale può infatti aiutare a identificare i soggetti più bisognosi e ad intervenire migliorando i terreni coltivabili e l’agricoltura, aumentando l’istruzione e aiutando gli abitanti ad apprendere nuove competenze per sostenere le comunità, l’intelligenza artificiale può anche aiutare nella distribuzione degli aiuti nelle aree più povere e devastate dalla guerra, o dove i disastri naturali hanno causato devastazione.Identificare le regioni colpite dalla povertà è un elemento chiave per riuscire a contrastarla. In questo senso le immagini satellitari stanno aiutando i ricercatori a farlo.

L’abbondanza di immagini riprese dai satelliti può aiutare a identificare le attività globali che riflettono le regioni povere e ricche. Ad esempio, le aree con un’elevata densità di luce notturna sono generalmente più ricche di quelle buie. Questo perché chi è al buio ha poco o nessun accesso all’elettricità durante i periodi notturni.

L’IA per “prevedere” la povertà

Marshall Burke, professore assistente presso il Dipartimento di Scienze dell’Università di Stanford, ha utilizzato immagini satellitari di aree nelle regioni africane colpite dalla povertà. Nella sua ricerca ha utilizzato immagini diurne per “colmare le lacune” delle sole immagini notturne. Alimentando un algoritmo con immagini satellitari sia notturne che diurne di Ruanda, Nigeria, Uganda, Malawi e Tanzania, è stato in grado di identificare i significanti nelle immagini diurne. La combinazione di entrambi i set di immagini ha aiutato il computer a prevedere la povertà in queste regioni. Questi dati sono stati poi confrontati con i dati ottenuti dalle indagini presso le famiglie di queste regioni. Ciò ha portato Burke e il suo team a essere in grado di prevedere la povertà con una precisione dell’81-99%.

L’intelligenza artificiale, in questo caso, può aiutare a identificare le aree più bisognose di aiuti. Può anche aiutare le organizzazioni e gli operatori umanitari sul campo a misurare l’efficacia dei loro sforzi nella lotta alla povertà.

IA in agricoltura: il progetto FarmView

Prendendo ad esempio il tema dell’agricoltura, grazie alla quale vivono grosse frange di popolazione in molte regioni più povere, merita una menzione il progetto FarmView, lanciato dagli specialisti di intelligenza artificiale della Carnegie Mellon University. Questi ultimi usano i droni, la robotica e l’intelligenza artificiale per migliorare la sostenibilità delle colture alimentari di base nei paesi in via di sviluppo. In particolare, un team sta analizzando il modo migliore per ottimizzare la crescita delle colture di sorgo, utilizzato per la produzione di alimenti, bevande e biocarburanti. L’opportunità di coltivare il sorgo apporterebbe grandi benefici alle aree colpite dalla povertà che fanno affidamento sull’agricoltura come principale fonte di reddito.

L’apprendimento automatico aiuta in questo senso inserendo i dati raccolti durante la stagione di crescita in un modello di intelligenza artificiale che potrebbe aiutare a prevedere i modi migliori per gli agricoltori di coltivare questo raccolto. 

Welfare, aiuti e politiche sociali: il ruolo dell’AI e i suoi problemi 

Esistono altre strade che possono essere intraprese attraverso le nuove tecnologie. L’intelligenza artificiale viene infatti utilizzata sempre più per rendere i servizi sociali più personalizzati, identificando le differenze tra le persone e le loro necessità. Gli algoritmi vengono sempre di più utilizzati per aiutare i funzionari governativi a tracciare il profilo delle persone e a prevederne il futuro.

In alcuni paesi i disoccupati vengono suddivisi in gruppi in base alla loro probabilità di trovare un nuovo lavoro, i bambini vengono valutati per il loro rischio di danni o abusi familiari, viene calcolata la possibilità che un delinquente recidivi, e così via. Questi approcci sono utili per adattare le esigenze, il tempo e le risorse finanziarie ai più bisognosi. Ma possono anche sbagliare, rafforzando ad esempio le prospettive razziste e sessiste.

Inoltre, i processi decisionali dell’IA non sono trasparenti, bensì una “scatola nera”. I governi non forniscono revisioni indipendenti della codifica del software e spesso si nascondono dietro la riservatezza commerciale. Ciò significa che il processo decisionale dei governi sta diventando sempre più nascosto e inspiegabile.

A ciò si aggiungono le disfunzioni di cui si sente più spesso parlare e che per molti metterebbero in dubbio la sicurezza dell’AI in ambito sociale e la sua pericolosità per le disuguaglianze.

L’IA e il problema del credito alle minoranze

Pochi anni fa emersero delle problematiche relative all’uso dell’AI per calcolare l’affidabilità dei soggetti che richiedevano un finanziamento presso gli istituti di credito. Stiamo parlando dell’uso delle tecnologie ai fini del cosiddetto “rating sociale“, ossia una sorta di attribuzione di punteggi alle persone, una pratica che la proposta di Regolamento europeo sull’IA ha assolutamente vietato.

Ebbene, secondo i dati emersi da alcune indagini, negli Stati Uniti tante persone appartenenti alle minoranze linguistiche ed etniche avrebbero avuto più volte enormi difficoltà a ottenere crediti perché non rientravano nella casistica standardizzata prevista dagli algoritmi finanziari, cadendo nel tranello di un tipo di valutazione che le macchine avrebbero ancora difficoltà a fare. Ad esempio, se l’algoritmo assume una decisione basata esclusivamente su dati generali e standard immessi nel sistema, un operatore umano può prendere in considerazione ogni singolo aspetto concreto della vita delle persone, che non necessariamente trova espressione nei dati coi quali è stato addestrato l’algoritmo.

Questo ha senz’altro creato molto dibattito sulla possibilità di affidare all’AI il compito di prendere decisioni di tale importanza, ed ha spinto varie start-up e aziende a studiare il modo per sopperire alle disfunzioni della tecnologia.

L’AI ha un problema con i più deboli?

La dura prova affrontata da centinaia di migliaia di cittadini per ottenere la correzione dei propri dati ha reso il PPP uno dei piani governativi più controversi degli ultimi anni, ed ha riacceso i riflettori sull’opportunità di affidare all’AI una responsabilità di questo tipo, sottraendola alla valutazione umana. Ora, sarebbe probabilmente una mossa sbagliata quella di ignorare completamente la tecnologia anche in campo sociale. Bisogna, in altri termini, entrare nell’ottica che stiamo andando verso una fase storica nella quale non sono solo gli esseri umani a prendere decisioni che incidono su altri esseri umani.

Al contempo, quando si parla di servizi e benefici alle persone svantaggiate della società, l’attenzione rivolta al funzionamento della tecnologia dev’essere ancora più alta, onde evitare in primis problemi come quelli emersi in India, che andrebbero a peggiorare ulteriormente la condizione di persone già svantaggiate, ed in secondo luogo non compromettere la già fragile fiducia nei confronti delle nuove tecnologie, elementi imprescindibile per il loro inserimento progressivo nelle maglie della società. Ciò significa che dobbiamo prendere sul serio il modo in cui l’automazione e l’intelligenza artificiale possono migliorare questi obiettivi sociali, anziché allontanarci da essi.Occorre poi precisare che la forza della tecnologia dipende molto dal materiale di partenza utilizzato per addestrarla.

Più precisamente, ci sono due variabili su quanto sia buono un prodotto basato sull’AI: uno sono i dati a cui ha accesso, e il secondo è quanto sia valido il grande modello linguistico. Ecco perché sicuramente ad oggi l’AI ha un problema nella gestione di situazioni complesse legate allo status delle persone, e questo è evidente se andiamo a vedere fatti avvenuti in giro per il mondo negli ultimi anni. Tuttavia, ci sono i margini per migliorare, ed in questo il ruolo dell’essere umano – che comunque deve rimanere presente e centrale – è imprescindibile. 

EU Stories - La coesione innova l'Italia

Tutti
Iniziative
Analisi
Iniziative
Parte la campagna di comunicazione COINS
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Iniziative
Parte la campagna di comunicazione COINS
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati

Articolo 1 di 3