C’è il primo caso di un Governo che si dimette per colpa di un algoritmo, discriminatorio e invasivo nelle vite delle persone. Accade in Olanda, dove il sistema Syri che si occupava di assegnare i sussidi sociali li ha tolti ingiustamente a 20mila famiglie perché le ha sospettate di frode fiscale.
Lo scandalo ha spinto il governo olandese a rassegnare ufficialmente le dimissioni. Un caso emblematico, da cui si possono trarre numerosi insegnamenti, su più livelli.
I fatti: SyRi in Olanda
Il Governo olandese si è dimesso prendendo atto degli errori commessi, già peraltro formalizzati da un rapporto parlamentare predisposto al fine di far valere la responsabilità politica dell’esecutivo in carica nell’adozione di un sistema amministrativo di accertamento opaco che, mediante l’attuazione di controlli generalizzati, aveva anche determinato effetti discriminatori tra i cittadini con doppia nazionalità come rilevato da un’ulteriore indagine avviata in materia.
Secondo quanto pubblicamente riportato, infatti, migliaia di persone sono state “etichettate come truffatrici dalle autorità fiscali” in applicazione del controverso “project 1043” predisposto da un team antifrode nell’identificazione massiva di condotte fiscali illecite selezionate sulla base della profilazione dei dati compilati nelle dichiarazioni dei redditi registrate nel sistema SyRI (Systeem Risico Indicatie), da cui trarre “sospetti di frode” tali da giustificare un’ispezione più approfondita. A carico dei cittadini, presi di mira e automaticamente inseriti in una specifica lista di controllo, l’onere di dimostrare la correttezza degli adempimenti posti in essere in materia di imposta sul reddito rifiutati per impostazione predefinita, con l’ulteriore aggravante che gli utenti destinatari dell’avvio di un procedimento di accertamento fiscale non sono neanche stati informati tempestivamente.
Sullo sfondo, era stata prospettata anche una possibile violazione della privacy connessa alla conservazione di elenchi su frodi registrate in contrasto con la normativa vigente in materia sino a provocare addirittura una formale presa di posizione delle Nazioni Unite prospettando “significative minacce potenziali per i diritti umani, in particolare per i più poveri della società”.
La posizione del tribunale dell’Aia
Proprio per tali ragioni, la vicenda era stata sottoposta all’attenzione del tribunale distrettuale dell’Aia che, chiamato a pronunciarsi sulla legittimità del programma SyRI (Systeem Risico Indicatie) pur confermando la possibilità per le autorità pubbliche di avvalersi di strumenti tecnologici per individuare condotte illecite, ha ritenuto il programma SyRI troppo invasivo sulla vita delle persone in contrasto con l’art. 8 CEDU, nonché non conforme ai principi di trasparenza e di minimizzazione di cui al Reg. UE 2016/679. Inoltre, nel programma SyRI sono stati ravvisati discutibili profili discriminatori a pregiudizio degli immigrati e delle persone con redditi bassi nell’ambito dei meccanismi di identificazione dei casi sospetti di frode mediante la raccolta di dati governativi provenienti da fascicoli fiscali e previdenziali, archivi catastali, registri contenenti informazioni occupazionali e commerciali, sistemi di immatricolazione di veicoli.
Algoritmi trasparenti contro le discriminazioni
Sussiste dunque un elevato rischio di profilazione determinata dalla raccolta massiva di dati personali processati da sistemi di deep learning non accessibili che processano una notevole quantità di informazioni eterogene senza soddisfare adeguati parametri di conoscibilità e prevedibilità, con il risultato di ampliare la discrezionalità delle autorità competenti nell’ambito di un sindacato decisionale eccessivamente arbitrario senza garanzie minime a presidio delle persone.
Si evince così l’importanza della trasparenza, in un’ottica di tangibile verificabilità, per evitare effetti discriminatori ingiustificati tali da alterare la regolarità della procedura, specie qualora, focalizzando il controllo nei confronti delle aree ritenute più “problematiche”, si incentivi il rafforzamento di stereotipi e luoghi comuni veicolando un’immagine negativa sui residenti che vivono in tali contesti territoriali, in mancanza di informazioni oggettivamente riscontrabili sugli indicatori di rischio in concreto adoperati.
Da ciò, dunque, discende l’uso non sufficientemente trasparente e verificabile di SyRI ritenuto, rispetto alla finalità pubblica di combattere le frodi nell’interesse generale del benessere economico, comunque non conforme al rispetto dei diritti fondamentali sanciti dalla legislazione internazionale vigente in materia, in virtù di un “vulnus” di tutela della vita privata immotivatamente sacrificabile.
Algoritmi, contrasto all’illegalità e tutela dei diritti
Le nuove tecnologie offrono allo Stato la possibilità di analizzare, con algoritmi sempre più sofisticati, i dati pubblici in possesso per svolgere attività di accertamento e di contrasto alle illegalità commesse dalle persone. Tuttavia, poiché tali sistemi hanno un profondo impatto sulla vita privata è indispensabile sempre assicurare un’effettiva tutela dei diritti fondamentali riconosciuti agli individui.
Siamo forse di fronte a un passo falso del sistema di automazione algoritmica in controtendenza al mito della “infallibilità” tecnologica in grado di risolvere i problemi sempre con soluzioni complete, efficaci e corrette?
Già Virginia Eubanks in Automating Inequality (2019) puntava il dito sugli algoritmi del welfare che perpetuavano bias contro i poveri e che, in nome di un efficientismo liberista, criminalizzavano di fatto la povertà (si veda anche A.Longo-G.Scorza, Intelligenza artificiale, impatti sulle nostre vite, diritti, libertà, Mondadori Università, 2020).
Conclusioni
Di certo, guardando ad un aspetto positivo della vicenda olandese, è possibile trarre un concreto esempio di grande civiltà e maturità politica che, anche a prescindere da qualsiasi risvolto penalmente rilevante, pone fine senza nessuna esitazione ad esperienze di governo – peraltro nel caso di specie anche a lungo consolidate in termini di legittimazione e sostegno popolare – con conseguente assunzione di responsabilità per gli errori commessi nello svolgimento delle proprie funzioni.
Tutto questo mentre, in Italia, stiamo assistendo all’ennesima “crisi” in un costante clima di incertezza e instabilità, ove, secondo un approccio totalmente “bipartisan”, si è molto più propensi tra le varie forze parlamentari ad evidenziare i fallimenti altrui piuttosto che individuare i propri limiti come possibile causa della “stasi” paralizzante ormai da tempo esistente che impedisce la concreta implementazione di progetti seri e credibili necessari soprattutto per assicurare un futuro sostenibile e innovativo alle nuove generazioni.
