Un recente rapporto Onu ha acceso il dibattito sui possibili effetti nefasti del welfare digitale. Al di là delle serie e fondate riflessioni che ne sono scaturite, un elemento che non è stato molto approfondito, a mio avviso, è quello relativo al fatto che un argomento tanto importante per il benessere dei cittadini non possa essere in alcun modo delegato alla burocrazia di un ministero, a tecnologi “neutrali”, ad “esperti” vari, ma deve diventare oggetto di discussione da parte di tutti gli stakeholder.
La conoscenza tecnica non può essere più appannaggio di pochi “guru” ma deve permeare, almeno ad un certo livello, i soggetti che determinano le policy e i manager, anche perché, come ci ricorda il report, dietro la tecnologia può nascondersi l’ideologia.
Leggendo il report compilato da Philip Alston e presentato il 19 ottobre 2019 all’Assemblea generale dell’ONU, infatti, appare evidente che il problema del welfare digitale non è l’uso della tecnologia bensì l’idea che questa possa essere neutrale, in particolare il fatto che i principi di costruzione delle applicazioni utilizzino dei criteri progettuali che più o meno deliberatamente mirano a limitare il welfare o ad interdirlo a chi non risponde a requisiti, anche di natura politica, con evidenti ricadute sul rispetto dei diritti umani.
Welfare digitale, due riflessioni sul report Onu
La gran parte delle analisi hanno posto l’accento sui pericoli del welfare digitale messi in evidenza dal report in particolare sulla privacy, sul digital divide e sull’automazione delle procedure burocratiche che, da ciò che emerge dalla lettura, anziché aumentare l’inclusione farebbe aumentare l’esclusione proprio delle fasce che hanno più necessità. Nel report si citano numerosi casi internazionali India, Australia, Sud Africa, UK, Canada nei quali sono emerse diverse criticità.
Ecco perché, prima di entrare nel merito dei contenuti del report è bene soffermarsi su due riflessioni stimolate dalla sua lettura.
La prima riflessione parte da un tema dibattuto e discusso da molti scienziati e uno dei principali temi della epistemologia, il fatto che la tecnologia non è neutrale. La tecnologia è plasmata dalle ideologie, dagli interessi, dall’”humus” culturale che in una certa epoca storica si vengono a determinare e, se non vogliamo esserne travolti, è necessario che impariamo a non assumerla come infallibile. Il report riporta casi di errori di algoritmi o di sistemi di welfare digitale che sono condizionati da convincimenti ben precisi mascherati da semplice tecnologia.
La seconda riflessione è che la tecnologia ha raggiunto livelli così pervasivi rispetto all’organizzazione e alla società umana che è necessario aprire i suoi criteri di progettazione ad una revisione più ampia dei soli tecnologi o burocrati. È necessario che si apra ad una revisione aperta non solo da parte dei cosiddetti esperti ma anche da parte dei cittadini che devono essere coinvolti nella scelta o revisione dei requisiti di progettazione. È chiaro che questo non può essere fatto mettendo una popolazione di 60 milioni di cittadini intorno ad un tavolo e che non avrebbe nemmeno tanto senso, ma certo è sempre più necessario sapere che i sistemi tecnologici devono essere sottoposti ad un continuo improvement per raccogliere le esigenze e le criticità e risolverle cambiando i software. Di fronte ad un algoritmo che porta disagio una fascia di popolazione non si dovrebbe rispondere con la sicurezza nella sua infallibilità ma mettere in atto quelle metodologie di ascolto che consentano di raccogliere criticità e proposte di miglioramento. Si apre un mondo su questo aspetto, oggi non esistono forse risposte ma bisogna cominciare a fare qualche tentativo per comprendere quale sia il modo più efficace per evitare i rischi esposti nel report.
Il ruolo delle Big Tech
Infine, sulla necessità di un ruolo maggiore del soggetto pubblico nel costruire le tecnologie, uno dei temi rilevanti del report è il fatto che l’approccio privatistico di molte aziende coinvolte sta distorcendo l’obiettivo del welfare digitale.
Il report si sofferma sul ruolo delle Big Tech nel fornire le tecnologie agli Stati e al fatto che queste hanno criteri privatistici che spesso collidono con gli interessi della funzione pubblica. Viene messo in luce come l’applicazione delle tecnologie si è accompagnata con criteri di riduzione del budget, di ottimizzazione dei costi e dei servizi che hanno potuto dispiegarsi appieno grazie allo scudo della neutralità tecnologica ma che sono nei fatti contrari proprio all’obiettivo di garantire un maggior welfare per tutti, “Attraverso l’invocazione di termini spesso ideologicamente caricati, le politiche economiche neoliberali si fondono senza soluzione di continuità in quelle che vengono presentate come riforme del welfare all’avanguardia, che a loro volta sono spesso facilitate, giustificate e schermate dalle nuove tecnologie digitali. Anche se queste ultime sono presentate come ‘scientifiche’ e neutrali, possono riflettere valori e ipotesi che sono molto lontani dai principi dei diritti umani e possono essere antitetici a questi ultimi. Inoltre, a causa della relativa privazione e impotenza di molti beneficiari del welfare, vengono imposte condizioni, richieste e forme di invadenza che non sarebbero mai state accettate se fossero state sperimentate in programmi applicabili ai membri più abbienti della comunità.”. Come vediamo il report non è una condanna all’uso della tecnologia ma al come questa viene utilizzata e da chi.
Lo stato dell’arte nel nostro Paese
Sarebbe troppo lungo ripercorrere i casi di studio analizzati a livello internazionale ma si possono cogliere elementi interessanti e anche situazioni, non riportate nel report, che fanno capo al nostro paese. Ad esempio viene citato il sempre più largo uso di carte di debito per fornire redditi di contrasto alla povertà e il rischio che le aziende di servizi di carte possano raccogliere i dati del consumo e profilare i beneficiari per poi rivendere queste informazioni al mercato come nel caso citato del Sud Africa, Nuova Zelanda e Australia “l’esternalizzazione dell’emissione e della gestione delle carte elettroniche a società private ha creato problemi quali l’incoraggiamento degli utenti a pagare per prodotti finanziari commerciali e l’imposizione di fees. Più in generale, l’ethos che circonda tali carte ha spesso rispecchiato stereotipi come l’inaffidabilità finanziaria e l’irrazionalità di coloro che vivono in condizioni di povertà”.
Il report mette in luce come i calcoli vengono sempre più spesso effettuati attraverso algoritmi che vedono un sempre minore intervento umano delegando a chi produce tali algoritmi le politiche e determinando situazioni di errori grossolani. In Italia ricordiamo il celebre algoritmo del MIUR sulla distribuzione dei docenti nelle scuole o le “cartelle pazze” ma casi simili sono accaduti in Australia con il cosiddetto “robodebt” che ha fatto pervenire a molti cittadini cartelle di debito non dovute.
Welfare digitale e prevenzione delle frodi
I sistemi di welfare digitale spesso trovano giustificazione nella necessità di prevenire e combattere le frodi, tuttavia, fa notare il report, come spesso le ipotesi di frodi siano sovrastimate distorcendo così il tema del welfare dalla priorità del benessere dei cittadini alla persecuzione di un numero ridotto di presunti delinquenti. Si fa anche notare come in molti casi tale numero di presunti delinquenti non è dovuto alla reale intenzione del singolo di produrre una frode ma dai complicati meccanismi messi in atto per richiedere i benefici spettanti.
“Immagini di persone che si suppone siano del tutto immeritevoli che ricevono grandi pagamenti governativi, come la troppa “welfare queen” di Ronald Reagan, sono state a lungo utilizzate dai politici conservatori per screditare il concetto stesso di protezione sociale. Il rischio è che lo stato sociale digitale offra infinite possibilità di portare la sorveglianza e l’intrusione a livelli nuovi e profondamente problematici”. Il report segnala come spesso anche le tecnologie per calcolare i rischi e classificare i bisogni siano da una parte uno strumento utilissimo ma dall’altra si prestano a rischi, in particolare per il fatto che si determinano comportamenti personali sulla base dei comportamenti di un cluster e questo non sempre risponde al vero, infine il report fa notare come “il funzionamento delle tecnologie e il modo in cui arrivano a un certo punteggio o classificazione è spesso segreto, rendendo così difficile chiedere ai governi e agli attori privati di rispondere di potenziali violazioni dei diritti”.
Per il report “Le tecnologie digitali, compresa l’intelligenza artificiale, hanno un enorme potenziale per promuovere i numerosi benefici che sono costantemente citati dai loro sostenitori. Lo stanno già facendo per coloro che sono economicamente sicuri e possono permettersi di pagare per i nuovi servizi. Potrebbero anche fare un’immensa differenza positiva nel migliorare il benessere dei membri meno abbienti della società, ma ciò richiederà profondi cambiamenti nelle politiche esistenti. Il ruolo guida in questo sforzo dovrà essere svolto dai governi attraverso adeguate politiche fiscali e incentivi, iniziative normative e un autentico impegno a progettare il welfare digitale non come un “cavallo di Troia” per l’ostilità neoliberale nei confronti del welfare e della regolamentazione, ma come un modo per garantire una società con un livello di vita dignitoso per tutti.”
Welfare digitale e discriminazioni
Il Prof. Alston esamina anche il tema dei codici etici mettendo in evidenza come non sia sufficiente appellarsi a principi generici da parte dei principali player di mercato ma sia necessario che i soggetti pubblici costruiscano un sistema articolato di regole, tutele e strumenti giuridici per metterlo in atto. Il codice etico è una condizione necessaria ma non sufficiente.
L’applicazione delle tecnologie da elemento che potenzia il welfare rischia di diventare discriminatorio soprattutto in quelle situazioni nelle quali si passa dal digitale quale opzione di utilizzo a politiche “digital only” nella pratica, “Ciò a sua volta aggrava o crea grandi disparità tra i diversi gruppi. La mancanza di alfabetizzazione digitale porta all’incapacità di utilizzare gli strumenti digitali di base, per non parlare di un uso efficace ed efficiente. L’accesso limitato, o il mancato accesso a Internet, pone enormi problemi a moltissime persone”. Il welfare digitale costruito in questo modo non solo provoca un minore accesso ai servizi da parte di chi ne ha bisogno ma può facilmente essere usato per vessare cittadini, limitare le loro libertà, condizionare le loro scelte democratiche.
Il rapporto mette poi in luce la presenza sempre più diffusa del settore privato nel disegno e nella realizzazione delle piattaforme di servizio pubbliche. “Due temi coerenti di questo rapporto sono stati la riluttanza di molti governi a regolamentare le attività delle aziende tecnologiche e la forte resistenza di queste aziende a tenere sistematicamente conto delle considerazioni sui diritti umani. Il fatto che questo porta molte grandi imprese tecnologiche ad operare in una zona franca per i diritti umani è ulteriormente esacerbato dalla misura in cui il settore privato sta assumendo un ruolo di primo piano nella progettazione, costruzione e persino nella gestione di parti significative dello stato sociale digitale.” e ancora “[..] in relazione ai servizi di protezione sociale c’è una profonda e problematica mancanza di informazioni sul ruolo preciso e la responsabilità degli attori privati nel proporre, sviluppare e gestire le tecnologie digitali nei sistemi di welfare di tutto il mondo. Questa mancanza di trasparenza ha una serie di cause, dalle lacune nelle leggi sulla libertà d’informazione, alle clausole di riservatezza e alla tutela della proprietà intellettuale, attraverso la mancata richiesta di trasparenza da parte di legislatori e dirigenti, fino alla generale mancanza di indagini su queste pratiche da parte degli organi di controllo e dei media. L’assenza di informazioni ostacola seriamente gli sforzi per responsabilizzare i governi e gli attori privati.”
Tecnologie e scelte politiche
Le conclusioni del rapporto richiamano gli stati ad una rinnovata attenzione non tanto sulla tecnologia ma su come questa viene progettata e realizzata. Per il rapporto, le tecnologie digitali applicate al welfare non sono il risultato inevitabile del progresso “scientifico”, ma riflettono invece le scelte politiche dell’uomo. In primo luogo supponendo che la tecnologia rifletta risultati preordinati o oggettivamente razionali ed efficienti, si rischia di abbandonare i principi dei diritti umani insieme al processo decisionale democratico. In secondo luogo, se la logica del mercato prevale in modo eccessivo, inevitabilmente si viene ad ignorare le considerazioni sui diritti umani e si impongono pregiudizi e discriminazioni che riducono sempre più l’autonomia delle persone.
Per il rapporto, i valori alla base delle nuove tecnologie sono inevitabilmente stravolti dal fatto che chi progetta sistemi di IA e chi progetta sistemi di welfare, spesso sono prevalentemente bianchi, maschi, benestanti e provenienti dal Nord del mondo. Indipendentemente dall’impegno verso certi valori, le ipotesi e le scelte fatte nel plasmare il welfare digitale rifletteranno certe prospettive ed esperienze di vita. Il modo per contrastare questi pregiudizi e per assicurare che le considerazioni sui diritti umani siano adeguatamente prese in considerazione è quello di assicurare che le “pratiche alla base della creazione, dell’auditing e del mantenimento dei dati” siano sottoposte ad un esame molto attento.
Il report fa anche notare come sia altamente probabile che l’analisi predittiva, gli algoritmi e altre forme di IA riproducano ed esacerbino i pregiudizi che si riflettono nei dati e nelle politiche esistenti. Si richiama alla necessità di concentrare gli sforzi per identificare e contrastare tali pregiudizi nella progettazione del welfare digitale. Ciò richiede a sua volta trasparenza e un’ampia base di input nei processi decisionali. Il pubblico, e soprattutto coloro che sono direttamente interessati dal sistema di welfare, devono essere in grado di comprendere e valutare le politiche che sono codificate in profondità all’interno degli algoritmi.
“L’industria tecnologica è fortemente orientata alla progettazione e vendita di gadget per i più abbienti, come le auto senza conducente e volanti e gli assistenti elettronici personali per gli uomini d’affari multitasking [sic]” soprattutto, ma non solo, nel Nord del mondo. In assenza di incentivi fiscali, regolamenti governativi e pressioni politiche, sottolinea il report, l’industria tecnologica dedicherà troppa poca attenzione a facilitare la creazione di un welfare che tenga pienamente in conto l’umanità e le preoccupazioni dei meno abbienti.
Conclusioni
Secondo il report fino ad oggi è stata prestata sorprendentemente poca attenzione ai modi in cui le nuove tecnologie potrebbero trasformare in meglio il welfare, “Invece di ossessionarsi dalle frodi, dai risparmi sui costi, dalle sanzioni e dalle definizioni di efficienza indotte dal mercato, il punto di partenza dovrebbe essere il modo in cui i fondi esistenti destinati al welfare o addirittura ampliati potrebbero essere trasformati attraverso la tecnologia per garantire un più elevato standard di vita per le persone vulnerabili e svantaggiate, per ideare nuovi modi di prendersi cura di coloro che sono rimasti indietro e tecniche più efficaci per rispondere ai bisogni di coloro che lottano per entrare o rientrare nel mercato del lavoro. Questa sarebbe la vera rivoluzione digitale dello Stato sociale.”
