Ci siamo già occupati, in passato, della relazione tra dati e potere, sia dal punto di vista economico, sia da quello della sicurezza.
Il recente affaire Facebook-Cambridge Analytica, ci invita a tornare sul tema. Tuttavia non affronteremo questo caso specifico: la nostra analisi non aggiungerebbe nulla di nuovo a quanto già descritto da esperti di mezzo mondo, i quali hanno sviscerato la questione da differenti prospettive e competenze.
La datificazione della vita e l’io “quantificato”, le conseguenze
La nostra riflessione su dati e potere deriva dall’osservazione generale della “datificazione” delle nostre vite: le nostre abitudini, i nostri spostamenti, ciò che scriviamo sui social network. Numerosi studiosi utilizzano il termine “quantified self” (io quantificato) per indicare proprio questo fenomeno: ogni nostra azione è potenzialmente tracciabile e convertibile in dati. La conseguenza è che questi dati, a seconda di chi li raccoglie, possono essere processati in maniera automatica e scalabile per gli obbiettivi più disparati: offrire servizi personalizzati, influenzare le nostre opinioni su determinati temi, pianificare nuovi spazi delle città, ridurre gli sprechi energetici, e così di seguito.
L’utilizzo dei dati per scopi analoghi non è nuovo. Basti pensare agli studi nel campo della cibernetica, iniziati negli anni ’40 e proseguiti nel dopo guerra con le sperimentazioni dei cosiddetti sistemi data-driven (si veda ad esempio il progetto Cybersyn). A differenza di quei sistemi, tuttavia, e al netto del progresso tecnologico intercorso, la principale caratteristica che cattura la nostra attenzione è che, allo stato attuale, la raccolta di informazioni tratte dai nostri comportamenti (anche con il nostro deliberato consenso formale) è pressoché vincolata alle finalità: oggi subordinate al perseguimento del profitto (cosiddetto surveillance capitalism), ieri rivolte a obiettivi di progresso socio-economico, come il miglioramento del welfare o una più equilibrata redistribuzione della ricchezza.
Se la raccolta dati è volta al profitto di aziende private
Una situazione figlia del fatto che i principali detentori delle tecnologie di raccolta e analisi dei dati sono entità private volte al profitto. Talvolta accade che, anche quando sono gli enti pubblici a sviluppare servizi e piattaforme che comportano la raccolta di grosse quantità di dati degli utenti, questo processo sia appaltato a società private o realizzato usando direttamente software proprietario (per motivi di efficienza economica – a volte esternalizzare costa meno – oppure per mancanza di competenze all’interno della PA).
La conseguenza generale è che, per la prima volta nella storia degli stati moderni, i principali detentori delle informazioni sui cittadini non sono più le autorità e gli organismi pubblici, ma le realtà private (le piattaforme software, i costruttori di device elettronici, i fornitori di servizi software su cloud, ecc.).
Cosa implica per la democrazia il potere dei dati in mano privata
Dunque, se è vera l’equazione dati (e mezzi per il loro trattamento)=potere, è vero anche che oggi stiamo assistendo ad una progressiva cattura del potere pubblico da parte di imprese guidate da un unico obiettivo, quello del profitto.
Giunti a questa osservazione, riteniamo ora importante fare alcune riflessioni finali sulla dimensione etica dei dati e degli algoritmi. Riproponendo lo scandalo Facebook-Cambridge Analytica come spunto iniziale, si può facilmente osservare che il potere derivato dal possesso di così tanti dati e da così tanti cittadini ha un impatto rilevante sui processi alla base delle nostre democrazie. Inoltre, l’impossibilità di poter verificare quali siano i dati in possesso, come questi vengono scambiati tra diverse organizzazioni, e con quali scopi vengano utilizzati, porta ad un forte rischio che la iper-personalizzazione dei servizi digitali porti a una sistematica discriminazione di diverse fasce della popolazione.
I rischi di discriminazione
Ad esempio, uno studio congiunto della Michingan State University e dello Human Rights Data Analysis Group, ha dimostrato evidenti pregiudizi del software usato da alcuni corpi di polizia statunitensi ed europei per prevedere i crimini. Gli autori dello studio hanno dimostrato che l’algoritmo usato dalle pattuglie della polizia per prevedere futuri crimini legati alla droga, era alimentato con dati che sottostimavano l’effettivo numero dei consumatori di droga con il colore della pelle chiaro. Pertanto, le previsioni del software indicano costantemente le aree delle città in cui risiedevano i non bianchi, con il risultato che la polizia focalizza le attività di prevenzione in queste aree e gli arresti si concentrano sui loro abitanti (o frequentatori). Una simulazione fatta dagli scienziati ha inoltre dimostrato che gli arresti fatti nelle zone suggerite dal software hanno ulteriormente rafforzato il pregiudizio iniziale incorporato dal database usato. Sia il software sia i dati usati dalla polizia sono proprietari, per cui non è stato possibile ispezionarli più a fondo per verificare e correggere questo comportamento discriminatorio.
Un altro esempio ci viene dalla lettura di “The Black Box Society” di Frank Pasquale: se consideriamo che l’1% dei pazienti negli Stati Uniti rappresenta oltre un quinto dei costi sanitari e il 5% quasi la metà dei costi, allora non sarà difficile per gli assicuratori, grazie ai dati e agli algoritmi in loro possesso, scegliere la “persona sana” e rifiutare la polizza sanitaria a coloro che sono identificati come malati, così da ottenere molto più profitto rispetto alla situazione in cui si assicurano tutti coloro che loro richiedono (e possono permettersi di pagare il premio). Inoltre gli stessi dati danno agli assicuratori un ulteriore vantaggio: la possibilità di adattare le polizze e imporre tariffe più elevate per alcuni membri.
Le nostre vite, libri aperti
Lasciamo libero spazio ai lettori per estendere questi due esempi ad altri campi in settori chiave del nostro welfare e della nostra democrazia, in cui molti dati dei cittadini sono in possesso di entità private che possono dunque applicare tecniche di data analytics, machine learning e intelligenza artificiale senza nessun controllo e per perseguire il solo profitto.
E mentre queste potenti aziende e istituzioni finanziarie possono celare i dati e gli algoritmi usati per il loro business, le nostre vite assomigliano sempre più a libri aperti, da cui Facebook & Co. traggono la materia prima per i propri profitti miliardari.
