Negli Stati Uniti le proteste per i diritti degli afroamericani e delle minoranze, dopo il caso George Floyd, ha rimesso al centro del dibattito anche le tecnologie di riconoscimento facciale e intelligenza artificiale. Accusate, ora di nuovo ma con inedita forza, di favorire discriminazioni sociali, razzismo, perché prendono di mira i sospetti criminali sulla base del colore della pelle. Tanto che Microsoft, IBM e Amazon sono arrivate a negare l’uso dei loro sistemi di riconoscimento facciale da parte delle forze dell’ordine statunitensi, temporaneamente, nell’attesa di norme più tutelanti relative a questa tecnologia.
Il riconoscimento facciale è forse però la punta rumorosa dell’iceberg. Ci sono sistemi automatizzati di profilazione del rischio criminale, in uso in tribunali americani, che identificano – il più delle volte – le persone di colore come possibili recidivi per un reato e quelli di etnia latinoamericana come immigrati clandestini. Inoltre, è appurato che alcuni algoritmi di credit scoring – metodo che consente di valutare l’affidabilità creditizia e la solvibilità di una persona – identificano le persone di colore come soggetti a rischio di insolvenza o di inaffidabilità, impedendo loro di comprare case, ottenere prestiti o trovare lavoro. Stessi problemi per i sistemi di polizia predittiva.
Alle origini della profilazione razziale e della sorveglianza mirata su base etnica
Per comprendere al meglio l’attuale situazione “tecnologica” discriminatoria statunitense è necessario fare un passo indietro nel tempo. Nel 1960, i leader del Democratic Party affrontarono per la prima volta il problema razziale in ambito elettorale. La domanda che si ponevano era la seguente: come poteva il loro candidato alla presidenza, John F. Kennedy, sostenere il calo di sostegno degli afroamericani e di altre minoranze etniche? Un intraprendente politologo del MIT, Ithiel de Sola Pool, propose una soluzione a tale domanda. Avrebbe raccolto i dati degli elettori delle precedenti elezioni presidenziali, li avrebbe inseriti in un nuovo dispositivo di elaborazione digitale, avrebbe sviluppato un algoritmo per “modellare” le intenzioni di voto in cabina elettorale, avrebbe previsto quali posizioni politiche conducevano a risultati più favorevoli, e poi avrebbe consigliato ai responsabili della campagna elettorale di Kennedy di agire di conseguenza. Fu un successo: Kennedy fu eletto, e i risultati mostrarono il potere di questo nuovo metodo di modellazione predittiva. Venne poi la lunga e calda estate del 1967, segnata dalle proteste degli afroamericani per ottenere più diritti. Al pari di quanto accade oggi, anche all’epoca bruciarono diverse città statunitensi: da Birmingham in Alabama, a Rochester nello stato di New York, fino a Minneapolis in Minnesota (costante storica!).
Intelligenza artificiale, tutti i pregiudizi (bias) che la rendono pericolosa
Gli afroamericani protestavano contro l’oppressione e la discriminazione che affrontavano per mano del sistema di giustizia penale americano. Il presidente Johnson formò la Commissione Kerner per comprendere le cause delle proteste; e la commissione fece appello alla società di Ithiel de Sola Pool, la Simulmatics. Nell’ambito di un progetto della DARPA (agenzia USA incaricata dello sviluppo di nuove tecnologie per uso militare) volto a ribaltare la situazione della guerra del Vietnam, la società di Pool aveva lavorato duramente per preparare una massiccia campagna propagandistica e psicologica contro i Vietcong. Il presidente Johnson era ansioso di utilizzare la tecnologia di influenza comportamentale della Simulmatics per sedare la minaccia interna della nazione, all’epoca quasi più grave delle minacce esterne. Con il pretesto di quello che alcuni chiamarono “studio mediatico”, la Simulmatics mise in piedi una squadra per una sorveglianza su larga scala nelle “aree colpite dalle rivolte” che catturò l’attenzione della nazione quell’estate del 1967. Tre squadre di tre componenti ciascuna si recarono nelle zone dove si erano verificati i disordini, identificando e intervistando alcuni cittadini afroamericani. Tali squadre chiesero ai residenti cosa pensavano della copertura dei mass media sulle loro proteste. Raccolsero anche dati, informazioni su come la gente si muoveva dentro e intorno alla città durante i disordini, con chi parlava prima e durante i disordini, e come si preparava per le conseguenze. Raccolsero dati sull’uso dei caselli, sulle vendite dei distributori di benzina e sulle linee di autobus. In pratica entrarono in queste comunità con la scusa della copertura dei mass media sulla vicenda e ne uscirono pieni di dati e informazioni preziose. In soldoni, Johnson mirava a tracciare il flusso di informazioni per identificare e “decapitare” i capi delle proteste. Alla fine degli anni Sessanta, questo tipo di informazioni contribuì a ledere pesantemente il sistema di equità e giustizia del sistema penale statunitense. In pratica, si gettarono in quegli anni le basi per la profilazione razziale e la sorveglianza mirata su base etnica.
Profilazione e sorveglianza che stanno emergendo in uno scenario già presente da diversi anni, caratterizzato dalla tecnologia del riconoscimento facciale. Tecnologia che vede da un lato il forte interesse delle forze di polizia USA per la prevenzione e il perseguimento dei reati; e dall’altro la crescente opposizione di coloro che maggiormente finanziano e sviluppano tale tecnologia, ossia le Big Tech.[1]
La posizione di IBM
La prima Big Tech a dire no al riconoscimento facciale è stata IBM. In soldoni, IBM non offrirà né svilupperà più il suo software di riconoscimento facciale. In una lettera al Congresso USA il CEO Arvind Krishna ha dichiarato che IBM si oppone fermamente all’uso di qualsiasi tecnologia di riconoscimento facciale, inclusa quella offerta da altri fornitori, per la sorveglianza di massa, la profilazione razziale, la violazione dei diritti umani e delle libertà fondamentali, o qualsiasi scopo che non sia coerente con i valori ed i principi di fiducia e trasparenza di IBM. Sempre Krishna ha dichiarato che è giunto il momento di avviare un dialogo nazionale negli Stati Uniti sull’opportunità e sul modo in cui la tecnologia di riconoscimento facciale dovrebbe essere impiegata dalle forze dell’ordine USA. Sollevando anche un problema connesso alla protezione dei dati personali.
Il software di riconoscimento facciale è migliorato notevolmente nell’ultimo decennio grazie ai progressi dell’Intelligenza Artificiale. Allo stesso tempo, la tecnologia – poiché spesso fornita da aziende private con poca regolamentazione o supervisione federale – ha dimostrato di soffrire di pregiudizi basati su età, genere ed etnia, che possono rendere gli strumenti da un lato inaffidabili per le forze dell’ordine e la sicurezza; dall’altro “maturi” per potenziali violazioni dei diritti civili.
IBM non è nuova a posizioni contrarie alle discriminazioni razziali in ambito tecnologico. Ad esempio l’azienda di Armonk nel 2018 cercò di risolvere la questione della discriminazione degli algoritmi di riconoscimento facciale rilasciando un dataset pubblico progettato per aiutare a ridurre il pregiudizio su base etnica, partendo dai training data ed arrivando allo sviluppo di un modello di riconoscimento facciale “neutro”. Nella sua lettera al Congresso, Krishna ha anche sostenuto ed auspicato una riforma della polizia statunitense, sostenendo che altri casi di cattiva condotta della polizia dovrebbero essere messi sotto la lente di ingrandimento dei tribunali USA e che il Congresso dovrebbe apportare modifiche alla legislazione del settore giudiziale e di polizia. Inoltre, Krishna ha affermato che è necessario creare percorsi più aperti ed equi per tutti gli americani, al fine di acquisire competenze facilmente spendibili.[2]
La posizione di Amazon
Dopo IBM, Amazon è intervenuta sulla tematica in esame vietando – per un anno – l’uso della sua tecnologia di riconoscimento facciale “Rekognition” da parte della polizia americana. Come esaminato precedentemente, le forze dell’ordine americane utilizzano – in maniera disomogenea – la tecnologia di riconoscimento facciale per identificare i sospetti, con delle criticità connesse anche ai limiti di tale strumento. Alcune città statunitensi – “capofila” San Francisco – ne vietarono l’uso da parte della polizia e da parte di agenzie governative già in tempi non sospetti. Non è chiaro se il ban di Amazon all’utilizzo di tale tecnologia includa anche le forze dell’ordine federali (FBI).
Sull’onda delle proteste del movimento “Black Lives Matter”, i gruppi statunitensi per i diritti civili e i dipendenti di Amazon hanno spinto l’azienda di Seattle a cessare la vendita della sua soluzione Rekognition alle agenzie governative USA, utilizzando come motivazione il suo possibile utilizzo come strumento “anti-privacy” nonché discriminatorio nei confronti di alcuni gruppi etnici americani. In un recente comunicato, Amazon ha dichiarato che sperava che il Congresso USA avrebbe messo in atto norme più severe per il riconoscimento facciale, cosa che non è avvenuta. Per Clare Garvie della University of Georgetown, la decisione di Amazon è un passo simbolico importante, che però non cambia il panorama del riconoscimento facciale negli Stati Uniti, in quanto Rekognition è utilizzato da due sole agenzie statunitensi: da un lato il dipartimento di polizia di Orlando (Florida) che lo ha testato, ma ha scelto di non implementarlo; e dall’altro l’ufficio dello sceriffo della contea di Washington in Oregon, il quale – dopo aver utilizzato e “sponsorizzato” Rekognition – ha dichiarato, successivamente alla presa di posizione di Amazon, di sospendere il suo utilizzo a tempo indeterminato.
Ma la posizione assunta da Amazon non è stata esente da critiche, connesse principalmente alle scelte “passate” dell’azienda di Jeff Bezos. Gli studi condotti mesi addietro dalla ricercatrice del MIT Joy Buolamwini rinvennero disparità razziali e di genere in diversi software di riconoscimento facciale. E se questi risultati spinsero Microsoft e IBM a migliorare i loro sistemi, Amazon contrattaccò i risultati dello studio e continuò a vendere tranquillamente il suo sistema Rekognition alla polizia americana. Uno studio condotto nel 2019 da un’agenzia statunitense confermò le preoccupazioni per i difetti di tale tecnologia. Il National Institute of Standards and Technology (NIST) testò i principali sistemi di riconoscimento facciale – tranne il sistema di Amazon, che non volle partecipare al test – scoprendo diverse falle nella sicurezza nonché la presenza di diversi pregiudizi razziali e di genere.
Amazon iniziò ad attirare l’attenzione dell’ACLU (American Civil Liberties Union) e delle associazioni a tutela della privacy dopo che introdusse Rekognition nel 2016, iniziando contestualmente a proporlo alle forze dell’ordine. Tuttavia le forze dell’ordine e le agenzie governative americane si affidavano e si affidano anche ad altre aziende, meno note, come la NEC di Tokyo, la Motorola Solutions di Chicago e le aziende europee Idemia, Gemalto e Cognitec.
Tuttavia, Amazon ha dichiarato che continuerà a fornire Rekognition alla polizia USA per risolvere i casi di bambini scomparsi o abusati.
Gli annunci di questa settimana di Amazon e IBM seguono la spinta dei rappresentanti democratici al Congresso USA per fa passare un ampio pacchetto di riforme della polizia che potrebbe includere restrizioni sull’uso del riconoscimento facciale, specialmente nelle body-cam in uso alle forze dell’ordine. Anche se non è di uso comune negli Stati Uniti, la possibilità che vi possano essere telecamere in grado di monitorare gruppi di persone e identificare ogni soggetto con precisione, ha attirato una preoccupazione bipartisan tra i politici statunitensi.
L’industria tecnologica ha sempre combattuto contro il divieto assoluto del riconoscimento facciale (Amazon in primis), ma alcune aziende hanno chiesto leggi federali più stringenti che potrebbero dare il via all’adozione di linee guida per un uso responsabile di tale tecnologia.[3]
La posizione di Microsoft
Ultima in “ordine di adesione”, Microsoft affianca IBM e Amazon nel divieto di utilizzo della tecnologia di riconoscimento facciale da parte delle forze dell’ordine statunitensi. A differenza di Amazon, che quantifica il divieto in un anno di tempo, Microsoft sancisce che il suo ban varrà almeno fino a quando non ci sarà una maggiore regolamentazione del settore negli Stati Uniti.
Durante un’intervista online al Washington Post, il presidente di Microsoft Brad Smith ha affermato di aver preso tale decisione come “una posizione di principio” sull’uso corretto di questa tecnologia. Principi che per Smith si concretizzeranno al momento che si avrà una legge federale, fondata sui diritti umani, che disciplini il riconoscimento facciale negli USA. Smith ha continuato dicendo che Microsoft metterà in atto altri “fattori di revisione” che regoleranno l’uso di questa tecnologia in “altri scenari”, non precludendo – quindi – alcuna applicazione in alcun settore. Com’è possibile intravedere, la posizione di Microsoft non è molto lontana da quella di Amazon, per quanto quest’ultima non abbia un “passato roseo” alle sue spalle con la tecnologia in esame.
Matt Cagle, avvocato dell’ACLU (American Civil Liberties Union), ha risposto alla notizia di Microsoft affermando che anche quando i “creatori” del riconoscimento facciale rifiutano di commercializzare questa tecnologia di sorveglianza perché ritenuta pericolosa, i legislatori non possono più negare le minacce ai diritti e alle libertà dei cittadini. Il Congresso USA e le singole legislature federali devono fermare rapidamente l’uso del riconoscimento facciale da parte delle forze dell’ordine, e aziende come Microsoft dovrebbero lavorare con la comunità dei diritti civili – non contro di essa – per far sì che ciò avvenga. Questo include l’arresto da parte di Microsoft dei suoi attuali sforzi per far progredire la legislazione che legittimerebbe ed espanderebbe l’uso del riconoscimento facciale da parte delle forze dell’ordine in diversi stati a livello nazionale. Sempre Cagle ha affermato che si può essere ben lieti che queste aziende si siano finalmente attivate, anche se tardivamente.
I ban delle big tech e il ruolo dell’intelligenza artificiale
Come abbiamo visto, con i divieti di IBM, Amazon e Microsoft all’utilizzo riconoscimento facciale da parte delle forze dell’ordine le lotte per la giustizia sociale si sono spostate sul settore tecnologico. Ma se da un lato questa mossa tende una mano ai diritti umani, spingendo per una legge federale che chissà se mai arriverà, dall’altra sembra insufficiente. Da una parte perché, nell’immediato, non si risolve nulla nel merito dato che la polizia continua a usare simili sistemi di altre aziende, come Clearview basato su database tratti dai social.
Dall’altra, a un livello più profondo, il ban delle big tech non basta perché il problema è politico-normativo e come tale va affrontato, a tutela dei diritti fondamentali; delle minoranze e non solo.
Le mosse delle Big Tech in fondo hanno il merito di mettere sotto il riflettore i rischi intrinseci dell’Intelligenza Artificiale, soprattutto quando si tratta di pregiudizi e della potenziale di invasione della privacy.
A causa dei progressi del Deep Learning e dei sistemi di Intelligenza Artificiale sempre più veloci nell’elaborazione di enormi quantità di dati, il riconoscimento facciale ha fatto notevoli passi avanti nell’ultimo decennio. Eppure c’è ancora molto da fare.
Secondo Ken Bodnar, consulente presso la Blockchain Associates University of Ottawa, la tecnologia del riconoscimento facciale è ottima, ma non molto robusta. Bodnar afferma che questo significa che la rete neurale è ben addestrata e capace di incredibili prodezze nel campo dell’identificazione della persona; tuttavia, se un piccolo parametro è spento o non adeguatamente funzionante l’identificazione avviene in modo errato. Nel campo del riconoscimento facciale i problemi di precisione possono non essere necessariamente un grosso problema (come nel caso del riconoscimento facciale utilizzato da un’APP per social media). Ma, naturalmente, si tratta di una questione diversa quando si tratta di decidere se qualcuno debba essere arrestato o meno.
Tuttavia – come accennato in precedenza – il riconoscimento facciale si è dimostrato ben poco efficace soprattutto con persone di etnia afroamericana. Come abbiamo appurato in precedenza, uno studio del MIT del 2019 scoprì che tutti gli strumenti di riconoscimento facciale avevano problemi importanti quando si trattava di identificare persone di colore. Mentre il già accennato NIST evidenziò che diversi software di riconoscimento facciale presentavano un alto numero di falsi positivi in presenza di cittadini afroamericani ed asiatici, cosa che non avveniva con soggetti di etnia caucasica. E l’identificazione erronea vuol dire solo una cosa: essere presi di mira in maniera ingiusta dalle forze di polizia e dalla giustizia. Una situazione che pur non essendo intenzionale può comportare gravi rischi per i diritti e le libertà dei cittadini.
Privacy by design per tutelarci dalle derive dell’AI
Ma, come nota Amnesty International in una presa di posizione di questi giorni, bias e lacune dell’AI non sono l’unico problema. Anche una AI perfetta nel riconoscere e profilare le minoranze può essere pericolosa se diventa strumento di sorveglianza di massa, per identificare ad esempio tutti quelli che partecipano a proteste contro Trump in base al loro volto o alla targa del loco veicolo (tecnologia quest’ultima di AI più semplice del riconoscimento facciale ma efficace). O, a Hong Kong, contro il regime cinese (motivo per cui gli attivisti lì stanno provando a disabilitare le videocamere anche spaventati dalle tecnologie di riconoscimento facciale presenti). Per questo motivo Amnesty International ha chiesto il divieto assoluto dell’uso della tecnologia di riconoscimento facciale da parte della polizia ai fini della sorveglianza di massa, da parte di qualsiasi azienda del settore.[4]
Per la prima volta nella storia l’apparato politico esecutivo ha nelle proprie mani una tecnologia, in grado di fare una sorveglianza di massa indiscriminata, grazie agli algoritmi di AI, all’aumento delle potenze di calcolo e di dati disponibili su di noi e i nostri rapporti. Prima la sorveglianza sarebbe stata possibile solo in modo più mirato. Le rivelazioni di Edward Snowden sulle intercettazioni di massa nel 2013 sono state il primo grande indizio che qualcosa era cambiato: che una nuova minaccia, permessa dal computing e dalla tecnologia, si profila ormai sui nostri diritti.
Senza privacy – ricordiamolo – è impossibile una qualsiasi forma di indipendenza di pensiero e azione.
Di fondo, il problema è che secondo la ricercatrice Kjell Carlsson di Forrester Research negli USA vi è una generale mancanza di comprensione della tecnologia tra la popolazione, con diverse situazioni “ostative” come nel caso del riconoscimento facciale, dell’analisi facciale, del riconoscimento di genere/età/appartenenza etnica, della convalida biometrica ecc. Secondo la Carlsson negli USA la popolazione non sa nemmeno a cosa rinuncia esattamente. Per esempio, il cittadino medio americano cosa sceglierebbe tra l’utilizzare il riconoscimento facciale per aiutare ad identificare delle vittime di rapimento in Nigeria e aiutare a diagnosticare delle rare malattie genetiche nei bambini con l’analisi facciale per la fenotipizzazione genetica? E cosa sceglierebbe tra l’aiutare a catturare gli attentatori della maratona di Boston e ridurre i falsi positivi nelle tecniche di riconoscimento facciale utilizzate dalla polizia americana?
Il problema della consapevolezza diffusa è riscontrabile anche da noi.
È interessante notare come la tecnologia di riconoscimento facciale continuerà probabilmente a vedere sempre più innovazione e sviluppo. Indipendentemente dai divieti e dagli interventi normativi. Quindi, semmai, quando si tratta di aziende come IBM, Microsoft e Amazon, è importante che si faccia qualcosa in più, piuttosto che porre divieti.
Come mettere al centro dell’innovazione sistema progettato sulla protezione dei dati (privacy-by-design), che consenta l’utilizzo di tecnologie “invadenti” nei soli momenti di bisogno e con una protezione consapevole degli utenti e dei loro dati sarebbe un buon punto di partenza.[5]
Proteste negli Usa, il duplice volto della tecnologia e il valore della privacy
________________________________________________________________________________________
- Of course technology perpetuates racism. It was designed that way. MIT Technology Review. https://www.technologyreview.com/2020/06/03/1002589/technology-perpetuates-racism-by-design-simulmatics-charlton-mcilwain/ ↑
- IBM will no longer offer, develop, or research facial recognition technology. The Verge. https://www.theverge.com/2020/6/8/21284683/ibm-no-longer-general-purpose-facial-recognition-analysis-software ↑
- Amazon Bans Police Use of its Face Recognition for a Year. Voice of America. https://www.voanews.com/usa/nation-turmoil-george-floyd-protests/amazon-bans-police-use-its-face-recognition-year ↑
- Microsoft’s Brad Smith says company will not sell facial recognition tech to police. Tech Crunch. https://techcrunch.com/2020/06/11/microsofts-brad-smith-says-company-will-not-sell-facial-recognition-tech-to-police/ ↑
- Facial Recognition Bans: What Do They Mean For AI (Artificial Intelligence)? Forbes. https://www.forbes.com/sites/tomtaulli/2020/06/13/facial-recognition-bans-what-do-they-mean-for-ai-artificial-intelligence/#26386e4146ee ↑
