Riconoscimento automatico del volto: i rischi della tecnologia

I sistemi di riconoscimento facciale con intelligenza artificiale sono fallaci, soprattutto a danno delle minoranze etniche. Da ultimi, a ribadire questa tesi, un gruppo di ricercatori di Facebook, Google, Microsoft e le principali università americane in una lettera aperta pubblicata la scorsa settimana, per chiedere ad Amazon di smettere di vendere la propria tecnologia di facial recognition alla polizia.

Questa posizione potrebbe sorprendere. I progressi ottenuti nel campo delle tecnologie per il riconoscimento, il rilevamento e l’analisi dei volti inducono molti a credere che un sistema di intelligenza artificiale ben addestrato sia in grado di identificare o categorizzare correttamente e in maniera imparziale qualsiasi immagine di un volto, molto più di quanto potrebbe fare un essere umano (soggetto a errori o stanchezza).

La realtà ci dice però che non è così: molte sono le debolezze di questi sistemi e, di conseguenza, i rischi per le persone. 

Il tema è di attualità anche in Italia, dove la Polizia di Stato ha attivato il sistema SARI (Sistema Automatico per il Riconoscimento delle Immagini) basato proprio su questo tipo di tecnologie, e che ha già generato alcune polemiche relative all’ampiezza del database dei volti, pari a 16 milioni di persone, che ha fatto temere una massiccia schedatura della popolazione^[12].

Notizia di qualche giorno fa, invece l’aeroporto di Atene è diventato il primo in Europa a provare il riconoscimento del volto per la carta d’imbarco al check in e al gate (con la tecnologia Smart Patch di Sita).

Ma come nasce il bias in questi sistemi, e soprattutto, ci sono modi per ridurlo o eliminarlo? Proviamo a capirne di più, partendo da un assunto: negli ultimi anni le tecnologie per il riconoscimento, il rilevamento e l’analisi dei volti, basata su sistemi di intelligenza artificiale di tipo “deep learning”, ha fatto enormi passi in avanti fino a diventare un prodotto commerciale o comunque di ampio utilizzo. E questi sistemi sono molto più diffusi di quanto immaginiamo.

Sistemi di uso comune per il riconoscimento, il rilevamento e l’analisi dei volti

Alcuni esempi familiari di sistemi o servizi che utilizzano il riconoscimento dei volti sono i suggerimenti per il foto-tagging Facebook e di iOS, così come il sistema di riconoscimento biometrico introdotto sempre da Apple con l’iPhone X: tecnologie che permettono di identificare individui specifici a partire dal loro viso.

I sistemi di rilevazione determinano invece se un volto umano è presente in un’immagine, una tecnologia molto diffusa anche sulle macchine fotografiche digitali, oltre che sugli smartphone.

I sistemi di analisi infine, cercano di identificare aspetti come il sesso e la razza, lo stress o lo stato emotivo, sempre partendo dai tratti del volto. Queste tecnologie sono già ora utilizzate per una varietà di scopi: ricerca del personale^[1], sicurezza fisica^[2], videosorveglianza^[3], mentre sempre nuovi campi di applicazione vengono proposti.

Molte spesso si ritiene che tali sistemi siano accurati e imparziali, a differenza della fallibilità dell’essere umano: il personale di sicurezza dell’aeroporto può stancarsi e la polizia può giudicare male i sospetti, mentre un sistema di intelligenza artificiale ben addestrato dovrebbe essere in grado di identificare o categorizzare in modo coerente qualsiasi immagine di un volto.

Debolezze e rischi dei sistemi di riconoscimento

In realtà le ricerche hanno ripetutamente dimostrato che questi sistemi presentano diverse debolezze, in particolare, da un lato sono suscettibili ad attacchi che ne alterano la capacità di riconoscere correttamente i volti^[4].

Dall’altro, studi recenti su sistemi commerciali per il riconoscimento dei volti hanno mostrato che i sistemi di riconoscimento del genere venduti da IBM, Microsoft e Face ++ avevano un tasso di errore superiore di 34 punti percentuali tra il tasso di riconoscimento corretto per le donne dalla pelle scura rispetto a quello dei maschi dalla pelle chiara^[5].

Un risultato analogo è stato dimostrato sui sistemi di riconoscimento di Amazon nella capacità di riconoscimento dei membri bianchi e di colore del Congresso degli Stati Uniti^[6]: i ricercatori dell’American Civil Liberties Union (ACLU) hanno addestrato il sistema Rekognition di Amazon utilizzando un database pubblico con 25.000 foto di persone arrestate.

L’efficacia del riconoscimento è stata poi testata mostrando, appunto, i volti dei membri del Congresso, col risultato che nonostante i membri di colore del congresso siano solo il 20% del totale, questi generavano il 40% di falsi positivi. Amazon in seguito ha commentato i risultati definendoli fuorvianti, contestando in particolare l’uso, da parte dei ricercatori, di una release precedente del tool Rekognition^[7], e affermando che con la nuova release l’accuratezza è la stessa sia per gli uomini che per le donne appartenenti a numerosi gruppi etnici.

I risultati rilevati sono particolarmente preoccupanti, quando si pensi che queste piattaforme sono offerte, e in qualche caso già in uso, presso polizie e dogane, in America e nel mondo. Si immagini i rischi che un cittadino potrebbe correre se, nel corso di un normale controllo di polizia, un sistema di riconoscimento automatico lo identificasse, erroneamente, per un sospetto armato e pericoloso. Una simile eventualità è un chiaro pericolo per i cittadini, in quanto potrebbe condurre ad un arresto o anche ad un incidente più grave. Gli studi hanno evidenziato, inoltre, che tale rischio verrebbe corso in maniera molto più elevata da membri delle minoranze e dalle donne.

Motivi per cui Google si sta rifiutando di vendere la propria tecnologia, temendo abusi, e Microsoft ha di recente invocato un intervento regolatorio dal governo USA.

Bias nei sistemi di Intelligenza artificiale

Il bias^[8] nei sistemi di machine learning, noto anche come bias induttivo dell’algoritmo, indica la produzione di risultati con errori sistematici dovuti, ad esempio, alla presenza di ipotesi erronee nel processo di apprendimento automatico. Questo problema non si presenta solo nel riconoscimento facciale, ma praticamente in ogni sistema che utilizza informazioni sulle persone (biometriche, comportamentali, creditizie ecc.).

Ma quali sono le cause che introducono il bias in un sistema di intelligenza artificiale?

Spesso la presenza di bias nell’IA è associata ad una scarsa qualità dei dati di training, che al loro interno contengono già qualche tipo di polarizzazione. Anche se questa rientra tra le possibili cause, la realtà però è più sfumata: la polarizzazione dei risultati può presentarsi anche prima che i dati vengano raccolti, oppure essere presente in altre fasi del processo di Deep-Learning. In generale possiamo individuare tre fasi chiave che possono dar luogo al fenomeno della polarizzazione dei risultati.

Fase della definizione del problema

Il primo compito da affrontare quando si crea un modello di Deep-Learning è decidere qual è l’obiettivo che si vuole ottenere col sistema. Un gestore di carte di credito, ad esempio, potrebbe voler predire la solvibilità di un cliente, ma la “Solvibilità” è un concetto piuttosto nebuloso. Al fine di tradurlo in qualcosa di calcolabile, il gestore deve decidere se vuole, ad esempio, massimizzare i suoi margini di profitto o massimizzare il numero di prestiti che vengono rimborsati. Potrebbe quindi definire la solvibilità nel contesto di tale obiettivo. Il problema è che tali decisioni sono prese per vari motivi commerciali diversi dall’equità o dalla discriminazione. Se l’algoritmo associa i prestiti subprime alla massimizzazione del profitto, finirebbe per impegnarsi in comportamenti predatori, anche se non era l’intenzione della società.

Fase di raccolta dei dati

Esistono due modi principali in cui il bias può apparire nei dati di training: in un caso i dati raccolti non sono rappresentativi della realtà, nell’altro essi riflettono i pregiudizi esistenti.

Il primo caso potrebbe verificarsi, ad esempio, se un algoritmo di Deep-Learning venisse alimentato più foto di volti dalla pelle chiara rispetto a quelli dalla pelle scura. Il sistema di riconoscimento facciale risultante sarebbe inevitabilmente meno efficace nel riconoscere le persone dalla pelle scura.

Il secondo caso si presenta qualora i dati utilizzati per addestrare l’algoritmo siano presi da una serie storica provenienti da ambienti polarizzati: ad esempio le informazioni sull’incidenza della criminalità potrebbero mostrare una maggiore frequenza di crimini nei quartieri degradati, dove c’è maggiore presenza di polizia e quindi un maggior numero di segnalazioni, rispetto a quartieri che appaiono più tranquilli anche perché meno presidiati.

In questo caso il sistema non farebbe che perpetuare questa polarizzazione, in un ciclo che si autoalimenta. Un caso simile si è verificato ad esempio in Amazon, dove lo strumento di reclutamento interno scartava con maggiore frequenza le candidate, perché era stato addestrato partendo dallo storico delle decisioni di assunzione, che aveva favorito i candidati uomini rispetto a alle donne^[9].

Preparazione dei dati

Infine, è possibile che i pregiudizi vengano introdotti durante la fase di preparazione dei dati, con la selezione degli attributi che si desidera far valutare all’algoritmo. (Questo non deve essere confuso con la fase di definizione del problema. È possibile utilizzare gli stessi attributi per addestrare un modello a raggiungere obiettivi diversi, oppure utilizzare attributi diversi per addestrare un modello al raggiungimento dello stesso obiettivo.) Nel caso dei modelli di solvibilità, un “attributo” potrebbe essere l’età, il reddito o il numero di prestiti versati dal cliente. Nel caso dello strumento di reclutamento di Amazon, un “attributo” potrebbe essere il sesso del candidato, il livello di istruzione o gli anni di esperienza. La scelta di quali attributi considerare o ignorare può influenzare significativamente la capacità di previsione del modello. Ma mentre l’impatto sulla precisione delle previsioni è facile da misurare, quello sulla polarizzazione (o correttezza) non lo è altrettanto.

Correttezza e precisione non sono necessariamente la stessa cosa come il caso delle assunzioni di Amazon ha mostrato. L’algoritmo infatti prevedeva con precisione che un candidato uomo avrebbe avuto più probabilità di essere assunto, ma questo solo perché i dati storici, polarizzati da un pregiudizio maschilista, mostravano in effetti questa tendenza, puntualmente replicata dall’algoritmo.

Le grandi aziende tecnologiche e la comunità informatica tendono a definire l’”equità” in un modo depoliticizzato, prettamente tecnico e che coinvolge solo la matematica e il programma, col rischio di rafforzare così una logica circolare. Se l’intelligenza artificiale è addestrata con dati che sono il risultato di pratiche, o tendenze, discriminatorie, come ad esempio le percentuali di assunzione in base al sesso, o i tassi di recidiva criminale associati alla nazione di provenienza, i risultati che si otterranno rischiano di perpetuare questi stessi stereotipi, confermandoli. E dunque necessario dotarsi di politiche che rendano le aziende consapevoli delle responsabilità pubblica di lungo termine circa gli effetti di valutazioni o decisioni effettuate con sistemi automatici.

Come ridurre il bias nel riconoscimento dei volti

I risultati delle ricerche hanno spinto molti ricercatori ad analizzare approfonditamente il problema per proporre una soluzione in grado di eliminare, o in alternativa ridurre significativamente questo fenomeno.

Il laboratorio Computer Science e Artificial Intelligence Laboratory (CSAIL) del MIT, ad esempio, ha rilasciato un articolo^[10] per dimostrare l’efficacia di un algoritmo pensato per mitigare il bias in un sistema di rilevamento del volto anche se i dati di addestramento sono disomogenei.

Durante la fase di training, l’algoritmo identifica quali esempi nei dati sono sottorappresentati e li ripropone più volte al fine di aumentare l’efficienza del training e ridurre l’errore di rilevamento. L’algoritmo, testato con gli stessi dati dell’articolo di Buolamwini⁵, ha mostrato la capacità di ridurre il gap presente nel rilevamento di volti caucasici e neri, seppur senza essere in grado di eliminarlo del tutto.

Regolamentare l’uso di software per il riconoscimento facciale

Il problema resta quindi aperto, per questo motivo si sono levate da più parti richieste di regolamentare o limitare l’uso di software per il riconoscimento facciale, richiedendo una revisione periodica ed indipendente delle reali capacità e proibendone l’uso in contesti nei quali questa tecnologia possa essere usata per fini discriminatori. Tra questi citiamo il gruppo di attivisti AI Now, Microsoft e la stessa Amazon, che ha proposto 6 regole per l’utilizzo “etico” di questi tool^[11].

Come spesso accade in questo periodo di grande accelerazione scientifica, i cambiamenti tecnologici dispiegano i propri effetti sulla società senza che ci sia stata un’adeguata discussione, e ancor meno una regolamentazione chiara che possa bilanciare i diritti dei cittadini con le esigenze di sicurezza. E’ opportuno infatti che l’impiego di queste tecnologie sia non solo regolamentato, ma anche sottoposto ad una revisione periodica sugli usi e sull’efficienza del sistema, per prevenire errori che possano comportare effetti discriminatori.

_______________________________________________________________

1. “Why Facial Recognition is a Game Changer for Hiring” in HR Technologist, Agosto 2018. ↑
2. A solo titolo di esempio: “Facial recognition technology a game changer for safety and personalisation”, in Australian Flee Management Association – AfMA, Luglio 2018 ↑
3. Gli esempi di prodotti sul mercato, anche per un uso domestico, sono già numerosissimi. Per un’analisi più approfondita della tecnologia, si veda M. Vitiello, “Riconoscimento facciale a scopi di sicurezza, così è usato dalla polizia e le polemiche”, su Agenda Digitale, Luglio 2018 ↑
4. Si Veda D. Benedetti etc etc ↑
5. J. Buolamwini, T. Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, Proceedings of Machine Learning Research 81:1–15, 2018 ↑
6. J. Snow, “Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots”, Luglio 2018, ACLU blog www.aclu.org ↑
7. “Thoughts on Recent Research Paper and Associated Article on Amazon Rekognition” reperibile sul Blog “Machine-learning” di Amazon ↑
8. Il termine corretto in italiano potrebbe essere pregiudizio, o polarizzazione. Nell’articolo si utilizzerà però il termine inglese per via della sua prevalenza in letteratura. ↑
9. “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, Ottobre 2018 ↑
10. A. Amini, A. Soleimany, W. Schwarting, S. Bhatia, D. Rus, “Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure”, AIES Conference, 2019 ↑
11. “loAmazon joins Microsoft’s call for rules on facial recognition”, su Wired.com, Febbraio 2019 ↑
12. “Riconoscimento facciale in tempo reale: quello che vediamo nei film è realtà, 16 milioni di volti schedati”, settembre 2018, reperibile su www.penitenziaria.it. ↑