Mentre l’Unione europea si prepara per una regolamentazione complessiva delle tecnologie di riconoscimento facciale e diverse importanti città Usa – San Francisco, Oakland, Somerville (Massachusetts) – si schierano a favore del divieto del loro utilizzo, fa discutere la scelta di alcune scuole, negli Usa soprattutto ma non solo, di utilizzare sistemi di facial recognition per la sicurezza degli alunni.
Il riconoscimento facciale a scuola negli Stati Uniti
Ultima in ordine di tempo, la Lockport High School a New York – otto istituti scolastici, frequentati da circa 4500 studenti – ha annunciato di voler usare le telecamere CCTV già presenti unitamente alla suite software Aegis creata da SN Technologies, con sede in Canada.
Stando alla policy dell’Istituto scolastico, “le telecamere di sicurezza sono collocate solo in aree pubbliche o comuni, come ingressi di edifici, vano scale, corridoi, mense, parcheggi, auditorium, palestre o campi da gioco e non in aree private come spogliatoi, bagni o altre aree simili in cui il Distretto riconosce che le persone hanno una ragionevole aspettativa di privacy o aule”.
Un sistema, quindi, altamente invasivo poiché non limitato all’ingresso dell’istituto, ma, classi escluse, attivo in tutto l’edificio ed in grado di “riconoscere i volti degli individui a cui è proibito l’accesso alle scuole di Lockport, i molestatori sessuali, gli studenti sospesi, i membri dello staff e chiunque sia ritenuto pericoloso, così da allertare le autorità se scoperti all’interno delle strutture scolastiche. Il sistema è anche in grado di riconoscere le armi”.
Il sistema della Lockport High School è finanziato per 1,4 milioni di dollari dei 4,2 milioni, assegnati tramite lo Smart Schools Bond Act di New York, un programma approvato nel 2014 che ha lo scopo di aiutare i distretti scolastici ad aggiornare le tecnologie e le infrastrutture dell’istruzione in modo da migliorare l’apprendimento e le opportunità per gli studenti.
Tra queste, il distretto scolastico Depew Union, 1.800 studenti, situato in un sobborgo esterno di Buffalo, è in attesa di approvazione per spendere i 188.000 dollari dei fondi Smart Schools per l’acquisto e l’implementazione di Aegis. E anche il Magnolia School District in Arkansas ha annunciato l’intenzione di attivare un sistema di riconoscimento facciale. Nei campi estivi, i ragazzi americani vengono già continuamente identificati e valutati dai genitori tramite app come Bunk1.
Curioso come, a valle della fornitura tecnologica al plesso scolastico di Lockport, si sia parimenti instaurato un contenzioso circa la titolarità del software di riconoscimento facciale coinvolto che vede contrapporsi BrainChip Holdings Ltd. e SN Technologies.
Anche alcune scuole australiane usano la tecnologia di riconoscimento facciale.
In Cina
In Cina sono già più avanti – per così dire. Il riconoscimento facciale “Aegis” si è esteso fino in classe dove contribuisce addirittura ad analizzare l’attenzione degli studenti durante le lezioni.
Riporta il Telegraph: “Ogni movimento degli studenti del Liceo Numero 11 di Hangzhou nella Cina orientale è osservato da tre videocamere posizionate sopra la lavagna”. Il “sistema di gestione intelligente del comportamento in classe”, o “occhio intelligente”, prosegue l’articolo, “è stato sperimentato prima in una classe, e poi in tutto l’istituto. Il software mira a identificare le emozioni espresse dai volti dei ragazzi, darle in pasto a un computer e poi fargli giudicare se sono concentrati sulla lezione in corso oppure se le loro menti vagano altrove.”
In Europa
la Francia, dove “Nizza è una di quelle città in cui i leader politici hanno costruito la propria carriera incarnando la sicurezza, sviluppando la polizia cittadina e la videosorveglianza”, come ha affermato Laurent Mucchielli, sociologo e direttore della ricerca presso il Centro nazionale francese di ricerca scientifica (CNRS) – sta percorrendo a grandi passi la via del riconoscimento facciale nelle scuole. Il Liceo Les Eucalyptus di Nizza, malgrado il parere della CNIL, sembra ancora intenzionato a testare il riconoscimento facciale ed è della stessa idea anche l’Istituto Ampère di Marsiglia: l’ingresso a scuola avverrebbe attraverso il riconoscimento biometrico previo consenso degli studenti, e la tecnologia verrebbe dal colosso statunitense Cisco.
La Svezia, è noto, ha tentato di introdurre il riconoscimento facciale a scuola ma è stata interrotta dall’Autorità della protezione dei dati personali che ha riscontrato gravi carenze di legittimità e sicurezza. La scuola di Skellefteå sosteneva di poter legittimamente elaborare i dati biometrici avendo il consenso degli studenti. Di contrario avviso l’European Data Protection Board (EDPB) per il quale tale consenso “non può considerarsi base giuridica valida dato il chiaro squilibrio tra l’interessato e il responsabile del trattamento”.
Riconoscimento facciale in Italia a scuola
In Italia, a Pordenone, presso il Liceo scientifico “Grigoletti” sembrerebbe in funzione da tempo un meccanismo di riconoscimento facciale degli studenti, realizzato dall’azienda Spaggiari di Parma: “Saremo i primi a fare questo tipo di verifiche, distribuendo 1.500 badge “intelligenti” ai nostri liceali. Le due torrette rilevatrici hanno un raggio d’azione a 20 metri. Saranno posizionate agli ingressi. Verrà inserita nella banca dati remota la foto di ogni studente dotato di badge. Non si dovrà nemmeno strisciare il tesserino. Avremo più sicurezza e servirà meno tempo per registrare in automatico presenze e assenze”. Così riferiva Walter Manzon, dirigente dell’istituto superiore guidato da Ornella Varin come riportato dal Messaggero Veneto.
Come funziona il sistema di riconoscimento facciale Aegis a Lockport
Vedendo più in dettaglio, la tecnologia trasforma le telecamere di sicurezza esistenti in monitor “intelligenti” antintrusione e di rilevamento delle armi, consentendo risposte in tempo reale.
Il sistema di riconoscimento facciale, quindi, sfruttando le 417 telecamere già disposte nei dieci edifici scolastici e i server esistenti (il sistema non richiede alcun investimento iniziale in hardware o operazioni aggiuntive), si coordina con un database di immagini di persone segnalate, predefinito dall’Istituto, chiamato Hot List. In caso di corrispondenza, il software invia un avviso al personale distrettuale autorizzato comunicando il rilevamento della presenza di una persona segnalata o di armi.
“Aegis è un sistema di allerta precoce che informa il personale delle minacce, incluse pistole o individui che sono stati identificati come non consentiti nei nostri edifici”, si legge nelle FAQ distribuite ai genitori della scuola, ottenute da BuzzFeed News.
Tecnicamente il riconoscimento del volto o degli oggetti avviene servendosi di codici numerici chiamati “faceprints” che identificano un determinato numero di punti chiave o “nodali” su un volto umano o su un’immagine catturandoli a sua volta da un’immagine o da un video.
Tali punti chiave o nodali, nel riconoscimento facciale, vengono quindi utilizzati per misurare le variabili del volto di una persona, come la lunghezza o la larghezza del naso, la profondità degli occhi e la forma degli zigomi. I dati risultanti vengono memorizzati come una impronta facciale e l’impronta facciale così ottenuta viene utilizzata come base per il confronto con i dati acquisiti da un’immagine presa in tempo reale.
L’intervento umano è infine coinvolto nella ratifica delle corrispondenze risultanti: in pratica uno dei soggetti autorizzati può confermare o rifiutare la determinanza algoritmica del software. Se l’associazione viene confermata, un altro avviso viene inviato a specifici amministratori di distretto che decidono quale azione intraprendere.
L’accesso ai sistemi hardware pare sia presidiato da specifiche misure tecniche tra cui la crittografia dei dati ed anche organizzative: solo particolari figure appositamente incaricate avrebbero accesso ai dati del sistema e alle collocazioni fisiche dei dispositivi hardware. Nessuno dispone dell’autorità di aggiungere o rimuovere le immagini dal database senza una specifica autorizzazione del Sovrintendente delle scuole. I dati, si legge, saranno conservati per almeno 60 giorni salvo particolari deroghe esplicitamente indicate nella policy.
La diffusione della cultura della sorveglianza negli ambienti dell’istruzione
Entro il 2021 saranno in funzione, in tutto il mondo, un miliardo di telecamere di sorveglianza. In crescita di quasi il 30 percento rispetto ai 770 milioni di oggi, secondo una previsione IHS Markit riportata dal Wall Street Journal.
Immagine tratta dal report Comparitech
L’incremento della sorveglianza in tempo reale è senza dubbio guidato dalle preoccupazioni per la sicurezza pubblica come anche dagli sviluppi legati ai progetti di città intelligenti, ma anche dalle innovazioni tecnologiche a cominciare da quelle legate al riconoscimento facciale: una tecnologia potente e pervasiva che sta suscitando notevole entusiasmo e aspettative.
Tuttavia, questa rapida permeazione dell’IA nella società non è ancora oggi accompagnata da un’indagine approfondita delle questioni sociopolitiche ad essa correlate e che rischiano di danneggiare gli individui piuttosto che avvantaggiarli.
Il settore dell’istruzione è uno dei contesti in cui questa tecnologia sta iniziando a essere adottata ed implementata.
Ciò è indubbiamente favorito dalla crescente normalizzazione della sorveglianza in nome della protezione e della sicurezza dei giovani: non stupisce che proprio negli Stati Uniti, gli episodi di sparatorie nelle scuole abbiano spinto le autorità scolastiche a spendere annualmente diversi miliardi di dollari in prodotti e servizi di sicurezza nel campus. Oltre ad Aegis, il sistema di riconoscimento facciale SAFR per le scuole K-12 (dalla prima elementare all’ultimo anno delle superiori) negli Stati Uniti e in Canada ne è un chiaro esempio.
E dall’esigenza di sicurezza e monitoraggio delle presenze, attraverso un processo di automazione “a cascata”, alle applicazioni in contesti di autenticazione, “apprendimento virtuale” e rilevamento delle emozioni o “indicatore del coinvolgimento”, il passo è veramente breve.
Diverse pubblicazioni tra cui quelle The Washington Post e Slate menzionano le scuole Lockport in associazione con termini come “teatro della sicurezza” e “zone di sorveglianza“. Anche due giornali locali – il Lockport Union-Sun & Journal e The Buffalo News – hanno pubblicato editoriali piuttosto critici.
Mentre i membri del consiglio educativo di Lockport, si ostinano a ribadire che il progetto rappresenta solo un’estensione dei continui sforzi per rendere le scuole più sicure.
“Abbiamo lavorato molto per rendere sicuri gli ingressi e utilizzare i badge”, ha dichiarato il membro del consiglio Edward Sandell. Sempre il Washington Post, riporta che nelle 221 sparatorie avvenute nelle scuole dal 1999, la maggior parte degli autori erano studenti iscritti.
Le reazioni ostili al progetto di riconoscimento facciale a Lockport
Nel suo articolo pubblicato sul NYT “Facial Recognition Moves Into a New Front: Schools”, Davey Alba, una reporter che si occupa di tecnologia scrive: “Jim Shultz ha fatto di tutto per impedire alla tecnologia di riconoscimento facciale di entrare nelle scuole pubbliche di Lockport, una piccola città a 20 miglia a est delle Cascate del Niagara. Ha pubblicato sul problema in un gruppo di Facebook chiamato Lockportians. Ha scritto un Op-Ed sul New York Times. Ha presentato una petizione al sovrintendente del distretto, dove sua figlia è al liceo. Ma poche settimane fa, ha perso. Il distretto scolastico della città di Lockport ha attivato la tecnologia per monitorare chi è nella proprietà nelle sue otto scuole, diventando il primo distretto scolastico pubblico a New York a adottare il riconoscimento facciale e uno dei primi nella nazione.
“Il distretto – ha affermato Shultz – ha trasformato i nostri bambini in topi da laboratorio in un esperimento ad alta tecnologia nell’invasione della privacy”.
Jim Shultz, fondatore e direttore esecutivo del Democracy Center e la New York Civil Liberties Union, sono tra i più attivi promotori della consapevolezza circa la crescente evidenza di pregiudizi razziali nei sistemi di riconoscimento facciale e dei conseguenti rischi in termini di sicurezza e rispetto dei diritti fondamentali.
Stefanie Coyle, vicedirettore dell’Education Policy Center per la New York Civil Liberties Union, ha inviato una lettera al New York State Education Department’s chiedendo spiegazioni in merito all’avvio del progetto scolastico denunciando a chiare lettere come “reminding people of their greatest fears is a disappointing tactic, meant to distract from the fact that this product is discriminatory, unethical and not secure.”
Così scrived Stefanie Coyle:
“È preoccupante il fatto che il distretto scolastico di Lockport insista nel proseguire con l’implementazione di un’intrusiva tecnologia di riconoscimento facciale che spesso fa errori nell’identificare persone di colore, donne e giovani. L’indicazione del distretto che intende utilizzare questa tecnologia su studenti sospesi rivela che gli importa poco della privacy e delle libertà civili dei suoi studenti. Gli studenti di colore, che hanno maggiori probabilità di ricevere una sospensione, sopporteranno il peso di questa tecnologia e potrebbero finire per essere sottoposti a un esame ancora più approfondito. Il legislatore sarebbe saggio ad approvare la legge sulla moratoria nella prossima sessione per garantire che più distretti in tutto lo stato non seguano le orme di Lockport”.
E dunque, in molti si chiedono, tutto ciò contribuirà ad aumentare la sicurezza degli Istituti Scolastici?
Robert LiPuma, direttore della tecnologia del distretto scolastico di Lockport City School, ne è convinto e anzi non ha mancato di ricordare che se la tecnologia fosse stata in atto alla Marjory Stoneman Douglas High School di Parkland, in Florida, l’attacco mortale del 2018 non sarebbe mai potuto accadere.
Di fatto, la prospettiva del riconoscimento facciale nelle scuole segna per ora una alea di approvazione sociale ampia rispetto a quella delle contestazioni (più blande se paragonate con quelle riconducibili ad altre aree della società). E ciò contribuisce a rendere il settore dell’istruzione un “contesto relativamente favorevole” per l’introduzione delle tecnologie di riconoscimento facciale in chiave di consolidamento della cultura di sorveglianza e monitoraggio scolastico a fini di sicurezza e pedagogici.
Il disegno di legge Usa per mettere in stand-by il riconoscimento facciale nelle scuole
Le speranze degli oppositori sono ad oggi riposte nel disegno di legge nel frattempo presentato da Monica Wallace, membro eletto nel 2016, che se approvato, potrebbe costringerebbe Lockport e gli altri Istituti scolastici nelle stesse condizioni ad interrompere l’uso del riconoscimento facciale per almeno un anno.
La proposta, che ha superato in modo schiacciante il voto in Assemblea, non è stata ancora votata al Senato.
“Il riconoscimento facciale è una tecnologia nuova e non testata, soprattutto nelle scuole”, ha affermato Wallace. “Ci sono domande reali sulla sua affidabilità e sulla capacità di una scuola di proteggere i dati biometrici sensibili degli studenti. Prima di andare avanti con l’implementazione, credo sia prudente che il Dipartimento della Pubblica Istruzione studi la questione e proponga regolamenti. Questo disegno di legge ci chiede semplicemente di dare un’occhiata più da vicino a questa tecnologia prima di andare avanti.”
Negli Stati Uniti, i dati biometrici degli studenti sono disciplinati specificatamente nel Family Educational Rights and Privacy Act (FERPA), tuttavia qualora il sistema di sorveglianza fosse controllato direttamente dalle Forze dell’Ordine e non dalla scuola, FERPA non si applicherebbe.
Impatti e rischi del riconoscimento facciale
In primis, vi sono i rischi legati alle implicazioni dell’uso delle tecnologie di riconoscimento facciale sulla tutela dei diritti fondamentali, tra cui il diritto fondamentale alla protezione dei propri dati personali.
A differenza di qualsiasi altro dato personale, i dati biometrici coinvolti nelle applicazioni di riconoscimento facciale ci appartengono “immutabilmente”. Va da sé che qualsiasi uso o abuso degli stessi non sarà mai innocuo, producendo effetti giuridici di varia natura e comportando allo stesso tempo rischi sostanziali.
È evidente, pertanto, che la domandala sicurezza dei dati biometrici debba essere considerata essenziale ed una priorità urgente nella concezione di qualsiasi progetto di questa natura.
Non è una novità che l’Unione Europea si stia preparando, all’interno di un più vasto programma di governance del digitale, per una regolamentazione complessiva delle tecnologie di riconoscimento facciale. Lo farà partendo dalla corretta interpretazione ed integrazione dei quadri regolatori in essere, GDPR in primis. Si dovrebbe arrivare a breve alla pubblicazione di un Libro Bianco.
E anche il Congresso americano sta tenendo audizioni sulla regolamentazione della tecnologia.
Per quanto riguarda l’utilizzazione dei dati biometrici nell’ambito del GDPR, è noto che essi sono ricompresi nell’art. 9, comma 4, del Regolamento, il quale prevede che per i trattamenti relativi ai dati biometrici e genetici sia sempre necessario il consenso, salvo che la legge nazionale, per motivi di rilevante interesse pubblico, sanitari o di ricerca scientifica, storica, archivistica o statistica, non disponga altrimenti.
Ma il consenso è una base di legittimità delicata: può essere revocato in qualsiasi momento ed è appropriato solo in circostanze limitate. Corrispondenza one to one, one to many, non cambia il fatto che, a differenza di altri dati soggetti a trattamento biometrico, i dati di riconoscimento del volto sono potenzialmente disponibili ovunque e “senza contatto” o conoscenza.
La trasparenza, certo, dovrebbe essere la pietra angolare che governa l’uso di tali tecnologie; ma non sarà, tuttavia, la panacea di un problema che è estremamente complesso. Se una da parte la trasparenza serve a raggiungere la corretta definizione delle responsabilità legate alle singole applicazioni di AI, d’altra il funzionamento specifico delle tecnologie sfida la possibilità di credere che le spiegazioni semplici siano perseguibili o solo divulgabili (anche per ragioni di segretezza industriale).
Non ultimo, il campo dell’inferenza automatizzata rimane ancora oggi un vero e proprio terreno di elezione di autoproduzione di dati privo però di adeguata regolamentazione.
I bias degli algoritmi
La fallacia degli algoritmi, il “machine bias” è un’area critica strettamente connessa alla necessaria analisi critica rivolta ai sistemi di apprendimento automatico.
Studi importanti negli ultimi cinque anni, tra cui quelli National Institute of Standards and Technology, il laboratorio federale noto come NIST che sviluppa standard per le nuove tecnologie, hanno dimostrato e confermato che la maggior parte dei sistemi commerciali di riconoscimento facciale presenti, ancora oggi, parzialità, identificando erroneamente i volti afroamericani e asiatici da 10 a 100 volte più dei volti caucasici. E altri recenti studi hanno riscontrato un tasso più elevato di corrispondenze errate tra i soggetti in giovane età.
a) Margine di errore in base all’età
Fonte Immagine: Ongoing Face Recognition Vendor Test (FRVT) Part 2: Identification di Patrick Grother e Mei Ngan Kayee Hanaoka
b) Margine di errore in base al colore della pelle
Fonte Immagine: Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification di Joy Buolamwini e Timnit Gebru
Dunque, il pregiudizio algoritmico persiste. E l’identità errata è più che un inconveniente; può portare a gravi conseguenze.
E’ esemplare in tal senso Lo studio Gender Shades di Joy Buolamwini e Timnit Gebru: ovvero come i sistemi di IA commerciali delle principali società tecnologiche “discriminano” in modo significativo le donne e gli individui dalla pelle scura, è estremamente interessante e chiaro nella sua accuratezza espositiva.
La ricercatrice Joy Buolamwini ha deciso di avviare l’indagine sistematica alla base dello studio menzionato a seguito del risultato di un iniziale esperimento svolto direttamente sulla sua foto quale relatore TED: ha sottoposto la sua immagine all’analisi della tecnologia di riconoscimento facciale promossa da aziende leader e alcune di queste non hanno rilevato il suo viso. Altre l’hanno etichettata come maschio.
Tanto è bastato per convincere lei e la sua squadra ad estendere il campo di indagine dei test: 1270 immagini sono state scelte per creare un punto di riferimento per il test delle prestazioni della classificazione di genere. I soggetti sono stati selezionati da 3 paesi africani e 3 paesi europei. Sono stati quindi raggruppati per genere, tipo di pelle e intersezione di genere e tipo di pelle. Il genere è stato poi suddiviso in categorie femminili e maschili poiché i sistemi di riconoscimento facciale in osservazione forniscono etichette binarie per la classificazione di genere. Tre società – IBM, Microsoft e Face ++ di Megvii – sono state scelte per questa valutazione.
Tutte le tre aziende hanno riportato prestazioni migliori sui maschi rispetto alle femmine con una differenza dell’8,1% – 20,6% nei tassi di errore.
Immagine tratta da http://gendershades.org/overview.html
E inoltre i risultati migliori si ottengono sempre sui soggetti più chiari piuttosto che sui soggetti con un colore della pelle più scuro. Il range di errore varia dall’11,8% al 19,2%.
Per la categoria femminile i margini di errore si ampliano.
“Da una prospettiva ottica, le facce nere riflettono la luce a lunghezze d’onda molto diverse rispetto alle facce bianche e cercare di scrivere un algoritmo, sospetto fortemente, sarà, probabilmente, una sfida fondamentale.” Così l’esperto di fama internazionale Toby Walsh, professore di Intelligenza artificiale di Scientia all’Università del Nuovo Galles del Sud e vincitore del prestigioso premio per la ricerca Humboldt a Fact Check.
Nello studio di Boulamwini, IBM e Microsoft ottengono le migliori prestazioni sui maschi più chiari. La cinese Face ++ funziona meglio sui maschi più scuri.
IBM ha inoltre rilevato il più grande divario in termini di precisione, con una differenza del 34,4% nel tasso di errore tra maschi più chiari e femmine più scure. Per Microsoft l’analisi degli errori rivela che il 93,6% dei visi a rischio falso positivo coinvolgeva i soggetti più scuri. Face++ riporatava un maggior tasso di errore sui soggetti femminili.
I risultati della ricerca sono stati inviati a tutte le aziende il 22 dicembre 2017 e pare che abbiano sin da subito spinto Microsoft e IBM a migliorare i propri sistemi.
I miglioramenti che ne derivati sono emersi in un successivo studio condotto sempre da Joy Buolamwini con Inioluwa Deborah Raji che ha incluso tra le rilevazioni anche il sistema di Amazon, Rekognition e Kairos. Per Amazon le analisi si sono rivelate controverse. Le risultanze dei test effettuati ne hanno dimostrato l’attendibilità quando è stato in grado di determinare tutte le corrispondenze riferite ai volti di uomini bianchi, ma ne hanno reso anche evidente la fallacia quando le percentuali di errore aumentavano in caso di visi femminili bianchi (7,1%) e, soprattutto, di donne con la pelle più scura: “afroamericane e ispaniche venivano individuate come uomini in un caso su tre”.
La risposta di Amazon è stata piuttosto eloquente: ha definito “affermazioni erronee” quelle di Buolamwini e ha affermato che lo studio ha confuso l’analisi facciale con il riconoscimento facciale, misurando erroneamente il primo con tecniche per la valutazione del secondo.
“La risposta alle ansie per le nuove tecnologie non è quella di eseguire” test ” incompatibili con il modo in cui il servizio è progettato per essere utilizzato e di amplificare le conclusioni false e fuorvianti del test attraverso i media”, così Matt Wood, direttore generale dell’intelligenza artificiale per la divisione di cloud computing di Amazon, ha scritto in un post sul blog di gennaio.
Buolamwini, per tutta risposta, ha invitato Amazon a firmare il Safe Face Pledge, un progetto che incoraggia le aziende a impegnarsi nello sviluppo etico e nell’uso della tecnologia dell’analisi facciale.
Per la ricercatrice infatti il fulcro della questione non risiede nelle distinzioni tecniche che, anzi lei stessa reputa marginali ma nella necessità di “regolamentarne la concreta applicazione” per evitare le distorsioni derivanti dalla sorveglianza di massa.
Il nodo della governance delle tecnologie pervasive
“Perché non sarà necessario arrivare fino al punto in cui un individuo è già stato classificato (attraverso il riconoscimento facciale), per poter “violare le libertà civili”; sarà sufficiente averne valutato un attributo come il genere o la classificazione etnica (tramite analisi algoritmica facciale). Se la tecnologia scambia una persona per un’altra, è possibile che “un innocente venga indicato come criminale sottoposto a controlli ingiustificati. E questo non è più uno scenario ipotetico” come spiegano nelle conclusioni dello studio le ricercatrici.
L’ultimo lavoro di Joy Buolamwini, il film documentario diretto da Shalini Kantayy, “Coded Bias” è da vedere. È stato presentato in anteprima al Sundance Film Festival alla fine di gennaio e intreccia il viaggio di Buolamwini nella creazione della Algorithmic Justice League: un’organizzazione in difesa dei diritti umani legati all’abuso di sistemi dei riconoscimento facciale distribuiti in tutto il mondo – dalle strade di Londra, ai progetti abitativi a Brooklyn e in generale in tutta la Cina.
Conclusioni
Il riconoscimento facciale, nelle scuole come altrove, e tutte le tecnologie digitali “influenzano e formattano” la nostra comprensione del mondo e la nostra relazione con esso.
Opportunità ma anche enormi sfide si stanno già rivelando urgenti. La questione non è solo tecnologica o di diritto; è prima di tutto sociale.
Pensare in modo statico alle istanze legate allo sviluppo tecnologico, nella società attuale è inutile: il bilanciamento tra diritti in tale contesto è ineliminabile e il solo strumento in grado di consentire la valorizzazione di quella che viene definita “scienza dei dati” orientata alla costruzione di un progetto umano sostenibile.
Siamo disposti a sostenere la sorveglianza pervasiva dei nostri spazi pubblici e privati in nome di una maggiore sicurezza? I metodi di apprendimento automatico si portano dietro inevitabilmente pregiudizi e discriminazioni e, dunque, quando, l’uso della tecnologia è veramente utile e necessario, legittimo e consensuale, piuttosto che solo “accattivante”?
La delega dei processi porta con sé un enorme potenziale trasformativo ed abilitante che non deve condurre alla deriva della delega delle decisioni.
In passato da Tucidide a Platone, tutti hanno esaltato le doti del pilota esperto che è il solo in grado di salvare la nave dai pericoli del mare.
È colui che vuole “prendere il desiderato porto per salutevole via”, che conosce i venti, le vele, le caratteristiche della propria imbarcazione; che deve sapere dove vuole arrivare, deve avere una direzione.
I diritti umani sono l’ago della bussola.
Sviluppare la consapevolezza avanzata delle caratteristiche della rivoluzione tecnologica in atto è non solo necessario ma improcrastinabile, per orientarne lo sviluppo. Uno sviluppo il cui futuro non è certo predeterminato e anzi, a seconda degli esiti, si potranno apprezzare enormi potenziali benefici per l’umanità e per il pianeta, oppure subirne i pesanti rischi di segregazione, sfruttamento e oppressione senza precedenti.
Le prime importanti decisioni sono già oggetto di discussione: nelle arre istituzionali, sui giornali, nelle piazze, comprese quelle digitali, nelle scuole.
