Uno degli aspetti su cui le istituzioni europee si sono trovate a dibattere nelle varie fasi che porteranno all’adozione del Regolamento sull’Intelligenza Artificiale (AI Act) è come disciplinare la produzione e l’utilizzo di sistemi di IA che hanno la funzione di riconoscere le emozioni degli individui. Già da alcuni anni, infatti, stanno emergendo questioni particolarmente importanti sia in merito al funzionamento di questi sistemi, sia ai rischi per i diritti fondamentali legati al loro uso, tanto che alcuni chiedono un vero e proprio divieto per queste tecnologie.
Definizione e teoria alla base del funzionamento delle IA per il riconoscimento delle emozioni
Le Intelligenze Artificiali per il riconoscimento delle emozioni sono progettate per dedurre lo stato emotivo di un individuo a partire dall’analisi delle sue espressioni facciali, tono di voce, movimenti del corpo (come anche la sua andatura) e altri segnali biometrici, utilizzando strumenti di machine learning.
Si fondano sulla Basic Emotion Theory (BET) elaborata dallo psicologo Paul Ekman negli anni Sessanta, secondo la quale sarebbe possibile comprendere cosa provano le persone a partire dalle loro espressioni facciali, comprese le microespressioni, ossia quelle che si manifestano per pochi istanti e, così facendo, rendono possibile identificare (a parere di Ekman) le vere emozioni dell’individuo. Lo psicologo sosteneva inoltre che la sua teoria avesse portata universale perché le espressioni sono le stesse per tutti gli esseri umani. Negli anni, tuttavia, vari studi hanno dimostrato l’infondatezza della BET, tanto che lo stesso Ekman è arrivato a definirla una pseudoscienza.
Criticità della BET
Un primo problema con questa teoria è la sua pretesa universalità: è stato invece dimostrato che il modo in cui l’essere umano esprime (anche con il viso) le proprie emozioni varia da cultura a cultura, come sostiene Lisa Feldman Barrett, professoressa di psicologia presso la North-eastern University di Boston. Barrett fa l’esempio della Malesia, dove l’espressione che noi tipicamente associamo alla paura viene invece interpretata come manifestazione di rabbia o minaccia.
Inoltre, anche all’interno della stessa matrice culturale è possibile che ci siano differenze nel modo in cui le persone esprimono il proprio stato d’animo. Queste possono dipendere dal contesto in cui si trovano gli individui, dal rapporto che hanno con l’interlocutore, da proprie condizioni specifiche (ad esempio se la persona è nello spettro autistico) e da vari altri fattori esterni, come la consapevolezza di essere sotto esame da parte di una Intelligenza Artificiale. È importante considerare poi che l’esternazione delle emozioni non passa solo attraverso le espressioni facciali (solitamente analizzate dalle IA), ma spesso queste sono combinate con altri elementi (ad esempio il tono di voce).
Non dimentichiamo poi che l’analisi delle emozioni tramite schemi e funzioni matematiche porta inevitabilmente a trascurare e sottostimare la loro complessità. Siamo davvero sicuri che sia auspicabile ridurre tutto a un algoritmo?
Rischi delle IA per il riconoscimento delle emozioni
L’utilizzo delle Intelligenze Artificiali per il riconoscimento delle emozioni porta quindi con sé sia dei rischi legati alla inaffidabilità della BET, sia dei problemi connessi al funzionamento tecnico di queste tecnologie e, infine, degli interrogativi etici e giuridici sull’opportunità di utilizzarle, specialmente in alcuni settori.
Abbiamo detto sopra come ci siano grossi dubbi sulla possibilità stessa di decifrare lo stato d’animo di una persona a partire dalla analisi delle sue espressioni, specialmente se questo processo è affidato a una macchina; ma in ogni caso, anche nella migliore delle ipotesi, questi strumenti rischiano di fornire dei risultati non accurati, specialmente in presenza di minoranze.
Il problema della discriminazione
Torna quindi il problema della discriminazione, che in questo caso potrebbe concretizzarsi in un “emotive imperialism”, come lo chiama efficacemente Luke Stark, professore presso la facoltà di Information & Media Studies dell’Università del Western Ontario. Sostanzialmente, c’è il rischio che queste IA vengano progettate sulla base di modalità di espressione delle emozioni tipiche della cultura che le produce, cosa che porterebbe a risultati errati qualora venissero utilizzate nei confronti di persone provenienti da diverse parti del mondo. Inoltre, il riconoscimento delle emozioni passa in molti casi dall’impiego di software di riconoscimento facciale, ma vari studi hanno dimostrato l’inaffidabilità di queste IA, specialmente nel caso delle persone di colore.
L’inconfutabilità dell’algoritmo
Un altro aspetto molto interessante legato all’uso delle IA per decifrare le emozioni provate dagli individui è che questi non hanno modo di confutare il risultato dell’algoritmo: se una Intelligenza Artificiale analizza le mie espressioni (anche, magari, in combinazione con i miei movimenti o tono di voce, se il sistema è particolarmente sofisticato) e ne deduce che sono impaurito, come posso dimostrare che c’è stato un errore? È la “parola” di un algoritmo contro la mia; a quale delle due dare retta? Pensiamo alle derive problematiche di questo discorso quando le IA vengono utilizzate nel settore giudiziario o di polizia, ad esempio (come già succede in alcune parti del mondo) per determinare se una persona sta dicendo la verità o no durante un interrogatorio.
Il rischio di violazione di diritti fondamentali
Infine, è ormai evidente che l’impiego di queste IA porta con sé grossi rischi di violazione di diritti fondamentali. Innanzitutto, per il loro funzionamento è necessario trattare una enorme quantità di dati personali (spesso biometrici) che, combinati, possono facilmente portare alla identificazione dell’individuo, con possibile lesione del diritto alla privacy. Si pongono poi problemi in relazione alla libertà di espressione, limitata dalla consapevolezza di essere osservati e giudicati sulla base della esternalizzazione delle proprie emozioni. Inoltre, queste tecnologie potrebbero normalizzare forme di sorveglianza di massa, con conseguenze negative anche sulla libertà di manifestazione politica. L’uso di queste IA da parte delle autorità di controllo e giudiziarie rischia poi di violare il diritto di difesa e a non autoincriminarsi.
Guardando alla Cina troviamo vari esempi di utilizzo di IA per il riconoscimento delle emozioni e di come questi rischi si siano concretizzati, descritti in un report dell’organizzazione internazionale per i diritti umani Article 19 pubblicato nel gennaio 2021 e intitolato “Emotional Entanglement: China’s emotion recognition market and its implications for human rights”. Già due anni fa queste tecnologie venivano usate in Cina in modo massiccio per identificare individui sospetti, monitorare l’attenzione degli studenti nelle scuole e determinare il merito creditizio delle persone. In particolare, ha fatto scalpore l’impiego dell’IA nei confronti degli Uiguri nello Xinjiang per individuare stati d’animo di nervosismo o ansia durante interrogatori da parte delle autorità (come una moderna macchina della verità).
Possibili vantaggi nell’uso di queste IA
Nonostante le criticità sopra esposte, non manca chi invece sostiene l’utilità delle IA per il riconoscimento delle emozioni, come Daniel Castro (direttore del Center for Data Innovation e vicepresidente dell’Information Technology and Innovation Foundation) che afferma che i limiti di queste tecnologie non sono intrinseci ma derivano dalla complessità dell’animo umano, e che comunque identificare le emozioni (pur se in maniera necessariamente imperfetta) presenta vantaggi concreti enormi. Fa l’esempio delle persone che hanno difficoltà nel riconoscere le emozioni da sole e degli ipovedenti, ma cita tra gli usi positivi di queste tecnologie anche quelli che potrebbero essere fatti in alcune professioni in cui si ha a che fare col pubblico, così come in ambito scolastico o nella selezione del personale, sostenendo che con l’impiego sempre più massiccio delle IA anche in questi contesti diventerà necessario che le Intelligenze Artificiali siano in grado di riconoscere le emozioni delle persone con cui si interfacceranno.
Alcuni ricercatori dell’Università di Standford stanno già studiando modi per fornire alle persone nello spettro dell’autismo degli occhiali corredati di software di IA che li aiutino a riconoscere le emozioni di chi sta loro intorno. Tuttavia, anche questo tipo di applicazione non è esente da criticità. In un paper di Access Now, European Digital Rights, Bits of Freedom, ARTICLE 19 e IT-Pol con il quale queste associazioni chiedono di inserire un divieto assoluto di riconoscimento delle emozioni nell’AI Act, viene osteggiata anche la possibilità di prevedere una eccezione per l’uso di queste tecnologie nell’ausilio a persone disabili o non neurotipiche. In particolare, oltre al rischio che le IA commettano errori nell’interpretare le espressioni delle persone nello spettro autistico o con disabilità o malattie che impattano sui movimenti del viso (ad esempio il Parkinson), c’è il problema dell’aumento dello stigma nei confronti di queste persone che deriva dall’incentivare, tramite queste tecnologie, stereotipi abilisti, come il fatto che alcune espressioni vengano considerate “normali” e altre no.
La scelta del Parlamento europeo
Nonostante le istanze delle associazioni sopra citate, l’ultima bozza dell’AI Act approvata lo scorso giugno dal Parlamento europeo non contiene un divieto assoluto di riconoscimento delle emozioni tramite IA, anche se sono state aumentate le salvaguardie rispetto alla bozza iniziale del Regolamento prestata dalla Commissione.
Innanzitutto, il Considerando 26 quater menziona le “serie preoccupazioni in merito alla base scientifica dei sistemi di IA volti a rilevare le emozioni” e prende atto del fatto che “le emozioni o la loro espressione e percezione variano notevolmente in base alle culture e alle situazioni e persino in relazione a una stessa persona”. Vengono poi elencate tre carenze fondamentali di queste tecnologie:
- La limitata affidabilità, perché non è possibile associare inequivocabilmente le emozioni a una serie di movimenti o indicatori biologici/biometrici;
- La mancanza di specificità, perché le espressioni fisiche o fisiologiche non corrispondono in modo univoco a determinate emozioni;
- La limitata generalizzabilità, perché l’espressione delle emozioni è influenzata dal contesto e dalla cultura.
È stata poi integrata la definizione di “sistema di riconoscimento delle emozioni” presente nell’articolo 3 n. 34, che oggi recita: “un sistema di IA finalizzato all’identificazione o alla deduzione di emozioni, pensieri, stati d’animo o intenzioni di individui o gruppi sulla base dei loro dati biometrici e basati su elementi biometrici”.
L’articolo 5 dell’AI Act prevede poi, nella sua versione approvata lo scorso giugno, che rientrano nei sistemi di IA vietati quelli che utilizzano il riconoscimento delle emozioni nei seguenti settori:
- Applicazione della legge
- Gestione delle frontiere
- Luogo di lavoro
- Istituti di insegnamento.
Oltre ai casi più inquietanti (come quello dell’analisi delle emozioni durante un interrogatorio, per determinare se una persona è colpevole di un reato) risulterebbero così vietati anche degli usi che, secondo alcuni, potrebbero essere meno distopici, come nel caso del riconoscimento delle emozioni di un candidato per una posizione lavorativa durante un colloquio, o di uno studente durante un esame online (per assicurarsi che non copi). Per comprendere questa scelta torna utile proseguire nella lettura del Considerando 26 quater, che spiega appunto che tale divieto è opportuno per via del fatto che “possono emergere problemi di affidabilità e, di conseguenza, gravi rischi di abuso in particolare quando il sistema viene utilizzato in situazioni reali relative” a tali settori.
In tutti i casi non previsti dall’articolo 5, i sistemi di IA per il riconoscimento delle emozioni sono considerati ad alto rischio (Allegato III, numero 1 a bis) e, quindi, soggetti alla relativa disciplina.
Conclusioni
Durante il 2023 si è discusso molto sull’opportunità di bloccare lo sviluppo di vari tipi di IA, di solito per preoccupazioni legate alla violazione di diritti (fondamentali o no, pensiamo al copyright) ma anche, in alcuni casi, per evitare il possibile concretizzarsi di scenari apocalittici prospettati da studiosi autorevoli.
Quello che colpisce, nel caso delle Intelligenze Artificiali per il riconoscimento delle emozioni, è che a questi rischi si affiancano anche seri dubbi sulla validità scientifica del loro funzionamento, legati non alla tecnologia in sé, ma alla teoria su cui si fonda la possibilità di riconoscere in modo automatizzato un elemento complesso e mutevole come le emozioni umane. Sembrerebbero quindi del tutto legittime le richieste di associazioni come Access Now, European Digital Rights, Bits of Freedom, ARTICLE 19 e IT-Pol, che auspicano un divieto assoluto per queste IA basate, in sostanza, su quella che molti scienziati ormai definiscono una pseudoscienza. Non si tratta qui di impedire il progresso tecnologico, perché anche gli algoritmi più sofisticati non potrebbero superare i dubbi di fondo legati alla BET.
Tuttavia, siccome l’approccio del legislatore europeo è ormai avviato in una direzione ben lontana dal divieto assoluto, è necessario che questi problemi siano almeno conosciuti e valorizzati da parte di tutti gli attori coinvolti nella progettazione di questi strumenti. In sostanza, ricordiamoci che l’espressione delle emozioni può essere estremamente fugace e condizionata da fattori come il contesto e la cultura di provenienza dell’individuo, per cui l’affermazione di una macchina che pretenda di comprendere cosa prova una persona deve essere presa sempre con le dovute cautele.
