L’European Data Protection Board (EDPB) e l’European Data Protection Supervisor (EDPS) facendosi interpreti delle varie perplessità sollevate da tecnici, accademici e attivisti, hanno pubblicato una Opinione congiunta che suggerisce modifiche e correzioni all’Artificial Intelligence Act, la proposta di Regolamento sull’intelligenza artificiale (AI) pubblicata dalla Commissione Europea.
Intelligenza artificiale: Impatto sulle nostre vite, diritti e libertà
Una delle maggiori lacune che emerge dal testo della Commissione, che è pur sempre uno dei più avanzati tentativi al mondo di regolare l’AI, riguarda la regolamentazione dei sistemi di riconoscimento emozionale e di classificazione biometrica.
Di seguito, proveremo a spiegare perché questa preoccupazione è rilevante, soprattutto riguardo le interazioni tra AI ed emozioni, anche oltre l’Opinione delle autorità garanti europee, che pur condividiamo nel suo impianto.
Artificial Intelligence Act: cosa contiene la proposta di Regolamento sull’AI
L’Artificial Intelligence Act (AIA) definisce varie aree di intervento di sistemi AI: applicazioni proibite perché causa di rischi insopportabili per i diritti e le libertà fondamentali; applicazioni ad alto rischio (non proibite ma sottoposte a specifiche condizioni per gestire i rischi); applicazioni a rischio limitato e altre applicazioni a rischio trascurabile.
La lista dei sistemi AI vietati include pratiche manipolative online che producono danni fisici o psicologici agli individui o sfruttano la loro vulnerabilità sulla base dell’età o della disabilità; il social scoring che produce effetti dannosi sproporzionati o decontestualizzati; e sistemi di identificazione biometrica utilizzati dalle autorità di polizia negli spazi pubblici (quando il loro uso non è strettamente necessario o quando il rischio di effetti dannosi è troppo alto).
Per la prima volta, i regolatori europei tentano di definire un confine o un limite che non dovrebbe essere superato quando si impiegano servizi o prodotti basati sull’AI nella società.
A differenza dei sistemi AI proibiti, i sistemi AI classificati come “ad alto rischio” non sono vietati di default, ma soggetti a diversi obblighi di conformità. Questi obblighi includono, tra gli altri, un piano di gestione del rischio, una certificazione di conformità, un piano di gestione dei dati, la supervisione umana.
La lista dei sistemi AI ad alto rischio nell’AIA comprende il riconoscimento facciale; l’AI usata in infrastrutture critiche, in contesti educativi, occupazionali o di emergenza; in contesti di asilo e di frontiera; nell’assistenza sociale, per il credit scoring, per l’utilizzo da parte delle forze dell’ordine o per scopi giudiziari. La Commissione UE può aggiornare questa lista sulla base della gravità e della probabilità di impatto dei sistemi AI presenti e futuri sui diritti fondamentali.
Infine, una terza categoria di sistemi AI è considerata a “rischio limitato“. Questa categoria include applicazioni AI moralmente discutibili come gli algoritmi AI che producono deepfake (video o foto falsi altamente realistici) così come i sistemi di riconoscimento delle emozioni e di categorizzazione biometrica. L’uso di questi sistemi non implicherebbe alcun dovere specifico di conformità, ma solo obblighi di trasparenza molto vaghi: una semplice notifica ai consumatori/cittadini riguardo al fatto che un sistema AI sia operativo in quel contesto.
Perché l’Artificial Intelligence Act non tutela abbastanza sul riconoscimento emozionale
Il livello di rischio di un sistema di AI, però, non deriva soltanto dal tipo di sistema tecnologico usato, ma anche dalla congiunzione tra il suo dominio di applicazione e il suo target umano.
Ciò implica che se un sistema di AI a rischi limitati venisse utilizzato per pratiche che rientrano nella lista dei rischi insopportabili, allora sarebbe vietato.
Per esempio, se l’AI venisse utilizzata per rilevare le emozioni tra i bambini e manipolarli di conseguenza, allora rientrerebbe tra le pratiche vietate. Analogamente, se tali applicazioni di AI a rischio limitato sono utilizzate in contesti sensibili che rientrano nella lista dei rischi elevati, allora sarebbero tenuti a rispettare rigorosi obblighi di conformità. Questo avverrebbe, per esempio, quando i sistemi di riconoscimento emozionale sono utilizzati per tracciare il profilo di sospetti criminali, o per valutare lavoratori o studenti.
In sostanza, nonostante i meriti dell’AIA, sembra che l’attuale proposta non sia in grado di regolare sufficientemente, dunque classificandole come ad alto rischio, tutte quelle pratiche che utilizzano l’AI al fine di rivelare informazioni sulla mente di una persona.
A nostro avviso, questa regolamentazione non sufficientemente rigorosa delle applicazioni AI per l’elaborazione dei dati mentali apre la strada a scenari di rischio in cui l’unica salvaguardia per un individuo contro l’elaborazione automatica delle sue informazioni mentali (ad esempio le emozioni) sarebbe un semplice obbligo di trasparenza, come la notifica all’individuo, ma senza dare a quell’individuo alcuna possibilità di opt-out.
Diversi usi eticamente discutibili dell’AI potrebbero beneficiare di questa scappatoia. Per esempio, alcuni attivisti per i diritti umani hanno recentemente rivelato che la popolazione Uigura, un’etnia turcofona di religione islamica che vive nel nord-ovest della Cina, sia stata forzatamente soggetta ad esperimenti di software di riconoscimento automatico delle emozioni per fini di sorveglianza.
Inoltre, studi scientifici metodologicamente ambigui hanno affermato di poter rivelare caratteristiche sensibili degli individui relative al loro dominio mentale come il loro orientamento sessuale, l’intelligenza o le inclinazioni criminali a partire da meri sistemi AI di riconoscimento facciale. Queste pratiche non sono attualmente considerate ad alto rischio di per sé. Né lo sono altre pratiche di “mind-mining” come l’analisi e la manipolazione delle emozioni sui social media, o le pratiche finalizzate ad influenzare segretamente il comportamento degli utenti attraverso la pubblicità microtargettizzata, salvo i rarissimi casi in cui questa produca danni fisici o psicologici o sfrutti vulnerabilità legate ad età o disabilità.
Ad oggi, l’unica salvaguardia proposta nell’AI Act contro queste pratiche è un obbligo di notifica agli interessati (si noti, peraltro, come ha notato anche l’EDPB, che la proposta non definisce i possibili individui “interessati”). Tuttavia, sappiamo che i semplici avvisi di trasparenza potrebbero essere fallaci o inefficaci per gli utenti disinteressati o disattenti. Inoltre, in questo caso particolare, tali obblighi di trasparenza nell’AIA potrebbero rivelarsi troppo limitati e generici. Questo appare chiaro se li confrontiamo con i doveri di trasparenza in altri campi giuridici dell’UE.
Ad esempio, nel GDPR quando viene utilizzato il processo decisionale automatizzato, gli interessati non dovrebbero ricevere una semplice notifica, ma informazioni significative sulla logica, l’importanza e le conseguenze previste dell’algoritmo. Da questo punto di vista, l’AI Act sembra introdurre un principio aporetico o perfino contraddittorio rispetto al GDPR. Peraltro, come abbiamo osservato in un recente lavoro, l’analisi automatizzata delle emozioni è già considerata una pratica ad “alto rischio” nel panorama normativo del GDPR, dal momento che l’EDPB ha elencato degli indici di alto rischio che includono tecnologie innovative, informazioni sensibili e soggetti vulnerabili.
Perché il riconoscimento emotivo può considerarsi ad alto rischio
L’asimmetria tra la rigida regolamentazione del riconoscimento facciale o dell’AI per scoring sociale, da un lato, e la “legittimazione” indulgente del riconoscimento delle emozioni, dall’altro lato, sembra ancora più discutibile se si considera che, in linea di principio, l’analisi delle emozioni o la categorizzazione biometrica potrebbero essere considerate ad alto rischio secondo la definizione di rischio dell’articolo 7 della medesima proposta.
Tale articolo contenuto nell’Artificial Intelligence Act, infatti, afferma che la Commissione dovrebbe includere nella lista ad alto rischio qualsiasi sistema AI che presenti un “rischio di impatto negativo sui diritti fondamentali, che è, in relazione alla sua gravità e alla probabilità che si verifichi, equivalente o superiore” all’attuale lista dei sistemi ad alto rischio. Tra i parametri che la proposta indica per identificare un alto rischio vi sono: “la misura in cui l’uso di un sistema di intelligenza artificiale ha già causato (…) un impatto negativo sui diritti fondamentali o ha suscitato gravi preoccupazioni in relazione al verificarsi di tale impatto negativo”; la portata potenziale di tale impatto, “in particolare in termini di intensità e capacità di incidere su una pluralità di persone”; “la misura in cui le persone che potrebbero subire il danno o l’impatto negativo si trovano in una posizione vulnerabile rispetto all’utente di un sistema di IA, in particolare a causa di uno squilibrio di potere, conoscenza, situazione economica o sociale o età”.
Pertanto, per evitare ambiguità interpretative, e sviluppando in parte l’appello dell’EDPB, pare necessario includere esplicitamente e sin da subito nella lista dei sistemi vietati – o quantomeno nella lista dei sistemi ad alto rischio – tutte le applicazioni AI che si basano sulla raccolta ed elaborazione di informazioni mentali quali i sistemi di riconoscimento delle emozioni (in qualsiasi forma), i nudgers digitali, gli algoritmi predittivi dei processi decisionali, dell’orientamento sessuale o altri tratti della personalità, di profilazione psicografica e conseguente microtargetizzazione basata su caratteristiche psicologiche.
Includere i sistemi AI che si basano sulla raccolta ed elaborazione di informazioni mentali nella categoria ad alto rischio ha particolare rilevanza sociale se inscritta in una scala temporale estesa. Oltre, infatti, a regolare l’uso di sistemi già in utilizzo, quali quelli elencati precedentemente, ciò consentirebbe di regolare proattivamente anche sistemi in via di sviluppo quali l’AI per la decodifica e/o la modifica delle memorie o delle intenzioni nascoste.
