Risulta ormai assodato che i sistemi di intelligenza artificiale, che sempre più massicciamente pervadono quasi ogni aspetto della vita quotidiana, abbiano “conquistato” anche l’ambito, ritenuto un tempo intangibile, della sfera emotiva.
Fra le nuove sfide che si pongono all’attenzione dello studioso e del legislatore In una società cosiddetta algoritmica (PAJNO et. al, 2019, p. 206), ontologicamente connotata dalla diffusione tecnologica, è possibile, pertanto, annoverare anche la necessità di individuare la portata definitoria dell’intelligenza artificiale emozionale e di enucleare le implicazioni etiche e giuridiche connesse al fenomeno, ivi compresi i potenziali vulnus alle libertà e ai diritti fondamentali.
Nello specifico, un tema ampiamente oggetto di studio è il rischio di esiti discriminatori insito nell’applicazione acritica di queste tecnologie.
Tema questo che assume una particolare rilevanza ed emergenza in un settore connotato da dati ultrasensibili come quello medico-sanitario, in cui sistemi affetti da bias rischiano di esacerbare le disuguaglianze preesistenti a danno delle fasce più vulnerabili, già particolarmente soggette a previsioni algoritmiche prevenute, con l’esito di valutazioni meno accurate o sottovalutazione dei bisogni assistenziali.
Due questioni preliminari: cos’è l’IA emozionale e cosa sono i bias
Pur partendo dall’assunto che, a fronte di un fenomeno tanto sfaccettato, l’elaborazione di una categoria dogmatica unitaria risulta particolarmente complessa, si tenterà di fornire una definizione di intelligenza artificiale emozionale in senso lato.
Nel mare magnum di modelli sussumibili nel raggio di portata della categoria concettuale dell’intelligenza artificiale, già qualificata quale umbrella term (RASO et. al., 2018, p. 10; D’ALOIA, 2019, p. 8), risulta altrettanto arduo tracciare confini definitori che ricomprendano la multiforme fenomenologia in cui l’IA emozionale si manifesta. Se, in un contesto così ampio quanto interdisciplinare, è possibile aderire alla definizione di IA emozionale stricto sensu quale affective computing, i.e. sistemi che captano, elaborano e talvolta financo manipolano dati emotivi (GREMSL, HÖDL, 2022, p. 164), non ci si può esimere dall’evidenziare che la conquista da parte dei sistemi di IA del campo delle emozioni non si è limitata a questo.
Lato sensu, infatti, un’interazione fra queste tecnologie emergenti e la sfera emotiva è ravvisabile anche nei processi creativi connessi ai sistemi di c.d. intelligenza artificiale creativa (generative AI), con particolare riferimento alla risposta emozionale suscitata da opere dell’ingegno e in senso più ampio da prodotti della creatività, un tempo mero appannaggio della creatività umana.
Allo stesso modo nel novero dell’intelligenza artificiale emozionale – lato sensu intesa – possono essere ricomprese quelle AI based technologies connotate dalla capacità di stabilire una relazione con l’essere umano e di incidere, dunque, sulla sua sfera emotiva. Si pensi in tal senso al caso esemplificativo dei social robots, applicati in ambito educativo, socio-assistenziale e sanitario, sistemi, per definizione, capaci di instaurare e mantenere rapporti con l’essere umano e di sviluppare competenze sociali.
Una trattazione dell’intelligenza artificiale emozionale non può inoltre prescindere dal far menzione di un altro tema centrale. Si sottolinea, infatti, che prendendo le mosse da una concezione inevitabilmente antropocentrica di intelligenza, la dottrina prevalente tendeva a ritenere che l’intelligenza “umana” si distinguesse dall’intelligenza artificiale per la presenza di un quid plurisindividuabile nella coscienza o nell’esperienza. A fronte di un esponenziale potenziamento, almeno in termini quantitativi, da parte degli AI based systems nella capacità di replicare il materiale emotivo l’inevitabile esito è quello di ipotizzare un non lontano superamento della suddetta dicotomia. Fatto questo che, sulla scia di tesi di matrice già kelseniana (i.e. persona come fictio, fascio di norme), si pone come argomentazione a favore del riconoscimento di una soggettività giuridica in capo ai sistemi di IA (su questi temi, problematicamente, v. D’ALOIA, 2020, p. 60; SANTOSUOSSO, 2021, p. 185).
Per quanto concerne i bias, si evidenzia che l’interazione con sistemi di IA, in settori come quello sanitario, oggi è connotato da una mancanza di fiducia da parte degli utenti. Tale problema pare sia dovuto, da una parte all’inconoscibilità dei processi interni (c.d. black box problem), dall’altra ai possibili esiti discriminatori derivanti da biased AI systems. Le fonti di pregiudizio dell’IA presentano diversa natura e influenzano fasi diverse dello sviluppo e dell’implementazione di un algoritmo. Senza pretesa di esaustività di seguito si enumerano i principali. Il bias algoritmico è dovuto ad assunzioni errate nel processo di apprendimento automatico; il bias cognitivo si verifica quando la tecnologia richiede l’intervento umano e il pregiudizio tipicamente intrinseco alla fallibilità umana si insinua nel processo; il bias di conferma, connesso a quello cognitivo, si verifica quando l’IA si basa su tendenze preesistenti nei dati, confermando i pregiudizi esistenti e non identificando nuovi schemi o soluzioni; bias di esclusione, si verifica quando dati importanti vengono esclusi dal dataset, spesso perché lo sviluppatore non è riuscito a identificare fattori nuovi e cruciali; bias di selezione (o di misurazione) si verifica quando il campione selezionato non riflette la popolazione che dovrebbe essere considerata. (Holdsworth, 2023). Mettendo, in particolare, l’accento sui rischi dei sistemi di self learning è inevitabile notare l’incidenza dello sviluppo dell’IA sul principio di eguaglianza, sia in termini negativi, e.g. a scapito di minoranze o rafforzando il modello culturale dominante, sia positivi (CERRINA FERONI et. al. 2019; SIMONCINI, 2019, p. 85).
Casi di biased AI system applicati al settore sanitario
Di seguito, a titolo esemplificativo, si fa menzione di casi di biased AI system applicati al settore sanitario riportati in due importanti documenti nel panorama internazionale che, mettendo in evidenza i rischi discriminatori, incoraggiano un accesso equo a tali tecnologie: le “Linee guida sull’Etica e la Governance dell’Intelligenza Artificiale per la Salute” pubblicate dall’OMS nel 2021 e il Blueprint for an AI Bill of Rights, pubblicato dall’Ufficio della Politica Scientifica e Tecnologica della Casa Bianca nell’ottobre 2022.
- Bias nell’algoritmo: Nel 2019, si è scoperto un pregiudizio razziale insito in un algoritmo ampiamente utilizzato nel sistema sanitario degli USA, che utilizzava come indicatore dei bisogni del paziente le spese sostenute, anziché la gravità della malattia. Poiché il sistema sanitario statunitense statisticamente aveva speso meno per i pazienti di colore, l’algoritmo aveva erroneamente dedotto che i pazienti bianchi fossero più malati dei pazienti di colore altrettanto malati. Tale pregiudizio razziale ha comportato una notevole riduzione nel numero di pazienti di colore che ricevevano cure aggiuntive. (OBERMEYER et al., 2019)
- Bias nel dataset: In Australia, Europa e negli USA la maggior parte dei sistemi di IA progettati per aiutare i dermatologi a diagnosticare lesioni cutanee cancerose è stata addestrata su immagini di persone con tonalità della pelle chiara. L’inadeguatezza dei dati sulle persone di colore, a causa di diversi fattori, ha condotto a una sottorappresentazione delle minoranze etniche nel dataset. (OMS, 2021, p. 55)
- Bias nel sistema predittivo e rischio di nudging emotivo: Le tecnologie basate su previsioni possono costituire una minaccia per l’autonomia individuale talvolta, valicando, nel settore sanitario, i confini della relazione medico-paziente. L’integrazione fra AI based technologies e tecniche come il “nudging“ può esercitare un’influenza significativa sulle scelte quotidiane delle persone. Si pensi al caso in qui l’IA predittiva anticipi un elevato rischio di una particolare malattia per un individuo, sorge il dubbio se quella persona conservi il diritto di intraprendere comportamenti che potrebbero aumentare la probabilità dell’insorgenza della malattia prevista. Le implicazioni negative possono, dunque, superare i benefici previsti, come evidenziato da un algoritmo predittivo che dal 2017 valutava la probabilità di gravidanze adolescenziali nella provincia di Salta, in Argentina, al fine di limitare il fenomeno. Il sistema si basava su algoritmi che identificavano caratteristiche socio-economiche negli individui che avrebbero potuto indurli a gravidanze adolescenziali e drop out scolastico. L’algoritmo è stato oggetto di strenue critiche in quanto avevo l’esito di fornire previsioni sensibili ad adolescenti senza il loro consenso e di influenzare individui vulnerabili, finendo per confermare e rafforzare tendenze e convinzioni discriminatorie anziché prevenirle. (OMS, 2021, p. 53)
AI ACT: intelligenza artificiale emozionale e bias
A fronte di una tematica tanto attuale quanto complessa, si è da poco approdati ad un nuovo testo dell’AI ACT, la cui entrata in vigore è prevista per il 2024. L’AI ACT, nel suo pionieristico ruolo di prima legge globale e completa sull’intelligenza artificiale, nel bilanciamento fra pubblica sicurezza e libertà fondamentali pare propendere per queste ultime. Il regolamento aderisce, infatti, ad un approccio risk-based che individua un rischio intrinseco nel riconoscimento delle emozioni e che orienta la generative AI ad usi non discriminatori e a requisiti di trasparenza, al fine di delineare una trustworthy AI.
Nello specifico, si basa sull’assunto che determinati sistemi di IA, come sistemi di riconoscimento delle emozioni, dispositivi medici o sistemi che influenzano la salute, siano, in via generale, ad alto rischio, per il potenziale impatto negativo sulla sicurezza delle persone o sui loro diritti fondamentali.
Individua, in particolare, un rischio inaccettabile e pone divieti e stringenti limitazioni ai sistemi di riconoscimento delle emozioni nei luoghi di lavoro, di educazione e in casi di utilizzo da parte delle forze dell’ordine. Individua, inoltre, un rischio specifico per la trasparenza e la necessità di essere informati quando si utilizzano sistemi di intelligenza artificiale come i chatbot che comportino un riconoscimento delle emozioni.
È, sicuramente, degno di nota il fatto che il testo del nuovo accordo, risalente al gennaio 2024, a differenza della precedente stesura, fornisce una definizione esplicita di emotion recognition systemenumerando anche un novero di tali emozioni ed escludendo a tali fini stati fisici come fatica e dolore.
Un caso di studio: il settore della salute
È bene specificare che in campo sanitario si prevede una crescita esponenziale dell’applicazione di sistemi di IA – destinata ad aumentare fino a raggiungere un valore di circa 188 miliardi di dollari nel 2030, a fronte degli 11 miliardi del 2021. Numerose iniziative di salute digitale stanno, in particolare, incorporando emotional AI based technologies e ci si aspetta che questa applicazione aumenti in maniera progressiva e capillare. (STATISTA, 2023).
Data la natura intrinsecamente soggettiva delle emozioni, l’IA emotiva è particolarmente soggetta al rischio di bias. Recenti ricerche indicano che la tecnologia di analisi emotiva tende a attribuire più emozioni negative a individui di specifiche etnie rispetto ad altri. Il livello attuale di accuratezza dell’IA, inoltre, spesso non riesce a comprendere le sfumature culturali nell’esprimere e interpretare le emozioni, rendendo difficile giungere a valutazioni accurate. (Purdy et al., 2019)
Ciò, specie quando i dataset usati per addestrare l’IA emotiva siano condizionati demograficamente. In tali casi, l’affidabilità dell’IA diminuisce quando viene estesa a una popolazione più ampia, infatti molti sforzi di raccolta dati si sono storicamente concentrati su specifiche demografie, i.e. individui che si erano offerti volontari per i trial o che potevano permettersi l’uso di determinate tecnologie. L’idea di leggere e interpretare le emozioni in termini digitali ha portato, poi, allo sviluppo di studi sempre più mirati a identificare la formula matematica per la felicità, non tenendo conto degli aspetti individualizzanti di ogni soggettività.
Poniamo il focus su un caso paradigmatico di emotional AI: il caso Canon in Cina. Nel 2021 l’azienda aveva posto telecamere intelligenti attraverso cui veniva effettuato il riconoscimento del sorriso dei dipendenti, al fine di determinare se ammetterli nel luogo di lavoro. (LUPIS, 2021)
Muovendo dal maturato convincimento che casi analoghi comportino un’interferenza nella sfera intoccabile dell’integrità individuale e che l’applicazione acritica di queste tecnologie porti a esiti discriminatori basati sul modello culturalmente dominante, ulteriori profili di interesse, richiamati in tema di AI anche dal Consiglio d’Europa (Raccomandazione 2102/2017), riguardano il rispetto della dignità umana e il suo perno e corollario del principio di autodeterminazione, frustrato dall’uso manipolativo dei dati al fine di orientare la condotta degli utenti. La dignità umana si configura come concetto relazionale, da intendersi ai nostri fini nell’accezione giusnaturalistica fatta propria dall’art. 1 della Dichiarazione Universale dei diritti Umani, quale sostrato inviolabile dei diritti umani, incardinato nel combinato disposto degli artt. 2, 3 e 13 Cost., e nell’accezione kantiana di irriducibilità dell’uomo a una mera parte fenomenica, rectius, in questi casi, a una sua emozione. Si evidenziano, inoltre, i potenziali profili di analogia dell’emotion recognition system con discipline pseudoscientifiche quali la frenologia e fisiognomica che rimandano all’antropologia criminale e al positivismo scientifico di matrice lombrosiana.
Specifici esempi di sistemi di emotional AI stricto sensuutilizzati nell’ambito della salute psicofisica sono, ad esempio, TWILL dotato di piattaforma Intelligent Healing che impiega l’IA per comprendere le esigenze di salute di un individuo e raccomandare azioni appropriate tramite un chatbot sanitario addestrato a fornire cure personalizzate e supporto in modo empatico e LUCID, un sistema di raccomandazioneche propone musica in base allo stato psicofisico dell’utente, incorporando biometria e dati che autovaluta come input, così da classificare gli stati emotivi dell’utente e fornirgli un’esperienza personalizzata. (LABBÉ, 2022)
Per quanto concerne l’emotional AI lato sensu, si evidenzia che si possono ravvisare esempi di bias anche in sistemi di generative AI e nei social robots.
Le tecnologie basate sull’IA creativa soffrono, infatti, di potenziali pregiudizi dovuti all’addestramento dell’algoritmo o al dataset. L’IA generativa potrebbe, infatti, comportarsi in modo diverso e non equo, ad esempio, perché influenzata da pregiudizi dovuti alla lingua, a causa della diversa quantità di set di dati disponibili nei diversi idiomi.
Una prima applicazione di generative AI nel settore sanitario è, a titolo esemplificativo, Syntegra Medical Mind, un sistema che crea record di pazienti sintetici realistici, provenienti da dati sanitari reali, da cui gli operatori sanitari possono attingere, proteggendo, però, la privacy dei pazienti. Anche DALL-E 2 viene applicato alla radiologia, in quanto potenzialmente in grado di creare immagini a raggi X con stile e proporzioni anatomiche simili a quelle autentiche. In particolare, infatti, è stato appurata la sua capacità di generare immagini mediche a partire da descrizioni brevi e di ricostruire immagini radiologiche con aree mancanti. È noto, però, che DALL-E soffre di pregiudizi nei suoi dati di addestramento e che, nonostante il bias si stia progressivamente mitigando, in numerosi casi genera immagini che non riflettono accuratamente la diversità della popolazione mondiale. (ZHANG, 2023, p. 6)
Un ulteriore esempio è rappresentato da chatbot come ChatGPT e Bard di Google. Alla luce del sempre più massiccio affidamento da parte dei medici a sistemi di IA per compiti di routine, uno studio recente della Scuola di Medicina di Stanford solleva preoccupazioni su chatbot ampiamente utilizzati che perpetuano idee scientifiche infondate e di matrice razzista. Tali chatbot addestrati su testi estesi da internet hanno mostrato concezioni e informazioni false sui pazienti di colore in risposta a stimoli dei ricercatori, col pericolo di amplificare problemi di razzismo medico già in parte radicati. (OMIYE et. al., 2023)
Anche per quanto attiene all’ambito dei social robots, si segnala che il self learning ha potenziato i robot in varie mansioni, ma che persistono preoccupazioni riguardo alla riproduzione dei pregiudizi umani negli algoritmi. Gli algoritmi sottesi ai social robots applicati alla sanità spesso attingono a dati forniti da esperti umani replicando i loro bias o manifestano la tendenza a categorizzare i pazienti in base alle somiglianze con altri. Si pensi al caso di un robot riabilitativo che interagisca con una bambina ed escluda per la terapia l’uso di un certo videogioco, sulla base di un dataset di addestramento non accuratamente rappresentativo eche risente di un risalente pregiudizio di genere. (HOWARD et al., 2019)
Per completezza v’è però da segnalare, in controtendenza a quanto finora esposto, che agenti intelligenti possono essere utilizzati anche per mitigare i pregiudizi cognitivi e sociali nelle interazioni umane. La Fair Proxy Communication (FPC) è, infatti, un’applicazione pionieristica della robotica sociale che utilizza la telepresenza e ha come focus principale l’esplorazione dei meccanismi della cognizione sociale implicita in neuropsicologia. Un’applicazione esemplificativa di tale tecnologia è il caso di incorporazione di un robot neutro in un colloquio di lavoro così da salvaguardare l’anonimato e diminuire i pregiudizi legati all’identità sociale. (SKEWES et al., 2019, p. 2)
In conclusione, si è tentato di mostrare che l’espansione di sistemi di IA nel campo emotivo presenta implicazioni etiche e giuridiche significative emergenti. La presenza di bias in emotional AI based technologies, soprattutto nel settore sanitario, solleva preoccupazioni riguardo ad esiti discriminatori e alla mancanza di equità nell’accesso, ma non mancano casi virtuosi di applicazione di tali tecnologie in grado di mitigare e ridurre i pregiudizi insiti nella natura umana. Documenti o normative, come l’AI ACT, si pongono l’obiettivo di mitigare questi rischi attraverso divieti e restrizioni mirate, promuovendo il configurarsi di un’IA responsabile e trasparente, al fine di garantire un utilizzo controllato e contingentato di sistemi di emotional AI e un accesso equo alle tecnologie sanitarie, preservando i diritti fondamentali degli individui.
Bibliografia
CERRINA FERONI G., et. al. (a cura di), AI Anthology. Profili giuridici, economici e sociali dell’intelligenza artificiale, Bologna, Il Mulino, 2022.
D’ALOIA A., Il diritto verso “il mondo nuovo”. Le sfide dell’Intelligenza Artificiale, in BioLaw Journal, 1, 2019, pp. 3 – 31.
D’ALOIA A. (a cura di), Intelligenza artificiale e diritto. Come regolare un mondo nuovo. Milano, FrancoAngeli, 2020.
GREMSL T., HÖDL E., Emotional AI: Legal and Ethical Challenges, 1 Jan. 2022, in Information Polity, 2, 2022, pp. 163 – 174.
HOLDSWORTH, J., What is AI bias?, in IBM, 2023, https://www.ibm.com/topics/ai-bias.
HOWARD et al., Trust and bias in Robots, in American Scientist, 107, 2, 2019, https://www.americanscientist.org/article/trust-and-bias-in-robots.
LABBÉ A., Emotion AI: Why It’s The Future Of Digital Health, in Forbes, 2022, https://www.forbes.com/sites/forbestechcouncil/2022/11/23/emotion-ai-why-its-the-future-of-digital-health/.
LAUKYTE M., LUCCHI N., Creative AI: The Complex Relationship between Human Inventiveness and Intellectual Property, in BioLaw Journal, 3, 2022, pp. 169 – 183.
LUPIS M., Orwel in Cina è il capufficio. La dura vita dei dipendenti cinesi, sorvegliati 24h, in Huffington Post, 2021, https://www.huffingtonpost.it/entry/orwell-in-cina-e-il-capufficio-la-dura-vita-de-dipendenti-cinesi-sorvegliati-h24_it_60c21df1e4b0af343e9cf77f.
OBERMEYER Z., Dissecting racial bias in an algorithm used to manage the health of populations, Science, 366, 2019, pp. 447 – 453, https://www.science.org/doi/10.1126/science.aax2342.
OMIYE et. al., Large language models propagate race-based medicine, in Digital Medicine, 6, 195, 2023, https://doi.org/10.1038/s41746-023-00939-z.
OMS, Ethics and Governance of Artificial Intelligence for Health, 2021, https://www.who.int/publications/i/item/9789240029200.
PAJNO A. et al., AI: profili giuridici. Intelligenza Artificiale: criticità emergenti e sfide per il giurista, in BioLaw Journal, 3, 2019, pp. 205 – 235.
PURDY M. et al., The Risks of Using AI to Interpret Human Emotions, in Harvard Business Review Home, 2019, https://hbr.org/2019/11/the-risks-of-using-ai-to-interpret-human-emotions.
RASO F. A. et al., Artificial Intelligence & Human Rights: Opportunities & Risks, in Berkman Klein Center Research Publication, 6, 2018.
SANTOSUOSSO A., TOMASI M., Diritto, scienza, nuove tecnologie, Milano, Wolters Kluwer, 2021.
SIMONCINI A., L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà, in BioLaw Journal, 1, 2019, pp. 63 – 89.
SKEWES J. et al., Social robotics and the modulation of social perception and bias, in Philosophical Transactions B, 374, 2019, p. 1 – 11, http://doi.org/10.1098/rstb.2018.0037.
ZHANG P., Generative AI in Medicine and Healthcare: Promises, Opportunities and Challenges, in Future Internet 2023, 15(9), 286, 2023, https://www.mdpi.com/1999-5903/15/9/286.
