L’impatto di Alexa & Co su privacy e diritti dei bambini

Che i sistemi IA progettati per i bambini costituiscano una minaccia per la loro privacy è ormai assodato. Ma i bambini spesso interagiscono con assistenti virtuali e altre tecnologie che non sono state progettate per loro. La domanda chiave che ci dobbiamo porre è: chi ha accesso a tutto questo? Ecco le conseguenze

“Alexa, ho bisogno di papà.’’
“Ok, ho aggiunto ‘papà’ alla lista della spesa. Hai bisogno di qualcos’altro?” “Uhm… no.”

Nel febbraio del 2021, questo scambio di battute tra un bambino che si sveglia nel cuore della notte e Alexa, l’assistente virtuale di Amazon, appare in un video su TikTok girato dai genitori e diventato virale nel giro di pochi giorni, con più di tre milioni di visualizzazioni, quattromila commenti e decine di articoli apparsi su diverse piattaforme mediatiche, da Fatherly al Mirror online. Il video mi ha da subito incuriosito, e ho trovato molto interessante leggere i commenti sotto il post. La maggior parte avevano toni positivi, con esclamazioni come “che carino!” o “adorabile!”, incorniciate da smiley e cuoricini. Altri apparivano preoccupati e più riflessivi: “Mi sono reso conto di cosa vuol dire crescere una generazione abituata ad avere Alexa dappertutto”, oppure: “Non mi piacciano queste videocamere che guardano e ascoltano i nostri bambini anche mentre dormiamo”.

Bambini e intelligenza artificiale, come bilanciare i rischi: gli studi

Nella loro semplicità simili commenti, come vedremo, raccontano una storia sociale che ci tocca tutti da vicino: l’arrivo dell’intelligenza artificiale nelle nostre case. E la raccontano bene, perché evidenziano la tensione tra entusiasmo e ansia, fascino e paura che sta emergendo nella società. Negli ultimi dieci anni la nostra quotidianità è stata pian piano colonizzata da tecnologie di IA che imparano da noi e interagiscono tra loro nell’analisi dei nostri comportamenti. Molte volte queste tecnologie operano dietro le quinte e non ci rendiamo conto di interagire con loro, come accade spesso con i programmi di riconoscimento delle foto sui nostri telefoni, oppure con le tecnologie usate dai social media per creare pubblicità mirate. L’avvento di assistenti virtuali, robot o tecnologie smart gestite utilizzando la voce è stato, per molti, il primo vero segnale che le cose stessero cambiando.

Indice degli argomenti

L’intelligenza artificiale nelle nostre case

L’arrivo dell’intelligenza artificiale nelle nostre case pone quesiti fondamentali sul cambiamento tecnologico, storico e sociale che stiamo vivendo: quesiti di ordine filosofico, su cosa voglia dire essere “intelligente” [1] o perfino “umano” [2], e di ordine pratico, volti a capire quale sarà l’impatto di queste tecnologie sulla nostra vita familiare e sui nostri bambini. Che tipo di valori culturali incorporano e come li trasmettono? Cosa vuol dire far crescere i nostri figli con dispositivi di intelligenza artificiale che insegnano loro a relazionarsi con un oggetto come se fosse una quasi-persona [3]? Che tipo di dati vengono raccolti da queste tecnologie e che impatto hanno sulla privacy dei nostri figli? Nel 2015 Mattel ha condotto una ricerca per testare un nuovo prodotto: Hello Barbie, la prima bambola dotata di intelligenza artificiale. Durante il test Barbie ha interagito con una bambina di sette anni, e all’inizio la loro conversazione verteva su temi giocosi e superficiali. A un certo punto, però, Barbie è diventata più seria [4] :

“Mi chiedevo se potessi avere il tuo consiglio su una cosa”.
La bambola ha spiegato che lei e la sua amica Teresa avevano litigato e non si parlavano più, e ha aggiunto: “Mi manca molto, ma adesso non so cosa dirle. Cosa dovrei fare?”.
‘‘Chiedile scusa” ha risposto la bambina.

“Hai ragione, dovrei scusarmi. Non sono più arrabbiata. Voglio solo ritornare a esser sua amica.”

Come dimostra questo esempio, quando pensiamo all’intelligenza artificiale nelle nostre case dobbiamo renderci conto che il livello di interazione tra i bambini e queste tecnologie può diventare davvero intimo, emotivo e personale. La bambina, incentivata dalla bambola, si è trovata a scambiare opinioni sull’importanza di chiedere scusa, sull’amicizia e sulle emozioni che si provano quando si litiga con gli amici. Nella sua semplicità, questo scambio ci ricorda che quando i bambini interagiscono con queste tecnologie sono esposti a diversi tipi di valori culturali e educativi, a specifiche visioni del mondo e a idee ben precise.

Tecnologie, valori culturali, contesti sociali

Sempre di piu’ nella vita di tutti i giorni sentiamo parlare di intelligenza artificiale, ma raramente pensiamo ai valori culturali, alle idee e ai contesti sociali che hanno creato queste tecnologie. Le tecnologie che usiamo non sono mai neutre, anzi, sono disegnate secondo precisi valori culturali e sociali. Il lavoro culturale necessario alla creazione degli assistenti virtuali delle nostre case è immenso. Per dare un’idea, prima che Alexa fosse presentata al mercato italiano, i tecnici e gli ingegneri hanno dovuto cimentarsi in un complesso lavoro di adattamento culturale. Tanto che Michele Butti, direttore di Alexa International in Italia, ha raccontato in un’intervista a Nòva [5], supplemento del Sole 24 Ore, che la versione italiana di Alexa “non è un prodotto americano che abbiamo adattato all’Italia […], ma l’abbiamo costruita partendo da zero, per rendere omaggio alla nostra lingua, consentendo ai clienti di chiedere in modo semplice di ascoltare musica, conoscere il meteo e le notizie, controllare la propria smart home, gestire l’agenda della famiglia, avere idee per le ricette del pranzo domenicale e altro”. Nell’articolo vengono citati come esempi di adattamento culturale il fatto che Alexa sappia cosa sia la Befana e capisca al volo se stiamo parlando di un libro o di un film italiano.

I preconcetti dell’intelligenza artificiale: quali effetti sui bambini

Una volta che ci rendiamo conto del profondo lavoro culturale necessario a costruire queste tecnologie, dobbiamo anche confrontarci con l’idea che esse sono piene di preconcetti o pregiudizi culturali, i cosiddetti “bias”. Com’è ovvio, questa “scoperta” non è certo una novità e non si riferisce solo all’IA, ma a tutti i sistemi informatici. Già nel 1996, Batya Friedman e Helen Nissenbaum hanno identificato tre tipi di bias nei sistemi informatici [6]: i bias preesistenti (propri degli umani che progettano i sistemi informatici e del contesto culturale che influenza il progetto); i bias tecnici (le scarse risorse e le limitazioni tecniche che spesso caratterizzano lo sviluppo dei sistemi informatici); e i bias emergenti (la società evolve di continuo, perciò le tecnologie progettate in un’epoca e in un contesto culturale specifici potrebbero diventare biased in un’epoca e in un contesto diversi).

I bambini interagiscono con tecnologie domestiche che sono piene di preconcetti culturali e sociali, quindi dobbiamo pensare a che tipo di valori queste tecnologie possano trasmettere ai nostri figli. Domande analoghe emergono in maniera evidente se pensiamo a come tecnologie come Alexa e Google Assistant siano disegnate apposta per incentivare e facilitare il consumo. Lo scambio di battute, citato all’inizio di questo capitolo, tra il bambino (bisognoso del papà nel cuore della notte) e Alexa (che ha aggiunto il papà alla lista della spesa) è emblematico. Altri esempi più pratici di come queste tecnologie incentivino al consumo si trovano nei numerosi articoli pubblicati negli Stati Uniti nei quali si racconta la storia di bambini che avevano comprato vari beni di consumo – senza il permesso dei genitori – utilizzando gli assistenti virtuali.

Perché gli assistenti vocali hanno voci femminili

Eppure, quando pensiamo ai valori culturali di queste tecnologie stiamo riflettendo non solo su come gli agenti virtuali siano disegnati per incentivare al consumo, ma anche su altri valori e preconcetti culturali più profondi. A questo riguardo un buon esempio lo troviamo in The Smart Wife, il libro di Jenny Kennedy e Yolande Strengers [7] dov’è chiaramente dimostrato come la scelta della voce femminile di molte tecnologie smart non sia casuale, ma dettata da secoli di pregiudizi culturali sul ruolo della donna come “assistente”. Molte tech company sono consapevoli di questi pregiudizi e alcune hanno cercato di cambiare la voce dei loro assistenti vocali proprio per evitare il cosiddetto gender bias (bias di genere).

Anche in Italia non siamo immuni a questo processo di femminilizzazione degli assistenti vocali. Ricordo, per esempio, di avere letto con sgomento un articolo di Federico Formica [8] pubblicato su La Repubblica, dove il giornalista parla di Caterina, l’assistente virtuale del Comune di Siena, che, al cospetto del più austero robot del Comune di Bari, ha “un aspetto e una voce più gradevoli” e “le sembianze di un’elegante ragazza”. L’articolo racconta anche di Rita, un’assistente virtuale pensata per la pubblica amministrazione (e destinata in particolare alle amministrazioni comunali) che aiuta a far fronte all’emergenza Covid. Formica spiega che il nome è stato scelto in onore di Rita Levi Montalcini, ma non si chiede perché sia stata scelta una scienziata donna anziché un uomo.

L’impatto dell’IA sulla privacy e i diritti dei bambini

Quando pensiamo all’arrivo dell’intelligenza artificiale nelle nostre case sono quindi molte le domande che emergono sul valore educativo delle nuove tecnologie e su come queste espongano le nostre famiglie a valori culturali e sociali ben specifici. Tra di esse ce n’è una a cui ho cercato di rispondere in questi anni: che tipo di impatto hanno queste tecnologie sulla privacy e sui diritti dei bambini?

[…] I sistemi IA delle nostre case hanno accesso a una quantità impressionante di dati personali, nostri e dei nostri bambini. Questo emerge chiaramente nell’articolo di Vlahos [4], dove un’impiegata di ToyTalk, l’azienda che ha progettato la bambola per Mattel, racconta come Hello Barbie avrebbe dovuto avere accesso a dati molto specifici riguardanti i bambini e gli altri membri della famiglia: “[Hello Barbie] dovrebbe sempre sapere che hai due mamme e che tua nonna è morta, e quindi non parlarne. [Deve anche sapere] che il tuo colore preferito è il blu, e che da grande vuoi fare la veterinaria”.

Che i sistemi IA progettati per i bambini costituiscano una minaccia per la loro privacy è ormai assodato. Tuttavia, il pericolo numero uno deriva dal fatto che i bambini spesso interagiscono con assistenti virtuali e altre tecnologie domestiche che non sono state progettate per loro [9]. Questo fatto implica che tali sistemi non sono tenuti a rispettare il Child Online Privacy Protection Act (COPPA) [10] o le norme speciali per i bambini contenute nel Regolamento generale sulla protezione dei dati (GDPR) dell’Unione Europea, approvato nel 2016. Di conseguenza, proteggere i loro diritti all’interno di una casa automatizzata è diventato particolarmente difficile, soprattutto perché le tecnologie domestiche che non sono progettate per i bambini non sono obbligate a proteggere i loro dati.

La posizione di Amazon

“La privacy è fondamentale per Amazon e da sempre ci impegniamo a preservare la fiducia dei nostri clienti e delle loro famiglie. L’affermazione secondo cui Amazon ascolta le conversazioni dei clienti non corrisponde al vero. I dispositivi Echo sono progettati per registrare la minor quantità di audio possibile. Per impostazione predefinita, i dispositivi Echo vengono progettati per rilevare solamente la parola di attivazione scelta (“Alexa”, “Amazon”, “Computer” o “Echo”), recependo gli impulsi sonori che corrispondono a tale parola di attivazione. Nessun audio viene memorizzato o inviato al cloud a meno che il dispositivo non rilevi la parola d’attivazione.

Insegnare ad Alexa le richieste del mondo reale, provenienti da una gamma diversificata di clienti, aiuta a garantire che Alexa risponda correttamente alla variazione degli impulsi sonori, ai dialetti e agli accenti dei nostri clienti. Come parte di questo processo, esaminiamo e annotiamo manualmente una piccola frazione, pari all’uno per cento, delle richieste rivolte ad Alexa. L’accesso agli strumenti di revisione umana è concesso solo a un numero limitato di dipendenti che ne necessitano strettamente per migliorare il servizio, e il nostro processo di annotazione non associa le registrazioni vocali a nessuna informazione che consenta l’identificazione del cliente. I clienti possono comunque sempre scegliere sia di non includere le loro registrazioni vocali nella frazione dell’uno per cento di quelle che vengono esaminate, sia che esse non vengano affatto salvate”.

Conclusioni

[…] La raccolta dei nostri dati e quella dei nostri bambini avviene anche attraverso la ricognizione vocale. Un’impronta vocale è esattamente come un’impronta digitale, è un dato biometrico che può essere facilmente associato all’individuo. Questo significa che le aziende che raccolgono i dati dalle nostre case possono integrarli con informazioni biometriche da utilizzare per la creazione di profili ID unici che possono essere utilizzati per trarre una varietà di conclusioni sensibili sull’individuo: dal contesto socio-economico in cui vive al suo stato di salute mentale. Un’interazione personale con Alexa, una battuta, uno scambio di opinioni, o anche un dialogo in famiglia: tutto può essere registrato e fatto risalire a una voce. La domanda chiave che ci dobbiamo porre è: chi ha accesso a tutto questo? E che impatto hanno questi dati sui nostri diritti e quelli dei nostri figli?

Gli argomenti trattati in questo articolo sono approfonditi nel libro I figli dell’algoritmo. Sorvegliati, tracciati, profilati dalla nascita

Bibliografia

[1] Broussard, Meredith. 2018. Artificial Unintelligence: How Computers Misunderstand the World. The MIT Press.

[2] Zarkadakis, George. 2015. In Our Own Image: Will Artificial Intelligence Save or Destroy Us? Rider.

[3] Elgan, Mike. 2018. « The case against teaching kids to be polite to Alexa ». Fast Company. https://www.fastcompany.com/40588020/the-case-against-teaching-kids-to-be-polite-to-alexa (15 April 2021).

[4] Vlahos, James. 2015. « Barbie Wants to Get to Know Your Child ». The New York Times. https://www.nytimes.com/2015/09/20/magazine/barbie-wants-to-get-to-know-your-child.html (29 July 2019)

[5] Tremolada, Luca. 2018. « Arriva Alexa, la voce di Amazon «made in Italy» entra nelle nostre case ». Nòva. https://www.ilsole24ore.com/art/arriva-alexa-voce-amazon-made-italy-entra-nostre-case-AEz9s9RG (8 April 2021)

[6] Friedman, Batya, & Helen Nissenbaum, 1996. « Bias in Computer Systems ». ACM Transactions on Information Systems 14(3): 330–347.

[7] Kennedy, Jenny, & Yolande Strengers. 2020. The Smart Wife: Why Siri, Alexa, and Other Smart Home Devices Need a Feminist Reboot. MIT Press.

[8] Formica, Federico. 2021. « Certificati e appuntamenti: l’intelligenza artificiale fa breccia nella pubblica amministrazione ». la Repubblica. https://www.repubblica.it/economia/diritti-e-consumi/diritti-consumatori/2021/03/20/news/certificati_e_appuntamenti_l_intelligenza_artificiale_fa_breccia_nella_pubblica_amministrazione-292393128/ (15 April 2021)

[9] Barassi, Veronica. 2018. « Home Life Data and Children’s Privacy ». Call for Evidence Submission Information Commissioner’s Office. Goldsmiths University of London. http://childdatacitizen.com/home-life-data-childrens-privacy/

[10] Federal Trade Commission. 2013. « Children’s Online Privacy Protection Rule (‘COPPA’) ». https://www.ftc.gov/enforcement/rules/rulemaking-regulatory-reform-proceedings/childrens-online-privacy-protection-rule (15 April 2021)