distrust by design

Ma i robot devono anche starci simpatici? Quali paletti nel rapporto uomo-macchina

Assistenti vocali troppo accondiscendenti, robot programmati per ballare così da trasmettere un sentimento di simpatia. Il processo di umanizzazione che accompagna la robotica dovrebbe spingerci a porci delle domande e dubbi a cui rispondere con un approccio multidisciplinare

Pubblicato il 22 Giu 2021

Ivana Bartoletti

Autrice di An Artificial Revolution, Esperta di privacy e etica del digitale, Co-Founder, Women Leading in AI Network

realtà aumentata

La relazione tra la macchina e persone, non è un argomento semplice. Non lo è poiché nessuna delle semplificazioni più comuni è davvero d’aiuto nel capirlo.

Nella prefazione al libro “Eva Futura” tratto il rischio di femminilizzazione delle assistenti virtuali e di tutti quegli artefatti di supporto e assistenza. Non è un caso che, fino a non molto tempo fa, fosse proprio Alexa a rispondere ‘you make me blush’ sentendo l’affermazione ‘you are a bitch’. Queste entità sono pronte a obbedire, non rispondono se non interrogate, e non pongono quesiti; esempi quasi perfetti di un dominio patriarcale che appartiene, per fortuna e per adesso, al passato.

In questo articolo vorrei invece esplorare un altro aspetto, sul quale mi interrogo da tempo: la cordialità (friendliness) delle macchine.

Eva Futura: i dubbi sull’intelligenza artificiale “umanizzata” in un libro del 1886

Un video recente della Boston Dynamics ci ha mostrato due androidi che si producono in un ballo sulle note di Do you love me dei Contours.

Anche se lo scopo del video era probabilmente di mostrare che gli androidi possono essere simpatici, io francamente ho provato paura. Paura di fronte all’idea che un robot possa essere programmato ad esempio per uccidere, e che lo faccia ballando, in guisa di lugubre intrattenimento. In fondo, ho sempre ritenuto che si debba assolutamente evitare il percorso di umanizzazione dell’artefatto tecnologico.

Filosofe e filosofi si sono interrogati su questo argomento in relazione all’intelligenza artificiale, fino a dibattere l’essenza della macchina e se debba essa stessa godere di diritti. Questo tema, in fondo, si può a mio parere ricondurre a una serie di domande che dobbiamo porci, e di dubbi, che dobbiamo avere il coraggio di affrontare con un approccio nuovo e interdisciplinare.

La questione della fiducia

Si discute molto di fiducia nell’intelligenza artificiale. Il dibattito si svolge più o meno lungo queste linee: se vogliamo che gli utenti usino le nuove tecnologie, bisogna condurre una riflessione etica sulle tecnologie stesse, per contrastare l’ombra di alcuni episodi sgradevoli di maltrattamento e misuso dei dati delle persone che hanno minato la nostra fiducia.

Dal riconoscimento facciale discriminatorio, ai sistemi che allocano il credito in modo diverso a seconda del genere, il più delle volte gli artefatti tecnologici sono comparsi nelle notizie per il loro potere di automatizzare e consolidare le disparità esistenti.

La pandemia di Covid-19 non ha fatto che accelerare questo fenomeno: se da un lato ci siamo accorti del valore dei dati (medici) di ciascuno per il benessere collettivo, dall’altro le storie di sorveglianza e di monitoraggio delle tastiere, le espressioni in videoconferenza e il “presentismo” di fronte a uno schermo hanno messo in risalto anche un altro potenziale di queste tecnologie. È ovvio che siano fenomenali, se usate bene; ma se usate male possono danneggiare il benessere delle persone.

Sembra quindi che il problema di come favorire l’adozione delle tecnologie possa essere risolto lavorando sulla fiducia. Non a caso è proprio la fiducia (insieme alla privacy) l’obiettivo di una grande campagna di pubbliche relazioni delle aziende Big Tech. Recentemente la giornalista Karen Hao ha preparato una collezione delle espressioni più frequenti nel gergo delle pubbliche relazioni in campo tecnologico, che sembrano avere tutte in comune il tema della fiducia.

Non c’è dubbio che le notizie degli ultimi mesi abbiano in parte posto fine all’invincibile mito dell’innovazione tecnologica che non va mai ostacolata. Da Cambridge Analytica alle decisioni automatizzate che codificano e amplificano le disuglianze sociali ed economiche, la non neutralità dell’artefatto tecnologico è oramai un fatto acquisito.

In questo senso, quindi, la fiducia si trasforma in una domanda di chiarezza e trasparenza, e in un principio di privacy by design e by default che dovrebbe incoraggiare l’utente a ‘fidarsi’ a cedere i propri dati.

Chi paga se sbaglia una macchina?

Quando però entriamo nel terreno delle decisioni automatiche, la questione diventa più complessa ed è lì che si comincia a vedere la tensione tra naturale e artificiale che in realtà alimenta la natura umana. Un chirurgo che sbaglia è un essere umano, e va compreso in quanto l’errore è parte della nostra umanità. Ma se a sbagliare è una macchina, in quale rapporto si dovrebbe porre il cittadino con quell’errore?

Nel Regno Unito, un algoritmo era stato incaricato di calcolare la valutazione finale degli studenti sulla base dei risultati precedenti. Quando questo algoritmo ebbe assegnato agli studenti delle scuole private delle valutazioni più generose, a parità di risultati, rispetto ai loro compagni delle scuole statali, gli allievi occuparono le strade al grido di ‘fuck the algorithm’. Un fenomeno preoccupante anche perché, per la verità, qualcuno quell’algoritmo lo aveva programmato, e aveva scelto dati e parametri che favorivano gli studenti delle scuole private.

Non a caso c’è chi pensa che per coltivare la fiducia nell’automazione sia utile inserire degli elementi di dubbio e contestabilità, un ragionamento con cui mi trovo in accordo.

La contestabilità by design è il principio secondo cui un artefatto può essere contestato, e interrogato dall’utente in diversi momenti della sua operabilità; occorre quindi che il suo design permetta tale interrogazione. La domanda è quindi se, in un certo senso, il modo migliore per costruire un rapporto sano con la tecnologia sia di introdurre elementi di dubbio che siano capaci di screditare l’affidabilità della macchina.

Il concetto di distrust by design

La roboticista Ayanna Howard parla del concetto di Distrust by design, con un ragionamento a mio parere corretto.

Una fede eccessiva nell’automazione (che peraltro esclude la stessa contestabilità) può condurre a situazioni molto pericolose. Ad esempio, in una automobile a guida automatica il distrust by design si può tradurre in una regola per la quale la guida automatica si interrompe nel momento in cui il passeggero abbandona il controllo troppe volte, o per troppo tempo; oppure, come altro esempio, a un incrocio pericoloso la macchina dice “qui sono morte X persone nell’ultimo anno”, incoraggiando quindi il conducente a prestare attenzione.

Il comportamento umano è da sempre mediato dalla tecnologia. Anzi, la governance dei comportamenti umani si è spesso concretizzata tramite artefatti. Ad esempio, nella guida l’indicazione a rallentare è più efficace se incoraggiata con un dosso che con un cartello.

Dobbiamo quindi interrogarci sulle conseguenze del distrust sull’individuo. Mi spiego meglio: se la relazione tra individuo e macchina non è neutrale, e si trasferisce su ulteriori ambiti, quali saranno gli effetti collaterali sul comportamento umano, al di fuori della relazione con la macchina stessa?

Questa domanda sorge a causa del processo di umanizzazione che accompagna la robotica. Come già accennato, ne ho discusso in un articolo precedente in relazione a come le macchine a scopo servile e di supporto abbiano spesso caratteristiche (come la voce e il nome) femminili. Alexa, Siri, Cortana, docilmente pronte a servire.

Da un lato, la fiducia inesorabile nella macchina è rischiosa; ma dall’altro lato, l’introduzione del distrust come premessa di tale relazione può riverberarsi nella relazione con altre persone, a causa appunto dell’umanizzazione.

Questo tema, in fondo, ha attinenza con il concetto e l’opinione che abbiamo delle macchine stesse. Sono servi che lavorano per noi umani? Sono compagni (come per esempio nella cura in campo medico)? O sono ‘personalità’ vere e proprie, con diritti più ampi?

Non si tratta di un problema puramente giuridico; occorre capire profondamente quale sia l’impatto del rapporto con la macchina sul rapporto con le altre persone. Immaginare che si tratti di fenomeni indipendenti è a mio parere sbagliato o, per lo meno, un rischio eccessivo in assenza di elementi a conferma.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

EU Stories - La coesione innova l'Italia

Tutti
Analisi
Video
Iniziative
Social
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati