Lo sviluppo di veicoli capaci di navigare e operare autonomamente prospetta di trasformare radicalmente il settore dei trasporti, le forme dell’urbanistica e la quotidianità di un enorme numero di individui.
Fra i benefici promessi rientrano l’aumento della sicurezza stradale (l’errore umano resta di gran lunga la causa più alta di mortalità su strada), l’accesso alla mobilità da parte di categorie prima escluse o fortemente svantaggiate e l’efficienza del traffico e della logistica.
Progressi nell’automazione e collisioni inevitabili
La tabella di marcia per l’introduzione di questa tecnologia, rispetto alle dichiarazioni fin troppo ottimistiche di qualche anno fa, è stata posticipata.
Con l’aumento del livello di automazione, emergono sfide sempre più complesse e rilevanti, non solo dal punto di vista tecnologico, ma anche etico e normativo.
I sei livelli di automazione della guida autonoma, come è noto, sono definiti dalla Society of Automotive Engineers (SAE) e vanno da 0 a 5.
I sei livelli di automazione della guida autonoma
Ciascun livello indica il grado di autonomia del veicolo, ovvero quanto il sistema di guida assistita o autonoma può gestire il veicolo senza l’intervento umano.
Livello 0 – Nessuna automazione: il conducente ha il controllo completo del veicolo in ogni momento, con sistemi di assistenza che possono fornire solo avvisi o assistenza.
Livello 1 – Assistenza alla guida: alcune funzioni sono automatizzate per assistere il conducente in attività specifiche, come il controllo della velocità tramite il cruise control adattivo o l’assistenza alla sterzata, ma non entrambi contemporaneamente. Il conducente deve sempre mantenere il controllo.
Livello 2 – Automazione parziale: il veicolo può gestire simultaneamente sia lo sterzo che la velocità. Tuttavia, il conducente deve essere sempre vigile e pronto a riprendere il controllo immediatamente.
Livello 3 – Automazione condizionata: il veicolo può gestire tutte le funzioni di guida in condizioni specifiche, come su strade ad alta velocità, senza l’intervento continuo del conducente. Il conducente deve comunque essere pronto a intervenire se il sistema lo richiede.
Livello 4 – Alta automazione: il veicolo può guidare autonomamente senza l’intervento del conducente in determinate condizioni operative. Fuori da queste condizioni, il veicolo richiede assistenza umana.
Livello 5 – Automazione completa: il veicolo è completamente autonomo in ogni contesto e non richiede il conducente. Non ci sono limitazioni operative e il veicolo non necessita di volante o pedali.
Ad oggi la maggior parte dei veicoli a guida assistita si muove nel range fra il secondo ed il terzo livello e, mentre negli ultimi anni si sono iniziati a vedere su strada autovetture ad alta automazione (ad esempio i taxi Waymo, attivi in un numero estremamente limitato di città americane), non è ancora stata raggiunta una effettiva automazione completa.
Il comportamento dei veicoli autonomi in caso di collisioni inevitabili
È proprio in riferimento a questi due più alti livelli di automazione che si struttura una delle problematiche etiche più discusse, ovvero il comportamento di questi veicoli in caso di collisioni inevitabili (per un quadro d’insieme dei dilemmi etici connessi all’autonomous driving si può vedere Thomas Casadei, Gianfrancesco Zanetti, Tra dilemmi etici e potenzialità concrete: le sfide dell’autonomous driving, in Simone Scagliarini [a cura di], Smart roads e driverless cars: tra diritto, tecnologie, etica pubblica, Torino, Giappichelli, 2019, pp. 41-54 [collana “Diritto e vulnerabilità – Studi e ricerche del CRID”: www.crid.unimore.it]).
Difatti i sistemi di guida ad alta e completa automazione, pur prospettando un netto miglioramento per quanto riguarda le condizioni di sicurezza stradale, principalmente grazie alla minimizzazione della possibilità di errore umano (attualmente la prima causa di incidenti stradali), non saranno ovviamente in grado di garantire la totale assenza di possibili collisioni.
All’aumentare del livello di automazione corrisponde il progressivo ridimensionamento della figura del conducente, che configura uno spostamento della responsabilità dal pilota umano al sistema di guida.
Si avverte dunque l’esigenza di elaborare di software di navigazione che diano risposte solidamente prevedibili, eticamente soddisfacenti e socialmente accettabili.
Negli ultimi anni si è posta dunque la questione di come e con quali criteri programmare gli algoritmi decisionali di guida per affrontare quelle situazioni in cui il veicolo potrebbe non essere in grado di evitare la collisione.
Il trolley problem nell’etica della guida autonoma
Proprio per tentare di rispondere a questi interrogativi il Massachusetts Institute of Technology (MIT) ha lanciato nel 2016 il progetto “Moral Machine”, un sondaggio reso disponibile in rete sotto forma di gioco decisionale per raccogliere dati su larga scala riguardo alle preferenze dei cittadini su quali criteri i veicoli a guida autonoma dovrebbero integrare nell’affrontare i “dilemmi morali” in situazioni di collisioni inevitabili.
I dilemmi della “Moral Machine”
La piattaforma ha attirato un’attenzione globale, arrivando a raccogliere 39,61 milioni di singole decisioni, provenienti da 233 paesi.
Nell’interfaccia principale della Moral Machine vengono presentati scenari di incidenti inevitabili, ciascuno con due possibili esiti a seconda che il veicolo autonomo cambi direzione o mantenga la sua traiettoria. L’utente sceglie dunque l’esito che considera preferibile. Gli scenari sono stati generati seguendo una strategia focalizzata su nove fattori:
- salvare esseri umani (rispetto agli animali domestici);
- mantenere la rotta (rispetto allo sterzare);
- salvare i passeggeri (rispetto ai pedoni);
- salvare un numero maggiore di vite (rispetto a un numero minore);
- favorire uomini (rispetto a donne);
- favorire giovani (rispetto agli anziani);
- favorire pedoni che attraversano legalmente (rispetto a chi commette infrazioni);
- favorire persone in buona forma fisica (rispetto a quelle meno in forma);
- favorire persone con uno status sociale elevato (rispetto a uno inferiore).
L’elaborazione di questi scenari di decisione binaria riprende da vicino la struttura del noto trolley problem, un ormai classico dilemma etico introdotto nel 1967 dalla filosofa Philippa Foot e impostosi con forza all’interno del discorso riguardo l’etica della guida autonoma proprio in seguito al successo del progetto Moral Machine.
Quest’esperimento mentale prevede un carrello senza conducente, che si sta dirigendo verso cinque individui impegnati sullo stesso binario, i quali moriranno inevitabilmente a meno che il carrello non venga deviato su una corsia laterale. Tuttavia, questa deviazione comporterebbe la morte di una singola persona presente su tale binario.
Un osservatore esterno ha a disposizione un interruttore che consente di reindirizzare il carrello, risparmiando così le cinque persone, ma con il conseguente sacrificio della persona sull’altro binario. In questo caso Foot risolve la questione adottando un approccio utilitarista, sostenendo dunque come moralmente corretta l’azione di premere l’interruttore, in virtù del maggior numero di vite salvate.
Una successiva variante del dilemma, elaborata da Judith Jarvis Thomson, prevede che un osservatore si trovi su un ponte sopra i binari e veda un carrello diretto verso le cinque persone. L’unico modo per fermare il carrello sarebbe spingere un passante giù dal ponte, provocandone la morte ma arrestando il carrello e salvando le cinque persone. In questo caso la filosofa valuta, invece, la questione da un punto di vista deontologico, non ritenendo infine ammissibile il sacrificio dell’uomo, ponendo l’accento con questa variante sulla differenza etica fra il lasciar morire ed una uccisione attiva. Principale distinzione tra i due approcci, i più adottati nelle differenti elaborazioni del trolley problem, è la valutazione, consequenzialista o meno, dello statuto morale di un’azione.
I principi dell’utilitarismo e l’etica deontologica
L’utilitarismo è, appunto, una teoria etica di stampo consequenzialista fondata sul principio di massimizzazione della felicità o del benessere complessivo, nella sua versione classica elaborata da Jeremy Bentham e poi ripresa John Stuart Mill.
Secondo questa dottrina, un’azione è moralmente corretta se produce il massimo beneficio per il maggior numero di persone, indipendentemente dalla sua natura intrinseca o dalle intenzioni di chi la compie. Il criterio centrale dell’utilitarismo è la valutazione delle conseguenze: le decisioni vengono giudicate basandosi sul calcolo degli effetti positivi o negativi che generano.
L’etica deontologica si concentra, al contrario, non sulle conseguenze visibili dell’azione né sulla massimizzazione del benessere collettivo ma sull’intrinseca aderenza interna dell’azione a norme etiche stabilite.
Il dibattito tra utilitarismo e deontologia ha per lunghi anni dominato le discussioni attorno al trolley problem, senza trovare risposta univoca: non sorprende dunque che, in seguito ai numeri ottenuti e all’esplosione mediatica del progetto Moral Machine, questo dualismo si sia trasferito alle questioni etiche riguardanti le collisioni inevitabili elaborate in stile trolley problem. Tuttavia, come prevedibile, entrambi gli approcci hanno mostrato il fianco a diverse critiche, sia teoriche sia implementative, per quanto riguarda la loro adozione come linea guida nella progettazione dei sistemi di guida autonoma. Questo, oltre che portare in luce limiti connessi all’adozione dell’uno o dell’altro approccio etico, ha contribuito alla messa in discussione della “struttura a trolley” come euristica di rappresentazione dei processi decisionali degli algoritmi su strada.
Porsi le giuste domande: perché il trolley non basta
L’applicazione del trolley problem come euristica delle decisioni operative dei veicoli autonomi mostra problematiche cruciali, che hanno portato ad un crescente numero di critiche per la sua impostazione semplificata e, in ultima analisi, riduttiva.
Le simulazioni proposte si basano su scelte binarie che, pur stimolanti a livello teorico, non colgono ovviamente la complessità delle situazioni reali di traffico. La realtà in cui gli algoritmi di guida saranno chiamati a muoversi non si riduce a scenari dicotomici, ma include una serie di variabili imprevedibili e contestuali che non possono essere adeguatamente rappresentate da opzioni limitate a due alternative, caratterizzate oltretutto dalla certezza della fatalità delle collisioni.
Questi sistemi devono infatti affrontare un ampio spettro di situazioni che non possono essere tradotte in scelte isolate tra due sole opzioni, evidenziando l’inadeguatezza di tale modello come strumento euristico per la rappresentazione delle decisioni operative.
Un altro aspetto cruciale riguarda la natura stessa delle decisioni algoritmiche, le quali non sono, né devono essere assimilabili, alle scelte compiute da un agente umano.
Un sistema autonomo non è una persona ma l’incarnazione di una policy. Questo comporta che le decisioni che verranno assunte dalla macchina non dovranno né potranno essere pensate come replica dei modi dell’agire e delle intuizioni etiche dell’umano, anche fosse questo un umano “idealizzato”, cioè razionale, buono e rispettoso della legge. Saranno invece il frutto di sistemi predeterminati, di criteri etici, legali e di sicurezza integrati nell’architettura del software.
La domanda giusta non è “cosa farei se fossi costretto a scegliere tra sterzare o proseguire dritto”, ma quale tipo assetto sociale, etico e normativo si configurerà in base a quali scelte diventeranno logica inscritta nei sistemi di guida. Nel pensiero di Lawrence Lessig, le categorie normative con le quali gli umani intervengono sui comportamenti sono: il diritto; le norme sociali; il mercato; l’architettura. L’adozione dei sistemi di guida autonoma sposta la scelta etica dal conducente agli organi legislativi che autorizzano a monte costruzione ed uso del software di guida: la regolamentazione si sposta dunque dagli ambiti del diritto e delle norme sociali a quello dell’architettura.
L’adozione del trolley problem come strumento di analisi fallisce nel rendere conto di questa fondamentale trasformazione, facendo invece ruotare la propria rappresentazione decisionale su una chiara “antropomorfizzazione” dei processi algoritmici.
Oltre il dilemma del trolley
La posizione di centralità che il dilemma del trolley ha conquistato nella discussione mediatica attorno l’etica dei software di guida autonoma rischia di offuscare altri, più cruciali, interrogativi.
Il focalizzare l’attenzione su singole decisioni binarie lascia, invece, in ombra quelle valutazioni strutturali e di policy che sarebbe invece auspicabile guidassero le riflessioni sull’argomento.
