Tampa, 18 marzo 2018, ore 21:58. Un pedone attraversa la strada proprio quando sta sopraggiungendo un veicolo SUV Volvo XC90 modificato da Uber Advanced Technlogies con un sistema di guida automatizzato (automated driving system – ADS) da loro stessi sviluppato [1]. L’impatto è tremendo, e non lascia scampo al pedone. Nessun danno fisico per l’operatore a bordo dell’auto. E’ un caso notevole questo, su cui è intervenuta anche l’NTSB, un’agenzia investigativa indipendente del Governo degli Stati Uniti che indaga ed emette rapporti in merito agli incidenti che coinvolgono aeroplani, navi, treni, oleodotti e gasdotti, il cui scopo primario è quello di migliorare la sicurezza del sistema dei trasporti civili degli Stati Uniti.
Il rapporto preliminare fornito dall’agenzia nei giorni scorsi ci aiuta a gettare una luce sui complicati e fragili equilibri alla base del fenomeno che sta portando l’intelligenza artificiale a gestire funzioni critiche nella nostra società; funzioni come quella, appunto, di guidare un veicolo mettendo potenzialmente a rischio molte persone.
La catena di responsabilità
Il punto chiave, secondo me, non è che l’AI sbaglia e come ha sbagliato (a identificare un pedone, in questo caso). L’aspetto critico è la catena di responsabilità umane che – fallacemente – ha portato ad affidarsi a una tecnologia non ancora matura.
Recentemente abbiamo analizzato e raccontato i due tragici incidenti occorsi ai 737 MAX nell’ultimo anno, in cui, alla luce delle risultanze delle investigazioni pubblicate, hanno contribuito in modo significativo le scelte operate con la realizzazione di un software (l’MCAS, si veda per questo l’articolo citato [2]). Due incidenti in cui i sistemi automatici, tanto utili per semplificare le attività dei piloti, e sicuramente per aumentare la sicurezza, si trasformano -quando sbagliano le loro valutazioni- in ciechi esecutori di azioni distruttive e mortali, a dispetto dell’operatore umano che non riesce neppure a contrastare la decisione palesemente errata del software.
In questo incidente stradale, di nuova generazione evidentemente, abbiamo di nuovo sul banco degli imputati un software, un sistema, pensato per automatizzare la guida del veicolo stradale, che in questa pre-analisi prodotta dall’agenzia americana fa rilevare molti elementi in comune con gli incidenti aerei citati, e per questo sarà interessante analizzare poi il report finale di questo incidente, ancora in fase di rilascio.
Un esperimento precursore dell’auto a guida autonoma
Tutto questo tra l’altro mi fa tornare indietro nel tempo, nel 1994, alla tesi sperimentale in ingegneria realizzata all’Università di Pisa per l’esame di laurea, la cui finalità è stata la realizzazione di un veicolo mobile autonomo: un piccolo carrello motorizzato dotato di un computer, un modem radio per il collegamento remoto, una cintura di sensori intorno per rilevare gli ostacoli. Rispetto a quanto la tecnologia offriva allora era un progetto affascinante e complicato: per avere una capacità elaborativa adeguata avevamo montato un intero PC a bordo del “labmate” (questo era il nome del carrello mobile).
La trasmissione radio avveniva alla strabiliante velocità di 1200 baud (ovvero il numero di simboli trasmessi in un secondo), l’equivalente -a occhio e croce- di una velocità almeno 5000 volte inferiore a quella di un nostro telefono cellulare quando si connette ad internet. I sensori ad ultrasuoni erano poi estremamente inaffidabili e imprecisi, e spesso fornivano letture errate degli ostacoli circostanti.
Tramite la nostra funzione di Lyapunov, un algoritmo di controllo ottimo della traiettoria di moto, indicavamo al carrello i punti da raggiungere, e il Labmate si muoveva costruendo una semplificata rappresentazione degli ostacoli circostanti e decidendo in autonomia le traiettorie di aggiramento. Noi sempre pronti col dito sul pulsante rosso per spegnere i motori in caso di errore. Prove, verifiche sperimentali, errori corretti e strategie riviste per migliorare e far funzionare quello che nella pratica “può andare storto” a dispetto della roboante teoria che sulla carta pareva infallibile… [3]
Allora neanche immaginavamo l’auto a guida autonoma. Oggi invece è una realtà che si sta avvicinando rapidamente, e con questa anche le problematiche correlate che devono essere affrontate.
La cultura della sicurezza
Prima su tutte, la cultura della sicurezza, elemento che deve intervenire a priori, in fase di progettazione, al fine di mitigare le possibilità di errore, e quindi di incidente, tramite tutte le possibili ridondanze. Al proposito l’NTSB riserva parole molto dure [4]: “la sicurezza deve cominciare dall’alto: la collisione è stato l’ultimo di una lunga catena di azioni e decisioni fatte da un’organizzazione che sfortunatamente non ha messo la sicurezza come prima priorità”.
In effetti, le prime risultanze mostrano che la Volvo XC90 è equipaggiata di fabbrica con un sistema di rilevazione degli ostacoli frontali tramite segnalazione di allarme e sistema di frenata di emergenza, che verosimilmente avrebbe potuto sia segnalare l’imminente impatto che attuarne delle strategie di evitamento, o comunque mitiganti. Ma tale sistema era stato disattivato per lasciare posto a quello sviluppato da Uber. Lasciarlo attivo sarebbe stata un’importante ridondanza che per una sottovalutazione del rischio non è stato invece considerato.
Anche perché il sistema progettato da Uber pare non abbia correttamente riconosciuto il pericolo: l’ADS ha individuato il pedone 5,6 secondi prima dell’impatto, ma non è riuscito a classificarlo effettivamente come pedone, né a predirne il suo movimento. Quando l’ADS ha determinato che la collisione era imminente, la situazione aveva ormai oltrepassato il tempo di risposta necessario al sistema automatico di frenata, demandando all’operatore l’intervento.
Di uomini, algoritmi e assuefazione all’automatismo
Ciò imporrebbe la necessità di avere degli operatori attenti a monitorare il comportamento dell’auto: Uber ha scelto sia di eliminare il secondo operatore, che invece avrebbe potuto costituire un’importante ridondanza in caso di emergenza come quello dell’incidente, come anche di limitare in poche rare occasioni la verifica a posteriori che l’operatore al controllo dell’auto fosse come previsto dalle procedure.
Se gli operatori fossero stati correttamente monitorati, avrebbero rivelato i preoccupanti segni di quella sindrome da sistema automatico che viene definita come “automation complacency”, una sorta di assuefazione all’automatismo che abbassa la soglia di attenzione: un senso di soddisfazione accompagnato dalla mancata consapevolezza dell’effettivo pericolo incombente, che ovviamente mina in modo deleterio la sicurezza.
L’uomo, che quindi dovrebbe intervenire in caso di emergenza, e correggere l’algoritmo che sta sbagliando a fare le scelte, in realtà non è in grado di reagire in modo tempestivo. Nella fattispecie dell’incidente, l’operatrice a bordo era distratta dal suo cellulare (“prolungata distrazione”), e il suo sguardo era prevalentemente orientato verso il suo dispositivo mobile, interagendo con esso.
Viene anche chiamata in causa la pubblica amministrazione, che dovrebbe “implementare un’attenta verifica del processo e dei piani di valutazione del rischio delle aziende prima di garantire i permessi di avvio dei test”.
Nono solo il software sul banco degli imputati
Perché, evidentemente, in questo incidente non è ancora corretto mettere sotto processo il software: siamo ancora in piena fase di testing. Il problema qui è come realizzare i test in modo sicuro, facendo sì che l’uomo sappia correttamente controllare la tecnologia “nuova” nel periodo in cui ancora non è matura, ovvero definendo degli scenari di test che garantiscano la sicurezza anche in questa fase.
Insomma, a quanto pare, in questa prima valutazione, sono molti gli attori coinvolti con una componente significativa di responsabilità in questo incidente, e per la verità in qualche modo anche la vittima, che è stata trovata sotto l’effetto di droghe, quindi con una ridotta capacità di valutazione del pericolo nell’attraversamento (al di fuori delle strisce e di notte) della strada.
A quanto pare i comportamenti umani e le scelte economiche ancora rimangono i primi assoluti responsabili dell’incidente, proprio per una scriteriata scelta di non tenerne conto nella realizzazione della sperimentazione, con l’inevitabile effetto di rendere ancora più sconcertata l’opinione pubblica, che guarda questi mezzi ancora con -evidentemente ragionevole- sospetto.
Attenderemo il report conclusivo di questa indagine per riprendere tutti gli aspetti tecnici e non, perché una cosa è certa: nei prossimi anni, intelligenza artificiale e automatizzazione faranno sì che i veicoli saranno davvero autonomi. E noi vogliamo essere sicuri salendoci a bordo, ma anche attraversando la strada quando passano!
Bibliografia
[1] “Arizona police release video of fatal collision with Uber self-driving SUV”, 21.03.2018, Reuters,
[2] “Aereo 737 MAX, colpa dell’intelligenza artificiale o dei piloti? Storia di due tragedie evitabili”, P. Reale, Agenda Digitale
[3] “Integrated control of autonomous mobile robots”, P. Reale, P. Sebastianelli, M. Casucci, /IEEE Symposium on Emerging Technologies and Factory Automation, 1995
[4] “‘Inadequate Safety Culture’ Contributed to Uber Automated Test Vehicle Crash – NTSB Calls for Federal Review Process for Automated Vehicle Testing on Public Roads”, NTSB,
https://www.ntsb.gov/news/press-releases/Pages/NR20191119c.aspx
