A marzo scorso la DARPA (acronimo di Defense Advanced Research Projects Agency) ha annunciato di essere al lavoro su un sistema di intelligenza artificiale militare innovativo il cui compito sarà quello di prendere decisioni sul campo in ambito sanitario.
Il progetto, denominato “In The Moment”, pone l’intelligenza artificiale in un ruolo di primo piano sul campo militare, per la prima volta. Esistevano già, infatti, dei sistemi che consentivano di sfruttare l’IA, ma si trattava comunque di software che richiedevano l’intervento umano per agire o che operavano all’interno del web.
L’intelligenza artificiale nel settore militare: vantaggi, rischi e tutele necessarie
In the Moment verrà affidato, ove gli studi iniziali dovessero restituire risultati positivi, il compito di gestire il triage in battaglia, mediante algoritmi che potrebbero consentire di definire a quali interventi dare la priorità, consentendo di salvare un numero maggiore di vite rispetto a quanto avvenuto sinora, in tempi estremamente ridotti.
Chiaramente, il timore degli esperti è che l’IA possa sviluppare dei bias potenzialmente letali, che portino la stessa a decidere di salvare una persona in luogo di un’altra sulla base di pregiudizi generati dai dati con i quali è alimentata, in luogo di elementi medici oggettivi.
La campagna DARPA sull’IA
Da oltre cinquant’anni, la DARPA, ente americano di spicco nel settore della ricerca e sviluppo di tecnologie avanzate in ambito militare: negli ultimi anni, in particolare, ha concentrato le proprie ricerche sull’IA, al fine di facilitare il progresso e l’applicazione di tecnologie di intelligenza artificiale basate su regolare e sull’apprendimento statistico, in grado di acquisire nuove conoscenze mediante modelli generativi contestuali ed esplicativi.
Già nel settembre 2018, come riportato sul sito istituzionale dell’ente, veniva annunciato un investimento pluriennale di oltre 2 miliardi di dollari, finalizzati a sostenere la campagna c.d. “AI next”. Gli obiettivi cui i progetti di ricerca miravano erano, in particolare:
- Automatizzare i processi aziendali critici del Dipartimento della Difesa;
- Migliorare la robustezza e dell’affidabilità dei sistemi di IA;
- Migliorare la sicurezza e la resilienza delle tecnologie di apprendimento automatico e IA;
- Ridurre le inefficienze di alimentazione, dati e prestazione dei sistemi di IA;
Lo sviluppo di sistemi di intelligenza artificiale innovativi si rendeva necessario all’interno del contesto contemporaneo, nel quale, nonostante la crescita dell’interesse verso le reti neurali e i sistemi di apprendimento automatico basati sui Big Data, addestrare le intelligenze artificiali presenta numerose problematiche, legate anche al tempo e ai costi da sostenere per svolgere dette attività (senza contare i possibili bias che possono generarsi, come detto, negli algoritmi decisionali).
Le macchine immaginate da DARPA, si legge nel comunicato di avvio della campagna AI “funzioneranno più come colleghi che come strumenti. A tal fine, la ricerca e lo sviluppo DARPA nella simbiosi uomo-macchina si pone l’obiettivo di collaborare con le macchine. Abilitare i sistemi informatici in questo modo è di fondamentale importanza perché sensori, informazioni e sistemi di comunicazione generano dati a velocità superiori alle quali gli esseri umani possono assimilare, comprendere e agire. L’incorporazione di queste tecnologie nei sistemi militari che collaborano con i combattenti faciliterà decisioni migliori in ambienti di battaglia complessi, critici dal punto di vista del tempo; consentire una comprensione condivisa di informazioni massicce, incomplete e contraddittorie; e consentire ai sistemi senza pilota di svolgere missioni critiche in sicurezza e con alti livelli di autonomia.”
Il progetto “In the Moment”
Proprio all’interno di tale contesto si pone il progetto “In the moment”, finalizzato appunto a consentire la gestione rapida del triage dei feriti all’interno di contesti nei quali la rapidità decisionale appare fondamentale.
“Le operazioni militari”, si legge nel comunicato ufficiale di DARPA che annuncia l’inizio dei lavori sul progetto, “dal combattimento, al triage medico, al soccorso in caso di calamità, richiedono un processo decisionale complesso e rapido in situazioni dinamiche in cui spesso non esiste un’unica risposta giusta. Due capi militari esperti che affrontano lo stesso scenario sul campo di battaglia, ad esempio, possono prendere decisioni tattiche diverse di fronte a opzioni difficili. Man mano che i sistemi di intelligenza artificiale diventano più avanzati nella collaborazione con gli esseri umani è fondamentale creare un’adeguata fiducia umana nelle capacità dell’IA di prendere decisioni valide”. Per tale ragione, “catturare le caratteristiche chiave alla base del processo decisionale umano esperto in contesti dinamici e rappresentare computazionalmente quei dati nei decisori algoritmici può essere un elemento essenziale per garantire che gli algoritmi compiano scelte affidabili in circostanze difficili”.
Il programma In the Moment, dunque, mira a realizzare degli algoritmi affidabili che permettano, in situazioni di estremo stress, di gestire gli scenari in modo rapido ed efficace, assistendo i medici che operano sui campi di battaglia.
Il progetto trae ispirazione dal campo dell’analisi dell’imaging medico, ossia degli strumenti utilizzati in contesti in cui non esiste una verità oggettiva ma possono esserci diverse interpretazioni dei dati di base, anche da parte dell’uomo. Al fine di superare tale problematica, nel progetto si cerca di tracciare algoritmicamente un ragionamento che possa essere confrontato con le interpretazioni rese da esperti umani, così da assimilare il ragionamento della macchina a quello dell’uomo ed evitare, per quanto possibile, l’insorgere di inesattezze nella diagnostica e nella conseguente pianificazione delle azioni da svolgere.
“ITM è diverso dai tipici approcci di sviluppo dell’IA che richiedono l’accordo umano sui giusti risultati”, ha affermato Matt Turek, responsabile del programma ITM, “La mancanza di una risposta giusta in scenari difficili ci impedisce di utilizzare le tecniche di valutazione dell’IA convenzionali, che richiedono implicitamente l’accordo umano per creare dati di base”.
“Sulla base delle informazioni sull’imaging medico, ITM svilupperà un quadro quantitativo per valutare il processo decisionale da parte di algoritmi in domini molto difficili”, ha affermato Turek. “Creeremo scenari decisionali realistici e stimolanti che suscitino risposte da persone fidate per catturare una distribuzione degli attributi chiave del decisore. Quindi sottoporremo un algoritmo decisionale agli stessi scenari difficili e mapperemo le sue risposte nella distribuzione di riferimento per confrontarlo con i decisori umani di fiducia”.
“In the Moment” sarà sviluppato secondo un programma che comprende due fasi, ed una terza fase “potenziale”:
- Presentazione di scenari dai domini di piccole unità di triage medico, come quelle utilizzate nelle operazioni speciali (durata di 24 mesi);
- Presentazione di scenari dai domini di incidenti di massa, come attentati o calamità naturali (durata di 18 mesi, con aumento della complessità dei processi decisionali).
- Maturazione della tecnologia con un partner di transizione.
Sebbene il programma sia ancora in una fase fortemente prodromica, giunge in un momento in cui i paesi cercano di aggiornare un sistema ormai secolare di triage medico, e l’esercito americano si appoggia sempre più alla tecnologia per limitare l’errore umano in guerra. Ma la soluzione solleva molti dubbi fra gli esperti, anche di natura etica, che si chiedono se l’IA dovrebbe essere coinvolta quando sono in gioco vite umane.
Le critiche mosse al progetto
Come detto, non mancano aspre critiche nei confronti del progetto annunciato dalla DARPA: sebbene sia innegabile come ci siano degli eventi che mettono a dura prova la capacità dei sistemi sanitari di prendersi cura dei feriti – in assenza di posti sufficienti – molti dubitano della capacità di un’IA di decidere sul destino dei feriti, definendo delle “priorità” che potrebbero avere impatti letali sugli stessi.
SI è creata, così, una frattura fra chi condivide la necessità di implementare gli attuali sistemi di gestione del processo di triage e chi, invece, ritiene che tale innovazione – seppur utile – presenti rischi troppo elevati per poter essere applicata in modo totalmente automatizzato.
Sohrab Dalal, colonnello e capo del ramo medico per la trasformazione del Supreme Allied Command Transformation della NATO, ha affermato che il processo di triage in base al quale i medici valutano quanto siano gravi le ferite subite dai soldati e le necessità di assistenza degli stessi, ha quasi 200 anni e necessiterebbe di un aggiornamento. Lo stesso Dalal, infatti, sta lavorando con la Johns Hopkins University per creare un assistente di triage digitale che possa essere utilizzato dai paesi membri della NATO. In questo caso, l’assistente digitale utilizzerà set di dati sulle lesioni raccolti dalla NATO, sistemi di punteggio delle vittime, modellazione predittiva e input delle condizioni di un paziente per creare un modello che permetta di decidere chi dovrebbe ricevere assistenza per primo in una situazione in cui le risorse sono limitate e i tempi estremamente ridotti.
“È davvero un buon uso dell’intelligenza artificiale”, ha detto Dalal, “La linea di fondo è che tratterà meglio i pazienti e salverà vite umane”.
Di opinione opposta, invece, sono esperti come Sally A. Applin, ricercatrice e consulente che studia l’intersezione tra persone, algoritmi ed etica: “L’intelligenza artificiale è brava a contare le cose”, ha detto in riferimento al programma DARPA. “Ma penso che potrebbe creare un precedente in base al quale la decisione per la vita di qualcuno viene messa nelle mani di una macchina”.
Molti eticisti si chiedono, in particolare, come funzionerà in concreto l’IA sviluppata dalla DARPA: i set di dati utilizzati faranno fatto sì che alcuni soldati ottengano la priorità per le cure rispetto ad altri (a parità di condizioni sanitarie)? Nella foga del momento, i soldati faranno semplicemente tutto ciò che l’algoritmo ha detto loro, anche se il buon senso suggerisce qualcosa di diverso? E, se l’algoritmo gioca un ruolo nella morte di qualcuno, di chi è la colpa?
Peter Asaro, un filosofo dell’IA presso la New School, sostiene che i funzionari militari dovranno decidere quanta responsabilità viene data all’algoritmo nel processo decisionale di triage, e in che modo dirimere le numerose questioni etiche sottostanti all’utilizzo di un simile sistema: ad esempio, chiede, se ci fosse una grande esplosione e vi fossero civili tra le persone ferite, questi avrebbero meno priorità rispetto ai militari, anche se sono gravemente feriti?
“Questa è una chiamata di valori”, ha affermato Asaro, “è qualcosa che puoi dire alla macchina di dare la priorità in certi modi, ma che la macchina non lo capirà”.
Sempre Applin, ha aggiunto a tal riguardo che, mentre il programma si modella, sarà importante verificare se l’algoritmo stia perpetuando un processo decisionale distorto, come è già successo in molti casi (si pensi ai casi di algoritmi utilizzati nell’assistenza sanitaria che hanno dato la priorità ai pazienti bianchi rispetto a quelli neri): “Sappiamo che c’è un pregiudizio nell’IA; sappiamo che i programmatori non possono prevedere ogni situazione; sappiamo che l’IA non è sociale; sappiamo che l’IA non è culturale”.
SI tratta di problematiche etiche che, oggi più che mai, assumono un ruolo fondamentale nello sviluppo degli algoritmi, specialmente in settori – come quello sanitario e militare – che impattano fortemente sulle vite dei singoli, e i cui esiti possono portare a conseguenze estremamente distorsive.
Si vedrà, dunque, se nel prosieguo dei lavori condotti dalla DARPA su detti sistemi di IA si potrà giungere a forme di ragionamento automatizzato che evitino, al più possibile, l’insorgere di pregiudizi nel processo decisionali.
L’IA in guerra: le tecniche utilizzate sinora
Come anticipato in premessa, l’intelligenza artificiale riveste già oggi un ruolo di rilievo nel contesto militare. Vi sono diversi strumenti militari che agiscono in via quasi del tutto autonoma, guidati da intelligenze artificiali:
- Il TB2 Bayraktar, “un veicolo aereo tattico senza equipaggio (cioè un drone) di fabbricazione turca, che può trasportare missili anticarro, che atterra e decolla da solo grazie all’IA, ma che richiede ancora l’intervento umano per attivare le armi”;
- Il Lantset, un drone russo utilizzato in Siria “progettato per attaccare carri armati, colonne di veicoli o concentrazioni di truppe: esso vola in autonomia finché non individua bersaglio pre-impostato e ci si schianta contro, esplodendo”.
Tecnologie e inganno in ambito militare: l’arte della guerra del XXI secolo
L’AI che mina la verità
A detti strumenti devono affiancarsi, poi, tutte le intelligenze artificiali che hanno il compito, nel corso di un conflitto armato, di alterare l’informazione generando delle notizie di cronaca false o verosimili atte a radicalizzare l’opinione pubblica. Come i deepfake, di cui si comincia a vedere qualche timido e artigianale uso anche nella guerra in Ucraina.
Ma anche la semplice idea diffusa che tali strumenti possano essere utilizzati per alterare la realtà indeboliscono la fiducia del pubblico in una verità condivisa; fanno sospettare la falsità anche laddove non c’è e permettono a carnefici di gridare al falso, come sta probabilmente accadendo con gli orrori di Bucha in Ucraina.
