Quando un settore della scienza e della tecnologia rischia di essere usato in applicazioni militari, i policy maker e la società civile in generale chiedono conto a chi progetta questi strumenti del loro possibile “dual use”. Sono quindi le persone del mondo della scienza e della tecnologia a dover riflettere sugli aspetti sociali ed etici, questo è già molto chiaro a Leonardo Da Vinci nel 1506[1].
Se l’intelligenza artificiale uccide, senza controllo umano: ecco i punti chiave del dibattito
Famosa è anche la riflessione del fisico Leo Szilard (1898-1964) dopo aver visto la prima reazione atomica a catena la notte del 3 marzo 1939: “Spegnemmo tutto e tornammo a casa. Quella notte, nella mia mente non vi era il minimo dubbio che il mondo era diretto verso un grande dolore” (Klein, 1992). La storia purtroppo conferma i presentimenti di Szilard e, dopo il lancio della prima bomba atomica su Hiroshima, il fisico Robert Oppenheimer (1904-1967) scrive: “i fisici hanno conosciuto il peccato”.
Lo stesso rischio lo stanno correndo gli informatici. Lo sviluppo di cyber-weapon nelle reti informatiche, robot autonomi dotati di armi letali, sensori e sofisticati algoritmi di intelligenza artificiale rischia di scatenare una nuova corsa agli armamenti in versione cyber-war, spingendo gli scienziati dei computer e l’umanità intera verso una soglia che forse non dovremmo attraversare (Patrignani, 2018).
Computer e guerra
Il legame tra computer e guerra risale alle origini stesse di queste tecnologie. Il grande matematico del secolo scorso John Von Neumann (1903-1957) è a Los Alamos proprio negli anni in cui viene sviluppata la bomba atomica (LANL, 2021). Grazie ai faraonici investimenti del governo USA nel Progetto Manhattan e perfezionando l’idea di macchina universale introdotta nel 1937 da Alan Turing (1912-1954), Von Neumann sviluppa l’architettura dei computer (input, memoria, cpu, e output) che ancora oggi porta il suo nome.
Da questa parte dell’Atlantico, negli stessi anni, a Bletchley Park, Turing, con l’aiuto di centinaia di altre persone, decifra Enigma, la macchina crittografica usata dai nazisti contribuendo alla fine della Seconda guerra mondiale (Bletchley, 2021). Le enormi potenzialità delle nuove tecnologie digitali sono chiare anche a Norbert Wiener (1894-1964), professore al MIT e fondatore della cibernetica, ma con una visione completamente diversa rispetto a quella di Von Neumann. Infatti, mentre Von Neumann collabora alle applicazioni militari, Wiener usa quasi le stesse parole usate da Leonardo Da Vinci secoli prima: “I do not expect to publish any future work of mine which may do damage in the hands of irresponsible militarists…” (Wiener, 1947). Lo scambio di lettere tra, il “super-falco” Von Neumann e il “pacifista” Wiener, rappresenta una delle più importanti testimonianze del dibattito sulle relazioni tra tecnologia e società per quanto riguarda il mondo digitale (Heims, 1980).
Computer professionals for social responsibility
Negli anni ’60 i grandi movimenti pacifisti nelle università statunitensi riprendono il tema del coinvolgimento della ricerca scientifica nella guerra. Joseph Weizenbaum (1923-2008), altro grande scienziato dei computer, denuncia esplicitamente i rischi connessi con l’applicazione dei computer in ambito militare: “the question is not whether such a thing can be done, but whether it is appropriate to delegate this hitherto human function to a machine” (Weizenbaum, 1976).
La rivista “Science for the People” contribuisce a sviluppare questo dibattito (Weizenbaum, 1985), in seguito al quale, nel 1983 al Palo Alto Research Center, uno dei più grandi centri di ricerca informatica, nasce l’associazione internazionale Computer Professionals for Social Responsibility. L’opposizione al grandioso progetto del governo USA SDI (Strategic Defence Initiative), noto come “Star War” emerge in tutta la sua forza con le dimissioni dello scienziato dei computer David Parnas dal comitato scientifico che doveva supervisionare il progetto (Parnas, 1985). L’argomento principale: delegare al software il controllo del lancio di missili intercontinentali introduce rischi inaccettabili.
La cyber-war diventa realtà
Purtroppo, tutte le voci contrarie all’uso delle tecnologie digitali in ambito militare non hanno trovato ascolto. Arriviamo così ai giorni nostri dove ormai tutte le strategie militari prevedono uno scenario “multi-domain”: i cinque domini maritime, land, air, cyberspace, space sono fittamente interconnessi da reti di computer. La cyber-war diventa realtà. La combinazione delle conseguenze inimmaginabili di una guerra atomica e le probabilità di eventi scatenanti (introdotti dalla complessità del digitale) porta a rischi inaccettabili (Unal, 2021). Infatti, le probabilità sono accresciute dalla combinazione di minacce provenienti da stati o da gruppi (sponsorizzati dagli stati stessi) e dalle cyber-vulnerabilities. Si pensi alla fitta interconnessione di migliaia di server, alle vulnerabilità inevitabili del software, ai sistemi che controllano i silos missilistici, etc. In questi scenari emergono domande difficilissime: in quali condizioni un cyber-attack va considerato un “atto di guerra”? A chi e come va “attribuito”? Quali risposte predisporre come “difesa”?
Eppure la convocazione di una convenzione internazionale su questi temi riceve sempre l’opposizione da parte di molti stati (Eilstrup-Sangiovanni, 2018). L’argomento principale di queste resistenze è quello della difficoltà a trovare accordi internazionali in uno scenario dove le tecnologie digitali cambiano rapidamente. Eppure, molti stati registrano in continuazione cyber-attacchi contro i sistemi militari e le infrastrutture nazionali critiche. Uno dei casi più recenti: l’attacco alla rete dell’energia nel Nord Est degli USA in maggio 2021 (Herman, 2021).
Stop killer robot
L’evento più inquietante è quello descritto in un recente rapporto del marzo 2021 al Consiglio di Sicurezza dell’ONU che segnala, forse per la prima volta nella storia in modo ufficiale, l’uso di droni autonomi, le cosiddette Lethal Autonomous Weapons Systems (LEWS). Definite come armi automatiche che: “… una volta attivate, sono capaci di selezionare e attaccare un obiettivo senza ulteriori interventi da parte degli esseri umani” (DOD, 2012). Infatti il rapporto del “Panel of Experts on Libya” scrive: “The lethal autonomous weapons systems (LAWS) were programmed to attack targets without requiring data connectivity between the operator and the munition: in effect, a true “fire, forget and find” capability.” (UN, 2021, pag.17).
Questa soglia non va attraversata: la delega alla macchina di uccidere, pone gli informatici, tutti i computer professionals, di fronte a interrogativi molto simili a quelli affrontati dai fisici nel 1939. Diventa importante ricordare il “Roboethics Manifesto“, del 2004, una delle prime posizioni contro lo sviluppo di sistemi digitali e robot “against human beings and the environment”. In questo storico documento la comunità di computer scientist definiva, per la prima volta, il “design, building and use of ‘intelligent machines’ against human beings” un crimine contro l’umanità (Veruggio, 2004). Le posizioni più lucide contro le LAWS si basano sulla impossibilità di applicazione del diritto umanitario in guerra (distinzione e proporzionalità) e di un’attribuzione di responsabilità (chi è responsabile di un crimine di guerra compiuto da un LAWS?). Viene inoltre negata la dignità umana: la vittima di un LAWS non può fare appello all’umanità di “qualcuno che si trovi dall’altra parte” (Tamburrini, 2018).
Queste sono anche le principali argomentazioni della campagna internazionale per fermare le armi autonome: “Campaign to stop killer robots” (stopkillerrobots.org).
Infine va segnalato un recente documento delle “Pugwash conferences”, un movimento internazionale fondato nel 1957 a partire dal manifesto con cui Russell, Einstein, e Rotblat esortavano la comunità degli scienziati a denunciare i pericoli della guerra nucleare e a promuovere il disarmo. Nel Novembre 2020 hanno rilasciato un documento dedicato proprio alla cyber-war dove raccomandano:
- di proibire cyber-attack a infrastrutture critiche e installazioni nucleari,
- di studiare le cyber-vulnerabilities delle armi nucleari e del rischio del loro uso accidentale,
- di approfondire gli aspetti etici e legali delle LAWS basati su “intelligenza” artificiale,
- di supportare la UN Global Commission on the Stability of Cyberspace (Pugwash, 2020).
Tutto questo dovrebbe essere di aiuto a sensibilizzare le giovani generazioni di computer professionals a contribuire al rispetto dei primi due principi del “Codice Etico e di condotta professionale” adottato recentemente dall’IFIP (International Federation for Information Processing): “a computing professional should contribute to society and to human well-being, acknowledging that all people are stakeholders in computing; a computing professional should avoid harm” (ACM, 2018; IFIP, 2021).
Bibliografia
– ACM (2018). ACM Code of Ethics. www.acm.org.
– Bletchley (2021). Alan Turing at Bletchey Park. https://bletchleypark.org.uk/learn/resources/faq-alan-turing visitato 5 Giugno 2021.
– Da Vinci, L. (1506). Codice Leicester (f.15A-22v). Da Vinci L. (2002), The Notebooks of Leonardo Da Vinci, Konecky & Konecky, 2002.
– DOD (2012). Directive 3000.09/2012: Autonomy in Weapons Systems, pp.13-14.
– Eilstrup-Sangiovanni, M. (2018). Why the World Needs an International Cyberwar Convention. Philosophy & Technology. 31, 379-407.
– Heims, S.J. (1980). John Von Neumann and Norbert Wiener, from mathematics to the technologies of life and death. MIT Press.
– Herman, C. (2021, 8 May). Cyber attack shuts down vital fuel pipeline to Norteast US. Forbes.
– IFIP (2021, 28 Janury). The global conscience of the profession. IFIP Code of Ethics and Professional Conduct.
[1] “Perché io non iscrivo il mio modo di star sotto l’acqua?…
Questo non pubblico o divulgo per le male nature delli omini,
li quali userebbono li assassinamenti nel fondo de’ mari…”
Leonardo Da Vinci, 1506
MEDIA RELEASE: IFIP Launches Global Code of Ethics for ICT Sector
– Klein G. (1992), The Atheist and the Holy City: Encounters and Reflections. MIT Press.
– LANL (2021). Los Alamos National Labs. www.lanl.gov visitato 5 Giugno 2021.
– Parnas L.D. (1985, Sept-Oct). Why the SDI software system will be untrustworthy. American Scientist, 73:5, 432-440.
– Patrignani, N. (2018, 11 Ottobre). Perché vanno fermati i robot killer. L’Adige.
– Pugwash (2020). Pugwash document on cyber security and warfare. Pugwash conferences.
– Tamburrini, G. (2018). Le armi autonome e le ragioni etiche per il controllo umano significativo dei sistemi d’arma. Rovereto, 13 ottobre 2018, Festival Informatici senza frontiere.
– Unal, B. (2021). Strategic Stability and Cyber and Space Dependency in Nuclear Assets. Chatham House (UK).
– Veruggio, G. (2004). First International Symposium on ROBOETHICS. The ethics, social, humanitarian and ecological aspects of Robotics, 30th – 31st January, 2004, Villa Nobel, Sanremo, Italy.
– Weizenbaum, J. (1976). Computer Power and Human Reason. Freeman.
– Weizenbaum, J. (1985, March-April). Computers in uniform: a good fit? Science for the People, Vol(17), 1-2.
– Wiener, N. (1947, January). A Scientist Rebels. Atlantic Monthly.
