I problemi del digitale che tendiamo a sottovalutare di più

Nel dibattito sulle tecnologie di IA concetti come algoritmo o bias hanno guadagnato una grande popolarità, non importa ora se positiva o negativa, senza che talora sia persino chiaro come e perché ciò accada, mentre altri concetti, ai primi strettamente connessi (e quindi loro friends), sfuggono all’attenzione pur non essendo meno importanti o degni d’attenzione.

Parliamo, in casi come questi, di missing friend, ossia il fenomeno che ricorre quando un termine o concetto, che è strettamente collegato a un altro ben noto e ampiamente discusso, viene sistematicamente sottovalutato, se non ignorato del tutto.

Bias e rumore, algoritmi e dataset, black boxes, lock-in e back doors: hanno matrici tecniche comuni o interconnesse, perché, allora, essi hanno queste vite così diseguali, piene di notorietà o neglette?

Intelligenza artificiale, tutti i pregiudizi (bias) che la rendono pericolosa

Missing friends: i bias

I bias, quando si discute di processi decisionali o di predizioni, vengono spesso indicati come il punto centrale di ogni problema, e talora vengono, in modo approssimativo, usati come equivalente di pregiudizio (negativo).

In fisica e tecnica elettronica, bias è un errore sistematico, cioè il valore di una variabile introdotta appositamente o sempre presente^[1]. A dispetto della sua grandissima popolarità il bias non è solo nel produrre errori decisionali. Ma, come dice, con esemplare chiarezza, il premio Nobel Daniel Kahneman, insieme a Olivier R. Sibony e Cass R. Sunstein^[2], l’errore decisionale ha due diverse componenti, il bias e il rumore, cioè la “deviazione sistematica e la dispersione casuale. […] Per comprendere un errore di giudizio occorre capirne sia il bias, sia il rumore. Qualche volta […] il problema principale è il rumore, ma nei discorsi sull’errore umano e nelle organizzazioni di tutto il mondo è raro che il rumore venga riconosciuto: è sempre il bias a occupare il centro della scena. Il rumore fa solo da comparsa o spesso resta addirittura fuori dalla scena. Il tema del bias è stato affrontato in migliaia di articoli scientifici e decine di testi divulgativi ma sono in pochi a fare cenno al problema del rumore”. Una conferma, tra le tante, la si ha analizzando la bella voce Ethics of Artificial Intelligence and Robotics (2020) nella Stanford Encyclopedia of Philosophy, dove la parola noise ricorre solo due volte a fronte delle trentasei volte di bias.

Rumore

Il rumore si manifesta nei più diversi campi e consiste in variazioni indesiderate in un giudizio espresso sullo stesso caso dalla stessa persona, e può essere determinato dall’umore, dalla stanchezza e persino dal tempo atmosferico. “Within the same person, there is variability, too. Your heartbeat is not exactly regular. You cannot repeat the same gesture with perfect precision […] you are not the same person at all times [enfasi aggiunta]”^[3]. Su queste basi, sia detto incidentalmente, si può capire quanto possa essere illusoria, se non controproducente, la strategia human in the loop.

La grande variabilità rende difficile il controllo del rumore, più di quanto accada per i bias, perché questi, in quanto errori sistematici frutto di incuria o di deliberata volontà manipolatoria, si manifestano in tutte le occasioni in cui un insieme di circostanze si verifica e possono essere insidiosi, ma, una volta scoperti, sono relativamente facili da rimuovere.

Senza assolvere o sminuire la gravità dei bias, stupisce l’eccesso di popolarità negativa di cui essi godono se messa a paragone con la scarsa considerazione della grande insidiosità del rumore (noise), entità che noi iscriviamo alla categoria di amico mancante (missing friend) nell’analisi dei processi decisionali.

L’algoritmo: emblema dei pericoli delle tecnologie di IA

Altro esempio di amico mancante è dato dagli algoritmi. Essi sono oggetto di un’attenzione che fa di essi entità quasi mitologiche: ogni decisione difficile da spiegare o socialmente dannosa sembra essere frutto di un algoritmo malefico e malevolo. L’algoritmo è, così, quasi irriconoscibile rispetto alla sua realtà che lo vuole come sequenza logico-matematica che consente di estrarre conoscenza da dati. E, invece, tocca vederlo incolpato, in modo assolutamente prevalente, se non da solo, dei malanni del mondo, della società degli algoritmi o dello algorithmic State.

Tra i tanti esempi si può citare una recente prestigiosa raccolta di interessanti saggi presso Cambridge University Press, che è dedicata esattamente alla società algoritmica come sfida costituzionale^[4]. Molti hanno subito il fascino del neologismo algocrazia sull’onda del saggio di John Danaher sulla minaccia dell’algocrazia, appunto^[5]. E persino la Pontificia Accademia per la Vita si è fatta promotrice in un incontro a Roma (28 febbraio 2020^[6]), insieme a Microsoft, IBM, FAO, Governo italiano, di un documento teso a promuovere una algor-etica (algo-ethics).

Ora poco importa (ai fini del discorso sui missing friends) che nel documento si precisi, in modo condivisibile, che lo scopo del documento romano è quello di promuovere lo sviluppo e l’utilizzo dell’intelligenza artificiale nel suo insieme, secondo principi fondamentali di una buona innovazione, così come che negli ottimi saggi contenuti nel volume presso Cambridge Un. Pr. si parli anche di dati e della preoccupante opacità e mancanza di responsabilità.

Il problema è che in questi e altri casi gli algoritmi vengono eretti a emblema dei pericoli delle tecnologie di IA, come se, da soli, avessero la possibilità di fare tutto il male (o il bene) che viene loro attribuito. Ma un algoritmo è solo una sequenza logico matematica: “qualunque schema o procedimento matematico di calcolo; più precisamente, un procedimento di calcolo esplicito e descrivibile con un numero finito di regole che conduce al risultato dopo un numero finito di operazioni, cioè di applicazioni delle regole. […] In informatica, insieme di istruzioni che deve essere applicato per eseguire un’elaborazione o risolvere un problema”^[7].

Il partner dell’algoritmo: il dataset

Ma l’algoritmo ha un partner necessario e indispensabile: il dataset. Il punto critico è l’applicazione dello schema matematico a un insieme di dati. Tanto che, a fronte di un risultato pericoloso o socialmente inaccettabile che sia prodotto da un sistema di IA, non sempre è facile stabilire se la “colpa” sia dell’algoritmo o del dataset o di entrambi. È possibile che un algoritmo sia affetto da bias, non in sé, ma per averli acquisiti dal dataset sul quale è stato allenato (tipico il caso di algoritmi allenati su archivi di polizia che riflettono scelte politiche discriminatorie). E si può anche ipotizzare che non sia colpa di nessuno dei due, preso isolatamente, mentre il risultato biased è frutto di un accostamento non appropriato.

Insomma, i dataset sono i grandi trascurati dell’affaire. Non è un caso se uno dei dieci scienziati dell’anno selezionati dalla rivista Nature sia Timnit Gebru, che per i suoi lavori e le sue posizioni sull’importanza dei dataset, della loro qualità, della conoscibilità del modo in cui sono costruiti ha subito gravi discriminazioni da Google, tanto da dover lasciare la sua posizione. E non è un caso che vi sia un risveglio in questa direzione, come dimostra anche l’incontro che MIT EmTechDigital organizza il 29–30 marzo prossimo, esattamente su questo tema^[8].

Sostiene Timnit Gebru che “i dati giocano un ruolo fondamentale nell’apprendimento automatico. Ogni modello di apprendimento automatico è addestrato e valutato utilizzando dati […]. Le caratteristiche di questi set di dati influenzano fondamentalmente il comportamento di un modello: è improbabile che un modello funzioni bene in natura se il suo contesto di implementazione non corrisponde a quello dei dati di addestramento o di valutazione, o se questi set di dati riflettono pregiudizi sociali indesiderati. Discrepanze come questa possono avere conseguenze particolarmente gravi quando i modelli di apprendimento automatico sono usati in domini di grande importanza, come la giustizia penale, le assunzioni, le infrastrutture critiche, e la finanza. […] I modelli di apprendimento automatico possono riprodurre o amplificare pregiudizi sociali indesiderati che si trovano nei set di dati di addestramento”^[9].

Ecco perché di ogni dataset, bisognerebbe avere una scheda dati (datasheet) che, per tutto il ciclo di vita, indichi il motivo della sua costituzione, la composizione, i criteri di raccolta e di etichettamento, e di mantenimento, e altri dettagli.

Anche qui vi è da chiedersi il perché dell’ombra nella quale vivono i dataset rispetto allo splendore (anche se un po’ dark) nel quale sono immersi gli amici algoritmi.

Black boxes e back door nello sviluppo dell’amministrazione digitale

In questo articolo ci occupiamo di un’altra coppia un po’ trascurata, quella delle black boxes e delle back door.

Il fenomeno delle porte di servizio (back door) è particolarmente rilevante per le Pubbliche amministrazioni. La digitalizzazione della burocrazia italiana è uno dei leitmotiv che hanno guidato la stesura del Piano Nazionale di Ripresa e Resilienza (PNRR), di cui costituisce uno dei tre assi strategici condivisi a livello europeo. Non sembra, quindi, un azzardo osservare che, se nel decennio appena trascorso la luce era puntata sulla digitalizzazione, l’indiscussa centralità che le viene ora riconosciuta e la presenza di cospicui investimenti, consentono finalmente di concentrarsi sul quomodo.^[10] In tal modo, sia detto per inciso, emergono chiaramente le linee guida sia per lo sviluppo di nuove funzionalità e servizi, sia per il miglioramento dell’esistente.

Lo sviluppo dell’amministrazione digitale è andato di pari passo con l’analisi dei rischi a questa connessi, dei quali, però alcuni, come le inesplicabilità di alcuni processi decisionali tecnologicamente assistiti (le temute black boxes), sono stati oggetto di un’attenzione quasi ossessiva, mentre altri, come quelli connessi alle back doors (o ai rischi di lock in), hanno invece attirato una minore attenzione.

Con questo articolo ci proponiamo di mostrare come i rischi in questione siano tutti interconnessi, e per di più abbiano una genesi comune, che ha poco a che vedere con la tecnologia in sé.

Chiediamo al lettore la pazienza di seguirci in questo piccolo meandro oscuro per scoprire un’altra coppia di amici mancanti (missing friends), con qualche sorpresa finale.

Scatole nere: una metafora oscura

Secondo un’idea corrente la maggior parte dei sistemi di apprendimento automatico (machine learning), e soprattutto quelli di deep learning, sono essenzialmente scatole nere (black boxes), in cui non si può davvero controllare come l’algoritmo raggiunga il risultato che raggiunge. Il che, preso alla lettera, costituisce un problema serio per la Pubblica amministrazione.

In realtà la black box è una metafora atecnica e suggestiva, al pari di altre, come per esempio quella dell’oracolo^[11]. La scatola nera si definisce in opposizione a quello che è ritenuto spiegabile o spiegato, rispetto al quale essa, per la quale conosciamo solo gli stimoli in entrata (input) e le risposte in uscita (output), si presenta come un’unità le cui operazioni interne non possono essere oggetto di indagine^[12].

È stato fatto notare che la spiegazione può essere intesa in almeno due modi principali. Se si chiede a una persona perché ha compiuto un’azione (sempre che si tratti di una decisione presa con attenzione) si parte dal presupposto che quella persona abbia avuto una buona ragione per aver agito in quel modo e, fondamentalmente, ci si chiede quale sia stato il ragionamento attraverso il quale abbia preso quella decisione, e ci si aspetta che abbia soppesato i pro e i contro e abbia scelto una linea d’azione in previsione di un risultato atteso.

Se invece, ed è il secondo modo di intendere la spiegazione, ci si chiede perché qualcosa sia andato storto, si sta chiedendo una sorta di spiegazione a posteriori di un fallimento. Ad esempio, dopo un incidente d’auto, si potrebbe volere una spiegazione di cosa abbia causato l’incidente. L’autista era distratto? Un’altra macchina lo ha fatto sterzare? In questo caso, più che un ragionamento, si cerca, più o meno, l’evento critico che ha causato una reazione particolare al di fuori del normale comportamento^[13].

La spiegazione che si vorrebbe ricevere o che ci si aspetterebbe, quando si pensa all’intelligenza artificiale, sembra essere quella del primo tipo (la ragione per la quale abbia scelto una linea d’azione sulla base di quale risultato atteso), anche se per lo più i sistemi sono simili al secondo tipo; cioè, ricevono stimoli ai quali reagiscono. Di solito, quindi, bisogna prendere atto che è più difficile capire le ragioni per le quali è stata presa una decisione particolare. In realtà, i sistemi di machine learning e di deep learning non sono scatole nere, nel senso proprio del termine, perché sono costituiti da un insieme di reazioni elementari, ciascuna delle quali sarebbe in sé spiegabile. Ma esse sono molto numerose, e quindi non facili da ricostruire da un umano, oppure, nel caso dei modelli di deep learning (o neural networks), le interazioni sono non-lineari, che significa non solo che non vi è un unico percorso tra input e output, ma che l’effetto di cambiare un input può dipendere dai valori di altri input. Questo rende molto difficile da concepire mentalmente cosa stia accadendo nel sistema, anche se i dettagli sono nondimeno trasparenti e del tutto disponibili per un’eventuale ispezione.

La situazione si può anche rovesciare. Nelle ricerche sulla visione umana, per esempio, si sta tentando, con i sistemi di machine learning, di imitare il comportamento umano usando solo gli input e gli output. In questo caso, se considerato dal punto di vista di un sistema di machine learning, è l’umano a costituire la scatola nera.

In sintesi, si può dire che difficoltà di conoscenza e di ricostruzione delle decisioni sicuramente esistono, ma sono difficoltà materiali (come, per esempio, l’eccessiva onerosità e, quindi, non convenienza economica della ricostruzione) e non il risultato di chissà quale mistero del sistema.

D’altra parte, non sono queste difficoltà le uniche che si incontrano nella nostra vita sociale. Un segreto industriale, per esempio, è un ostacolo giuridico alla conoscenza di un fatto che può avere (che si tratti della formula della Coca Cola o del software proprietario con il quale i giudici americani calcolano l’aumento di pena per rischio di recidiva) effetti di blocco della conoscenza che non sono da meno. Gli esempi in ambito giuridico possono continuare. Un altro effetto black box è creato dal divieto, o dal non uso, della pubblicazione dell’opinione di minoranza, e quindi dissenziente, nella decisione di un collegio: l’effetto è di rendere inesplorabile il confronto di opinioni che si è sviluppato in un collegio.

Ma questo non impedisce di avere un controllo su quella decisione, che deve essere giustificata dal decisore finale nella motivazione e che può essere attaccata su di essa, senza avere la pretesa di ripercorrere i processi psicologici che hanno portato alla decisione.

In conclusione, le black boxes, nel diritto o nelle prassi, esistono, così come esistono nella medicina o nel pilotaggio degli aerei, come è emerso nei disastri dei Boeing 737 Max nel 2019. Si tratta di capire come integrare i processi decisionali, a partire dal fatto che nelle decisioni giudiziarie e della PA nessuno ha mai attribuito formalmente a un sistema di IA il potere di decidere: la decisione è e resta presa da umani e giustificata da umani, che certo possono essere assistititi da sistemi tecnici, che fanno il pari con i volumi di dottrina o le raccolte cartacee di giurisprudenza, che nessuno ha mai pensato che si sostituissero a chi ha la responsabilità di decidere. In altri termini, bisogna distinguere tra il momento dell’esplorazione e della ricerca della soluzione (giuridica) di un caso (context of discovery), dove possono intervenire anche contributi non interamente spiegabili, e quello della sua giustificazione (context of justification/explanation). In termini pratici, un conto è il complesso percorso che il giudicante/decisore compie per arrivare alla decisione di una lite e «un altro è il discorso giustificativo che il medesimo costruisce, al fine di rendere conto della propria decisione»^[14].

Back door e Lock-in

Mentre le black boxes sono, come appena ricordato, al centro della scena da lungo tempo, altri due fenomeni, fra loro strettamente connessi, back door e lock-in, sono passati in sordina.

Il dizionario Treccani definisce il lock-in come il “fenomeno che si verifica quando un agente, un insieme di agenti, o un intero settore sono intrappolati all’interno di una scelta o di un equilibrio economici dai quali è difficile uscire, anche se sono disponibili alternative potenzialmente più efficienti”.

Declinando questa nozione all’interno del settore pubblico con riferimento all’utilizzo delle tecnologie informatiche si ottiene un simile fenomeno di dipendenza. La Pubblica amministrazione italiana, nel corso dei decenni passati, ha fatto ricorso a soluzioni software appaltate a soggetti esterni all’Amministrazione. Ciò principalmente perché le amministrazioni non avevano le risorse professionali interne né per produrre né per mandare avanti le piattaforme di gestioni dei servizi amministrativi e perché ogni ente si è tendenzialmente organizzato in maniera autonoma, appaltando ciascuno i propri servizi a diversi soggetti esterni.

Da ciò ne deriva un’infungibilità indotta del soggetto esterno, che spesso fornisce all’amministrazione non solo il software, ma anche l’hardware e la gestione della parte informatica dei procedimenti o dei servizi. Principale responsabile di questa tendenza assai poco virtuosa (sia in termini di efficacia dell’attività, sia di contenimento dei costi) è il frequente ricorso al software proprietario. L’impossibilità per il singolo ente di emanciparsi dal fornitore iniziale falsa, inoltre, il gioco della concorrenza: il ricorso al software proprietario, infatti, rende il passaggio da un primo operatore economico a un eventuale competitor ancora più svantaggioso.

In più, il ricorso al software proprietario porta con sé il rischio delle back-door. Anche in questo caso può essere utile ricorrere a una definizione: “Una back-door (letteralmente Porta di servizio) è un programma con particolari caratteristiche che permette di accedere a un dispositivo in remoto con privilegi di amministratore, senza che nessun altro utente se ne accorga”^[15]. Il termine back door non ha necessariamente una connotazione negativa, nel senso che può essere un’opzione lasciata consapevolmente e con il consenso dei destinatari per consentire una più agevole utilizzazione da remoto. Non è più neutro quando la back door viene inserita senza autorizzazione. Ovviamente, il fenomeno non riguarda solo il settore pubblico (nota è la polemica, ad esempio, intorno al caso Huawei dello scorso febbraio), ma certo lo scenario diventa molto più cupo se la back door è inserita in un programma che processa dati dei cittadini e delle imprese.

Una soluzione per mitigare il problema del lock-in e delle back door

Una buona notizia c’è, però, a valle di questa disamina all’apparenza nefasta. Esiste, a nostro avviso, una soluzione che può mitigare il problema del lock-in e delle back door e avere un riflesso sui rischi derivanti dalle black boxes. Si tratta di una soluzione che non solo esiste, ma che si colloca già in un quadro normativo che la incentiva (e ciò spiega il richiamo al Piano Triennale dell’informatica in apertura).

Il problema dell’eccessivo ricorso al software proprietario è un problema ben noto – a cui si è cercato di porre rimedio in un primo momento per il tramite della legislazione in materia di amministrazione digitale. Gli artt. 68 e 69 del Codice dell’Amministrazione Digitale (CAD) dettano una disciplina proprio in questa direzione. L’art. 68 sancisce che «ove dalla valutazione comparativa di tipo tecnico ed economico risulti motivatamente l’impossibilità di accedere a soluzioni già disponibili all’interno della pubblica amministrazione, o a software liberi o a codici sorgente aperto, adeguati alle esigenze da soddisfare, è consentita l’acquisizione di programmi informatici di tipo proprietario mediante ricorso a licenza d’uso» (comma 1-ter), così relegando il ricorso al software proprietario a ipotesi residuali, e con un onere motivazione specifico.

L’art. 69 fa un passaggio ulteriore e impone alle pubbliche amministrazioni, che siano titolari di soluzioni e programmi informatici realizzati su specifiche indicazioni del committente pubblico, «di rendere disponibile il relativo codice sorgente, completo della documentazione e rilasciato in repertorio pubblico sotto licenza aperta, in uso gratuito ad altre pubbliche amministrazioni o ai soggetti giuridici che intendano adattarli alle proprie esigenze, salvo motivate ragioni di ordine e sicurezza pubblica, difesa nazionale e consultazioni elettorali».

La direzione del Legislatore è quindi chiara: le amministrazioni devono fare ricorso a software libero e soprattutto devono collaborare nell’ottica di garantirne il riutilizzo. L’assenza, però, di un apparato tecnico ha dato inizialmente alla norma un carattere programmatico, quanto meno fino a tempi piuttosto recenti. L’attuale panorama normativo e operativo è certamente in grande cambiamento: ne sono un esempio alcuni passaggi del piano triennale, dove si legge che «è cruciale il rispetto degli obblighi del CAD in materia di open source al fine di massimizzare il riuso del software sviluppato per conto della PA, riducendo i casi di sviluppo di applicativi utilizzati esclusivamente da una singola PA».^[16]

Le linee guida sull’acquisizione e il riuso di software^[17] indicano di agire su più livelli e migliorare la capacità delle Pubbliche Amministrazioni di generare ed erogare servizi di qualità attraverso, in primo luogo, un utilizzo più consistente di soluzioni Software as a Service già esistenti, attraverso il riuso e la condivisione di software e competenze tra le diverse amministrazioni e l’adozione di modelli e strumenti validati e a disposizione di tutti.

Se, quindi, l’intenzione del Legislatore era ben chiara, gli strumenti ora a disposizione – anche economici – rendono la strada percorribile e da percorrere. Ne sono evidenza anche una serie di piattaforme sviluppate proprio per fornire supporto alle amministrazioni: fra esse spicca ad esempio Developers Italia, nella cui pagina iniziale si legge: «se sei una Pubblica Amministrazione, o un fornitore che lavora con la Pubblica Amministrazione, puoi trovare in Developers Italia le risorse utili e la community per lo sviluppo dei tuoi servizi digitali nonché il catalogo del software pubblico».^[18]

Il software libero, il riuso e l’assistenza sul campo sono gli strumenti più utili per contrastare il fenomeno del lock-in: non solo si riducono le asimmetrie informative fra i diversi produttori di software, consentendo a nuovi attori di vincere eventuali gare per aggiudicarsi il servizio, ma nel migliore dei mondi possibili, si permette alle amministrazioni di gestire direttamente l’attività.

Non viviamo, però, nel migliore dei mondi possibili, ed è per questo che restano alcune zone d’ombra e innegabili difficoltà. Prima, fra tutte, quella della formazione e del reclutamento: le esigenze di competenze informatiche nelle amministrazioni sono radicalmente mutate negli ultimi anni, e se è vero che questo cambiamento è stato compreso a livelli apicali lo stesso non può dirsi per le amministrazioni periferiche.

In più i metodi di reclutamento dell’Amministrazione, per il tramite di macchinosi meccanismi concorsuali, mal si adattano alla necessità di ritagliare su misura i requisiti professionali richiesti. La soluzione potrebbe essere (conservando alcune irrinunciabili modalità di pubblicità) quella di affiancare, in alcuni casi, alle selezioni generaliste l’apertura di posizioni con requisiti curriculari molto stringenti e conformi alle necessità effettive della PA che deve assumere. Questo permetterebbe di superare la prassi che porta a reperire poi al di fuori, fra le figure che popolano il mondo del lavoro privato, le competenze necessarie.

Gli amici ritrovati (friendship regained)

Con i lettori che ci hanno seguito con pazienza nel meandro tecnico e giuridico degli amici mancanti e ritrovati condividiamo alcune domande e dubbi finali.

Vi è da chiedersi quali siano le ragioni di questo fenomeno che abbiamo chiamato dei missing friends.

In alcuni casi sembra prevalere la pigrizia intellettuale o la ricerca del lemma che con più facilità colpisca l’interlocutore e la sua attenzione. Potrebbe essere questo il caso dei bias, che appaiono più comprensibili, e attribuibili a cattiva disposizione o intenti discriminatori di qualcuno, rispetto al complesso fenomeno del rumore nelle decisioni, dove è meno facile trovare un unico responsabile. E qualcosa di simile può dirsi per l’algoretica, che in sé è alquanto artificiosa, ma che poi viene spiegata come approccio etico all’intero mondo dell’IA.

Temiamo, però, che in altri casi subentrino dinamiche diverse. Perché, per esempio, tanta attenzione sulle black boxes, che sono in certa misura un problema non risolvibile (o risolvibile solo allargando il quadro: vedi sopra), mentre si parla poco o nulla delle back doors, che potrebbero essere forse più facilmente sigillate? O del lock-in? Per una parte vi può essere la difficoltà della PA di attrezzarsi per gestire in proprio determinati aspetti tecnici, che potrebbero essere onerosi per gli enti di minori dimensioni. Ma si può escludere che sia anche un cedere alle sollecitazioni di fornitori privati, che si candidano a entrare in un lock-in?

Ma vi è anche un altro aspetto, che potrebbe essere il più importante. Se il codice con cui sono sviluppate le infrastrutture che trattano i dati pubblici fosse o di proprietà dell’amministrazione o sviluppato open source, vi sarebbe un guadagno in termini di trasparenza e conoscibilità degli strumenti, una maggior contributo allo sviluppo da parte della comunità di riferimento e, quindi, una maggior qualità del software, senza contare il maggior controllo diffuso.

Questo potrebbe portare anche a una riduzione dei bias riconducibili ai dati raccolti e instaurerebbe un ciclo virtuoso di partecipazione, controllo e conseguente fiducia da parte dei cittadini e delle imprese. Alla fine, è un po’ come nelle regole del processo o del procedimento amministrativo, dove il rispetto delle regole, chiare e condivise, può ridurre la pressione sull’esito (verdetto) e disinnescare anche la pressione sui percorsi logici e psicologici delle scatole nere. La tecnologia in alcuni casi accentua la divisione del lavoro e delle competenze. Alcuni problemi tecnici possono avere soluzioni tecniche, ma senza fiducia non vi è avanzamento.

Note

1. https://www.treccani.it/enciclopedia/bias/ ↑
2. D.Kahneman, O. R. Sibony, C. R. Sunstein, Rumore. Un difetto del ragionamento umano, UTET, 2021, pp. 10-12 (tit.originale Noise, A flaw in Human Judgment, Little, Brown and Company 2021): gli autori si oppongono con forza “quando si attribuiscono dei clamorosi fallimenti a non specificati bias” qualcosa che non serve a spiegare nulla: “raccomandiamo di riservare la parola bias a errori specifici che possono essere identificati e ai meccanismi che ne sono alla base”. P.190 ↑
3. p.105 versione italiana. ↑
4. https://www.cambridge.org/core/books/constitutional-challenges-in-the-algorithmic-society/constitutional-law-in-the-algorithmic-society/969E0889109C8092AD0AB57019E507E3 ↑
5. John Danaher, ‘The Threat of Algocracy: Reality, Resistance and Accommodation’ (2016) 29 Philosophy & Technology 245. ↑
6. https://www.academyforlife.va/content/pav/it/events/workshop-intelligenza-artificiale.html ↑
7. https://www.treccani.it/vocabolario/algoritmo/ ↑
8. https://event.technologyreview.com/emtech-digital-2022/agenda?utm_source=event_email&utm_medium=email&utm_campaign=emtech_digital_2022.unpaid.acquisition&discount=EMAIL011850&mc_cid=bb255161cb&mc_eid=24673f4347 ↑
9. Timnit Gebru et al., Datasheets for Datasets, Communications of the ACM, December 2021, Vol. 64 No. 12, Pages 86-92, 10.1145/3458723, arXiv:1803.09010 [cs.DB], https://arxiv.org/abs/1803.09010 ↑
10. Si tratta di circa 6,14 miliardi per la digitalizzazione della PA. In questa direzione sembra muoversi anche il nuovo Piano Triennale dell’Informatica (2021-2023), presentato lo scorso 10 dicembre 2021. ↑
11. Che infatti non si trova in testi tecnici come quello di Russell e Norvig. La metafora dell’oracolo è usata, invece, nell’editoriale di «Nature» dopo la vittoria di Alpha GO: Digital intuition, «Nature», 28 January 2016, vol. 529, p. 437. ↑
12. La questione è al centro anche di sviluppi tecnologici, nel senso della chiarezza, ai quali sono interessati anche nel mondo delle imprese. In effetti, deep learning ha la reputazione di essere un metodo «scatola nera». Diverse storie di successo per la costruzione di «scatole di vetro» hanno utilizzato modelli per migliorare la trasparenza e l’interpretazione. Alcuni progetti nel campo dell’intelligenza artificiale spiegabile sono riportati in Morde 2018. Degno di nota l’interesse degli apparati militari al tema della spiegabilità: sul punto si veda Powers 2017. ↑
13. Dallas Card, The ‘black box’ metaphor in machine learning, 2017, disponibile all’indirizzo https://towardsdatascience.com/the-black-box-metaphor-inmachine-learning-4e57a3a1d2b0 ↑
14. Per una illustrazione più estesa, si veda A. Santosuosso, Intelligenza artificiale e diritto, Mondadori Università, 2020, p.108. ↑
15. https://www.federprivacy.org. ↑
16. https://www.agid.gov.it/sites/default/files/repository_files/piano_triennale_per_linformatica_nella_pubblica_amministrazione_2021-2023.pdf. ↑
17. https://www.agid.gov.it/it/design-servizi/riuso-open-source/linee-guida-acquisizione-riuso-software-pa. ↑
18. https://developers.italia.it/. Developers Italia nasce nel 2017 in attuazione di quanto previsto dal Piano Triennale, grazie al Team per la Trasformazione Digitale in collaborazione con l’Agenzia per l’Italia Digitale. A partire da maggio del 2019, con l’introduzione in Gazzetta Ufficiale delle Linee Guida sull’acquisizione e il riuso di software per la Pubblica amministrazione, Developers Italia ospita ufficialmente il Catalogo del software, punto di riferimento del nuovo modello open source. Dal 2020 il Dipartimento per la Trasformazione Digitale cura l’iniziativa con lo scopo di facilitare la condivisione da parte degli attori coinvolti di buone pratiche e di stimolare il dialogo sulla generazione di servizi pubblici digitali. ↑