Nell’ambito della “Procurement of AI community”, una delle community presenti nel sito della Commissione Europea, sono state recentemente pubblicate due proposte di clausole standard per l’acquisto da parte delle organizzazioni pubbliche di sistemi di intelligenza artificiale.
Queste clausole, che non costituiscono un documento ufficiale dell’Unione Europea (né, ovviamente, della Commissione) e sono state redatte ai fini di discussione prendendo spunto dall’osservatorio Public Sector Tech Watch che ha già censito circa 900 casi d’uso di sistemi di intelligenza artificiale nel settore pubblico.
Clausole standard per gli acquisti di AI, come funzionano
Pur non essendo documenti ufficiali, le clausole anticipano le previsioni della proposta di Regolamento sull’intelligenza artificiale (COM(2021) 206 final) tuttora all’esame del trilogo e cercano di declinare, sulla base dei requisiti ed obblighi stabiliti in detta proposta, una serie di previsioni che consentano alle organizzazioni pubbliche di procedere agli acquisti di tali sistemi di IA in maniera conforme a quelle che saranno le previsioni regolamentari.
Ovviamente, quindi, per poter esprimere un giudizio definitivo sulla efficacia di dette clausole sarà necessario attendere la pubblicazione del Regolamento nella Gazzetta Ufficiale europea, ma la loro pubblicazione fornisce sicuramente degli utili spunti di discussione e riflessione sulle accortezze contrattuali che dovranno essere adottate nell’acquisto di sistemi di intelligenza artificiale da parte delle amministrazioni pubbliche.
Le clausole sono suddivise in due documenti: il primo per l’acquisto di sistemi di intelligenza artificiale “ad alto rischio”, il secondo per quelli che non presentano un rischio così elevato.
La proposta: clausole per i sistemi ad alto rischio
Come è noto, la proposta regolamentare individua alcuni sistemi di intelligenza artificiale (art. 6) che in base all’utilizzo in uno dei settori indicati negli Allegati II e III della proposta devono ritenersi ad alto rischio, ossia idonei a porre in essere dei rischi elevati per i diritti e le libertà delle persone.
Il documento in esame, quindi, sulla scorta di quelli che sono gli obblighi ed i requisiti previsti dal Regolamento per l’utilizzo di questi sistemi, prevede una serie di clausole volte a specificamente ad indirizzare le pubbliche organizzazioni circa le specifiche previsioni da inserire, in modo da garantire il rispetto delle future previsioni regolamentari.
Viene, quindi, prevista una sezione contrattuale denominata “Requisiti essenziali in relazione al sistema IA” in cui sono stabiliti alcuni obblighi che il fornitore deve assolutamente garantire circa il sistema di intelligenza artificiale in fase di acquisizione da parte dell’entità pubblica.
Il sistema di gestione dei rischi
Le prime garanzie riguardano le dichiarazioni che il fornitore deve rendere circa l’istituzione ed attuazione di un sistema di gestione dei rischi del sistema IA, che deve comprendere le classifiche fasi di tali sistemi, ossia l’individuazione e stima dei rischi, la loro valutazione e la dichiarazione delle misure che sono state adottate per mitigarli.
Interessante notare che viene previsto contrattualmente che il fornitore dichiari l’accettabilità del rischio residuo complessivo (ovviamente a condizione che il sistema IA venga utilizzato conformemente alla finalità prevista).
Il sistema di gestione dei rischi deve essere testato prima della consegna del sistema e il fornitore deve rendersi disponibile anche ad effettuare ulteriori test presso i locali della committente.
La governance dei dati
Le clausole prevedono anche che venga messa a disposizione la documentazione idonea a dimostrare la messa in opera del sistema, stabilendo altresì un aggiornamento periodico dello stesso.
Una particolare attenzione viene posta a quella che è definita la “governance dei dati”. Alcune previsioni, per così dire “di base”, disciplinano i diritti di utilizzo dei set di dati utilizzati per l’addestramento del sistema di intelligenza artificiale, riconoscendo i rispettivi diritti di proprietà intellettuale a seconda che i dati appartengano all’organizzazione pubblica, al fornitore o a terzi.
Nel primo caso è inserito un divieto per il fornitore di utilizzare i dati per finalità diverse dall’esecuzione del contratto (salvo specifiche previsioni contrarie), mentre qualora i diritti di proprietà intellettuale appartengano al fornitore o a terzi viene previsto un diritto di uso non esclusivo degli stessi sempre in congruenza con le finalità del contratto con possibilità di inserire una clausola che consenta alla committente di utilizzare tali dati per ulteriori sviluppi di sistemi di intelligenza artificiale (clausole che però non può essere imposta al fornitore).
In tutte le ipotesi in cui il fornitore abbia accesso ai set di dati (sia propri sia dell’organizzazione pubblica) la clausola 3 stabilisce che lo stesso deve adottare specifiche misure relative alla trasparenza degli stessi, alla finalità originaria della raccolta dei dati, alle scelte progettuali pertinenti ed alle procedure di raccolta, alle operazioni per di pre-processing (ossia etichettatura, pulizia, arricchimento e aggregazione), alla “formulazione di ipotesi pertinenti” relative alle informazioni che i dati dovrebbero misurare e rappresentare, alla valutazione di eventuali bias e le misure adottate per prevenirli e attenuarli ed, infine, alle lacune o carenze che potrebbero impedire il rispetto di tali requisiti ed alle misure necessarie per colmarle.
Oltre a tali specifiche previsioni, che riprendono i contenuti dell’art. 10 della proposta regolamentare, le clausole stabiliscono ulteriori requisiti dei dataset, tra cui una specifica previsione circa la garanzia che “i dati possiedono le proprietà statistiche appropriate, anche, ove applicabile, per quanto riguarda le persone o i gruppi di persone il sistema di IA è destinato ad essere usato” nonché che i medesimi dati siano stati selezionati tenendo conto delle caratteristiche del contesto geografico, comportamentale o funzionale all’interno del quale il sistema è destinato ad essere usato.
Infine, gli obblighi appena citati relativi alle caratteristiche delle banche dati utilizzate devono essere garantita sia nella fase di sviluppo del sistema sia in quella del suo utilizzo.
I rischi
A parere di chi scrive gli obblighi stabiliti dalla previsione appena citata possono creare delle difficoltà applicative nel caso in cui i dati provengano dall’ente committente. In tali ipotesi, infatti, in considerazione delle garanzie richieste al fornitore, allo stesso non si sta solo chiedendo di mettere a disposizione un sistema di intelligenza artificiale, ma anche di svolgere tutta una serie di attività preliminari sul dataset che viene messo a disposizione dall’ente pubblico. Si tratterà, quindi, di dover contrattualizzare separatamente le attività necessarie alla preparazione del dataset, al fine di garantirne i requisiti sopra prevista, da quelle di addestramento e messa a disposizione del sistema di IA vero e proprio.
Ancor più problematico poi applicare tali garanzie qualora l’ente metta direttamente a disposizione il dataset già “impostato” secondo i criteri anzidetti. E’ evidente che in tale ultimo caso non potranno essere operanti le clausole sopra descritte e la responsabilità circa la rispondenza del sistema di IA alle previsioni del Regolamento dovrà essere suddivisa tra il fornitore del modello e l’ente che predispone il dataset per l’addestramento dello stesso.
Il ruolo della documentazione tecnica
Le ulteriori clausole contrattuali contenute nella proposta concernono la messa a disposizione della documentazione tecnica, che deve consentire la valutazione da parte dell’organizzazione pubblica o di terzi della conformità del sistema IA alle previsioni contrattuali nonché un obbligo di aggiornamento della stessa in presenza di modifiche sostanziali del sistema durante la vigenza contrattuale.
Come espressamente previsto dalla proposta regolamentare, inoltre, è necessario che il fornitore si impegni a garantire un sistema di log del sistema, che deve essere in grado di registrare quegli eventi che possono rivelare dei rischi per la salute, sicurezza o per i diritti fondamentali delle persone oppure modifiche sostanziali al sistema.
Il valore della trasparenza
La trasparenza del sistema di IA è presa in considerazione da due clausole: la prima (art. 6) per garantirne la comprensibilità all’organizzazione pubblica, la seconda (art. 13) diretta ad obbligare il fornitore a fornire assistenza alla committente nel caso in cui debbano essere fornire spiegazioni alle persone o al gruppo di persone su cui il sistema di IA è destinato ad essere utilizzato; tale obbligo riguarda in particolare le informazioni necessarie a poter consentire a detti soggetti di verificare il modo con cui l’IA è giunta ad una determinata decisione o a un determinato risultato.
La sorveglianza umana
Anche la garanzia della sorveglianza umana (altro importante requisito richiesto dalla proposta regolamentare per i sistemi ad alto rischio) trova una sua autonoma disciplina nella nelle clausole standard attraverso la previsione di specifiche misure che il fornitore deve implementare per consentire il monitoraggio del sistema, impedire l’eccessivo “affidamento” sui risultati dello stesso ai soggetti che lo utilizzano, essere in grado di interpretare correttamente gli output, essere in grado di non usare, ignorare, annullare o invertire l’output ed intervenire sul funzionamento del sistema anche interrompendone il funzionamento.
Infine, un’apposita garanzia è rilasciata circa la accuratezza, robustezza e sicurezza informatica del sistema fornito, nonché sulla possibilità che la committente possa in ogni momento svolgere degli audit.
Le clausole per i sistemi non ad alto rischio
Il secondo documento è relativo alle clausole standard che potrebbero essere applicate per l’acquisto di sistemi IA non ad alto rischio. Il set di clausole deriva da quelle elaborate dalla città di Amsterdam nel 2018 per l’acquisto di sistemi algoritmici e rappresentano una versione semplificata di quelle proposte per i sistemi ad alto rischio.
Anche in tali ipotesi è previsto che il fornitore comunque istituisca ed attui, prima della consegna del sistema IA, un sistema di gestione dei rischicon caratteristiche ed obiettivi analoghi a quelli che sono stati sopra esaminati nel caso di acquisto di sistemi ad alto rischio.
Rimangono ferme anche le previsioni in materia di governance dei dati, trasparenza, sistemi di logging, sorveglianza umana ed accuratezza, robustezza e sicurezza informatica dei sistemi IA, mentre sono eliminati gli obblighi di audit sul sistema stesso.
L’analisi
Onestamente, tale secondo set di clausole sembrerebbe una mera replica di quelle proposte per i modelli ad altro rischio, mentre la proposta regolamentare in verità stabilisce assai meno requisiti per lo sviluppo e l’utilizzo dei sistemi IA “normali” prevedendo in via generale per tali sistemi solo alcuni obblighi di trasparenza e non decettività.
Inoltre, a parere di chi scrive, le clausole standard proposte non tengono in considerazione delle recenti proposte di modifica dell’AI Act, in cui sono stati inseriti specifici obblighi per i fornitori di “modelli fondazionali” (art. 28b), che, pur se non qualificati ad alto rischio, necessitano comunque di specifiche clausole contrattuali di garanzia che dovrebbero essere adottate dalle organizzazioni pubbliche nel caso di loro acquisto.
