Con la crescente adozione dell’Intelligenza Artificiale in ambiti esposti al rischio di attacchi informatici, la cybersecurity è diventata una priorità cruciale. Anche l’AI Act, il regolamento dell’Unione europea per le applicazioni di IA, ne ha riconosciuto la rilevanza, ponendo dei requisiti ad hoc per le applicazioni ad alto rischio.
In questo contesto, il focus si concentra verso due minacce sempre più rilevanti per la sicurezza delle applicazioni di IA: il data poisoning e gli adversarial attacks. Il data poisoning si riferisce alla manipolazione dei dati utilizzati per addestrare i modelli di IA, mentre gli adversarial attacks mirano a ingannare i sistemi di IA manipolando input impercettibilmente per gli esseri umani ma altamente influenti per l’algoritmo. Queste minacce rappresentano un serio rischio per la sicurezza delle applicazioni di IA, poiché possono compromettere l’integrità dei risultati e portare a conseguenze dannose, spesso con implicazioni significative per la privacy, la sicurezza e la fiducia pubblica.
In un mondo in cui la tecnologia avanza rapidamente, è essenziale adottare misure robuste per garantire che l’IA continui a essere un motore di innovazione e progresso, mantenendo nel contempo elevati standard di sicurezza e affidabilità.
Le disposizioni dell’AI Act delineano requisiti specifici per le applicazioni ad alto rischio, mentre la prevenzione attiva e la vigilanza costante sono essenziali per contrastare queste minacce in continua evoluzione. Affrontare efficacemente queste sfide, anche attraverso il supporto degli standard, richiede un impegno continuo per garantire che l’IA sia utilizzata in modo sicuro e responsabile, proteggendo al contempo la privacy, la sicurezza e la fiducia del pubblico.
Come l’Unione Europea regola l’IA: l’AI Act
Dopo un lungo iter legislativo, il 13 marzo è stato approvato l’AI Act dal Parlamento europeo. Entrerà dunque in vigore la prima legge al mondo per regolamentare l’intelligenza artificiale.
Nello specifico, l’AI Act delinea quattro livelli di rischio per le applicazioni di IA: rischio inaccettabile, rischio elevato, rischio per requisiti di trasparenza e rischio minimo o nullo.
Questa categorizzazione ha lo scopo di incentivare lo sviluppo responsabile delle tecnologie di IA o che contengono elementi di IA, dando così il via a percorsi di conformità che i fornitori dovranno seguire per allinearsi a quanto stabilito dalla legge. Saranno proibiti i sistemi di IA che potrebbero essere utilizzati in modo intrusivo e discriminatorio, con rischi inaccettabili per i diritti fondamentali dei cittadini, la loro salute, la loro sicurezza o altre questioni di interesse pubblico.
Tra le applicazioni di intelligenze artificiale a rischio inaccettabile, ci sono la manipolazione dei comportamenti delle persone o di gruppi vulnerabili, come ad esempio i giocattoli parlanti per bambini, e il social scoring, ossia l’assegnazione di punteggi alle attività e interazioni di un individuo per valutare il suo comportamento e affidabilità sociale.
Una rappresentazione sommaria dei differenti livelli di rischio identificati nell’AI Act è fornita nell’immagine di seguito.
Fonte: Rielaborazione Intellera Consulting sulla base dell’AI Act
Facendo riferimento specifico ai sistemi di IA ad alto rischio, l’AI Act individua due categorie differenti di sistemi riconducibili a questa definizione.
La prima comprende i sistemi di IA utilizzati come componenti di sicurezza di prodotti (o che sono esse stesse prodotti) normalmente soggetti a valutazione di conformità ex-ante da parte di terzi, coperti dalla legislazione di cui all’Allegato II del Regolamento (la normativa di armonizzazione dell’UE in base al Nuovo Quadro Normativo, per esempio il regolamento sulle macchine, la direttiva sulle apparecchiature radio, il regolamento sui dispositivi medici e il regolamento sulla diagnostica in vitro; altre normative di armonizzazione specifica di settore comprese quelle sulle automobili, aeromobili o il sistema ferroviario).
La seconda, invece, include i sistemi di IA che presentano rischi per i diritti fondamentali. L’AI Act, infatti, specifica otto aree di applicazione dove un sistema di IA è considerato ad alto rischio per i diritti dei cittadini europei. L’Allegato III prevede nello specifico che siano considerati ad alto rischio alcuni sistemi per il riconoscimento biometrico, i sistemi per la gestione e il funzionamento di infrastrutture critiche e digitali, i sistemi per istruzione e vocational training, i sistemi per la gestione del personale, i sistemi che regolano l’accesso a servizi e benefici essenziali – pubblici e privati -, i sistemi di law enforcement, i sistemi di gestione dei flussi migratori, asilo e controllo delle frontiere, i sistemi di amministrazione della giustizia e processi democratici.
IA ad alto rischio: i requisiti volti a garantire una maggiore affidabilità
Le applicazioni di IA ad alto rischio sono soggette a requisiti particolari, volti a garantire una maggiore affidabilità di questi sistemi. I requisiti a cui le applicazioni ad alto rischio sono soggette sono:
- Istituzione di un sistema di risk management (e di quality management).
- Istituzione di processi e pratiche relative a dati e data governance.
- Predisposizione e aggiornamento di documentazione tecnica relativa al sistema.
- Mantenimento dei record relativi alle performance del sistema in tutto il suo ciclo di vita.
- Garanzia di trasparenza e informazione nei confronti di chi rilascia il sistema (deployer).
- Garanzia di supervisione umana durante l’intero ciclo di vita del sistema.
- Rispetto dei principi di accuratezza, robustezza e cybersecurity.
- Conduzione di un’analisi d’impatto – Fundamental Rights Impact Assessment – per verificare che il sistema non causi danno ai diritti fondamentali degli esseri umani. Tale analisi deve essere condotta prima che il sistema venga messo in uso e si applica a: (i) enti di diritto pubblico; (ii) operatori privati che forniscono servizi pubblici; (iii) operatori che implementano sistemi per la valutazione del credito o la valutazione di assicurazione su vita e salute.
Gli obblighi di trasparenza
Gli obblighi di trasparenza, invece, si applicano alle applicazioni che: interagiscono in modo diretto con gli esseri umani (come le chatbot), generano o manipolano contenuti (cosiddetti “deep fake”) e vengono usate per rilevare le emozioni o determinare l’associazione a categorie (sociali) sulla base di dati biometrici. I requisiti di trasparenza si applicano trasversalmente a tutte le applicazioni che rispettano tali criteri, anche se di diverso livello di rischio.
I requisiti specifici per i sistemi di IA generativa e i modelli di base
Per i sistemi di IA generativa e i modelli di base (General Purpose AI – GPAI) che li compongono sono previsti requisiti specifici come: regole su sicurezza informatica, trasparenza dei processi di addestramento, condivisione della documentazione tecnica, valutazioni di questi pericoli e strategie di mitigazione e, infine, obbligo di comunicare alla Commissione eventuali incidenti.
Riguardo al meccanismo di governance interno ai Paesi dell’Unione, è stato stabilito che ogni Stato Membro dovrà designare una o più autorità nazionali competenti per la supervisione dell’applicazione e dell’attuazione dell’AI Act.
Per i sistemi di IA generativa e i modelli di General Purpose (GPAI), alla base degli stessi, lo scorso 24 gennaio è stato istituito l’AI Office, che fungerà da struttura di governance a livello europeo con compiti specifici in relazione questi modelli. Essendo il primo organismo al mondo con il potere di applicare le norme su GPAI, l’Office rappresenta un punto di riferimento internazionale per la governance dell’AI, sostenendo l’UE e gli Stati membri nel contesto della cooperazione internazionale relativa all’applicazione delle norme applicabili all’IA generativa.
Quali rischi in ambito cybersecurity per le applicazioni IA
La cybersecurity è un tema centrale dell’AI Act, tanto che il legislatore ha dedicato un articolo volto a regolamentare la cybersecurity per le soluzioni ad alto rischio (Art. 15). L’articolo 15 sottolinea l’importanza della robustezza dei sistemi di IA ad alto rischio contro tentativi di manipolazione da parte di terzi non autorizzati, che potrebbero alterarne l’uso, i risultati o le prestazioni. Questa resilienza richiede soluzioni tecniche mirate a migliorare la cybersecurity. Metodi statistici, formali ed empirici rispondono a questa esigenza, offrendo una vasta gamma di metriche di robustezza, misure di testing delle performance e metodologie di benchmarking per rafforzare i sistemi e mitigare i rischi associati.
A partire da questi metodi per verificare la robustezza di un sistema di IA, l’AI Act raccomanda l’adozione di soluzioni tecniche per affrontare vulnerabilità specifiche dell’IA, tra cui misure per prevenire, rilevare, rispondere, risolvere e controllare attacchi come il data poisoning e gli adversarial attacks. Vista la gravità di queste minacce e il potenziale deterioramento delle performance dei modelli di IA, è cruciale concentrarsi su questi concetti al fine di prevenire danni alla comunità di stakeholder coinvolta nello sviluppo, rilascio ed uso di tali modelli.
Data poisoning
Gli attacchi di data poisoning rappresentano una forma sofisticata di minaccia informatica, che mira alla compromissione dell’integrità dei sistemi di IA introducendo deliberatamente dati contaminati nei loro processi di apprendimento. Ad esempio, un attaccante potrebbe avvelenare i dati di un sistema di riconoscimento facciale per far sì che identifichi erroneamente o non riconosca determinate persone o gruppi di persone, o manipolare i dati di un sistema di raccomandazione per promuovere o declassare determinati prodotti o servizi.
Questi esempi illustrano come gli attacchi di data poisoning possano minare la fiducia e l’affidabilità degli algoritmi di IA, compromettendo la loro capacità di prendere decisioni accurate e imparziali.
Come mitigare i rischi di data poisoning
La mitigazione degli attacchi di data poisoning richiede l’implementazione di pratiche rigorose per garantire la qualità dei dati. Una strategia fondamentale consiste nell’assicurare la validità, la coerenza e la diversità delle fonti di dati utilizzate per l’addestramento dei modelli di IA. Questo implica una selezione attenta e una verifica delle fonti per evitare l’uso di informazioni non affidabili o non controllate, come i feedback degli utenti o lo scraping web. Inoltre, è essenziale stabilire politiche di gestione dei dati robuste, utilizzando strumenti come la crittografia e l’autenticazione, per proteggere i dati da accessi non autorizzati. Questo approccio, che pone l’accento sull’integrità e la sicurezza dei dati, riduce significativamente il rischio di attacchi di data poisoning e migliora l’affidabilità dei sistemi di IA. Altrettanto importante è un controllo metodico e ricorsivo del sistema di IA per individuare potenziali attacchi di data poisoning, utilizzando misurazioni e strumenti appropriati per valutare e migliorare le prestazioni dei modelli. Tecniche come la pulizia dei dati e il rilevamento di comportamenti anomali possono essere impiegate per filtrare o mitigare l’impatto dei dati maligni o fuorvianti sui modelli di IA.
Adversarial attacks
Gli adversarial attacks utilizzano perturbazioni non percepibili dalla vista o udito umano per indurre un modello normalmente addestrato a emettere una previsione erronea. In base al livello di conoscenza che l’attaccante ha del modello sotto minaccia, gli attacchi avversari esistenti possono essere suddivisi in attacchi di:
- White box: l’attaccante conosce tutte le informazioni sul modello, compresa la struttura e i parametri. Un esempio di white-box attack potrebbe essere l’aggiunta di piccole perturbazioni ad immagini visive in modo tale che un classificatore di immagini, addestrato per riconoscere oggetti in una scena, li identifichi erroneamente
- Black-box: l’attaccante non sa nulla del modello; di solito l’attaccante deve simulare il modello. Ad esempio, un attaccante potrebbe utilizzare un processo di tentativi ed errori per generare input che causino una risposta errata da parte del modello di IA.
- Grey-box: l’attaccante conosce solo alcuni parametri del modello. Un esempio di grey-box attack potrebbe essere l’uso di tecniche di trasferimento di conoscenza per adattare un attacco sviluppato su un modello simile ma non identico, sfruttando le somiglianze tra i modelli per ingannare il modello target.
Questi esempi mostrano come gli adversarial attacks possano essere sfruttati per ingannare i modelli di IA, indipendentemente dal livello di conoscenza che l’attaccante ha sul modello sotto attacco. La crescente consapevolezza di queste minacce ha reso fondamentale lo sviluppo di tecniche di difesa e di sicurezza per proteggere i sistemi di IA da tali attacchi.
Come mitigare i rischi di adversarial attacks
Tra i metodi più efficaci per contrastare gli attacchi avversari, vi è la verifica e la pulizia dei dati prima dell’input nel modello. Questo implica l’identificazione di anomalie, valori estremi o manipolazioni dannose che potrebbero influenzare le prestazioni o l’integrità del modello, utilizzando tecniche come il filtraggio, la normalizzazione e la trasformazione dei dati. Questa pratica riduce la probabilità di esempi avversari che potrebbero generare predizioni errate. Un’altra strategia consiste nell’addestrare il modello utilizzando esempi avversari, ovvero dati deliberatamente alterati per causare errori nel modello stesso. Questa pratica aumenta la robustezza del modello contro gli attacchi avversari. Infine, il monitoraggio costante degli output del modello è fondamentale per identificare eventuali anomalie o comportamenti inattesi. Questo processo implica il confronto degli output con i risultati desiderati e l’analisi degli stessi attraverso tecniche come il clustering e l’attribuzione, che consentono di individuare e correggere errori o manipolazioni dannose nel modello di IA.
Gli standard come guida alla mitigazione dei rischi alla cybersecurity
Se data poisoning e adversarial attacks pongono dei rischi concreti alla cybersecurity delle applicazioni di AI, un supporto nel guidare le strategie di mitigazione dei rischi è offerto dagli standard in questo ambito. Un esempio di standard utile a gestire i rischi posti dalla cybersecurity è l’”AI Risk Management Framework” prodotto dall’ente di standardizzazione americano NIST. Lo standard offre una guida per identificare, valutare, trattare e monitorare in generale i rischi legati alle applicazioni di AI, e in particolare i rischi legati alla cybersecurity. Per quanto riguarda i rischi cyber, lo standard offre un quadro di gestione per: (i) le caratteristiche di design tecnico della soluzione, come l’accuratezza, robustezza, consistenza e resilienza della souluzione IA; (ii) le caratteristiche socio-tecniche, come l’interpretabilità, la privacy, la gestione dei bias o sicurezza del sistema, presentando inoltre dei (iii) principi guida per l’utilizzo affidabile delle soluzioni AI, legati all’equità del sistema, la trasparenza e la gestione delle responsabilità umane.
Gli standard per i test di sicurezza per le soluzioni di AI
Riguardo invece agli standard per i test di sicurezza per le soluzioni di AI, il gruppo di lavoro di ETSI, ente di standardizzazione europeo, ha delineato diverse metodologie per migliorare la cybersecurity dei sistemi AI. Innanzitutto, il testing della sicurezza dell’IA si concentra sulla creazione di test per individuare eventuali vulnerabilità, valutando la risposta della soluzione a diversi dati input e la sua capacità di gestire richieste di grandi dimensioni, oltre alla sua resilienza contro tentativi di manipolazione. Un secondo punto riguarda la definizione di criteri di adeguatezza del test, per verificare la sicurezza dell’IA. Questi permettono di valutare quando il testing è sufficiente, prendendo in considerazione il numero di vulnerabilità individuate e l’allineamento del comportamento dell’IA con le aspettative durante il testing. Questi criteri sono essenziali per tracciare il progresso nella cybersecurity e per determinare il momento appropriato per concludere un test di sicurezza. Infine, è da notare l’importanza dei security test oracles, poiché questi determinano se un test ha avuto successo o meno, verificando gli output dell’IA rispetto ai risultati attesi e monitorando il suo comportamento per eventuali anomalie.
