Con la rapida evoluzione dei modelli di intelligenza artificiale disponibili al pubblico, aumentano anche le potenziali implicazioni per la sicurezza e l’incolumità degli utenti, abbinate a una maggiore comprensione dei rischi e vulnerabilità collegati al loro utilizzo soprattutto in ambienti professionali.
È indubbio che sia necessario sviluppare standard condivisi di sicurezza, incolumità e trasparenza che diventino le basi per lo sviluppo e il funzionamento dei modelli di AI, e che allo stesso tempo rappresentino il riferimento per gli ecosistemi e le community aperte. Per fare ciò, però, è necessario cambiare il nostro approccio, affrontando sfide attuali come l’incoerenza delle informazioni sui modelli, la mancanza di distinzione tra problemi di sicurezza e di incolumità e la carenza di valutazioni di sicurezza omogenee per tutti gli sviluppatori di modelli di AI.
Indice degli argomenti
Rischi e vulnerabilità dei modelli di intelligenza artificiale
Pur presentando aspetti simili, sicurezza e incolumità dell’AI sono aspetti distinti della gestione dei rischi nei sistemi di intelligenza artificiale. Se il primo si riferisce alla protezione dei sistemi da minacce esterne e interne, il concetto di incolumità dell’AI fa riferimento alla necessità di garantire che il sistema e i dati non minaccino o danneggino gli utenti, la società o l’ambiente nel corso del loro funzionamento, addestramento o uso del modello. Tuttavia, i confini tra i due aspetti sono spesso labili.
Un attacco che in genere sarebbe considerato un problema di sicurezza può portare a problemi di incolumità (o viceversa). Allo stesso modo, un modello che produce contenuti dannosi o che espone informazioni personali può minare la sicurezza dei modelli. L’intersezione tra sicurezza e incolumità dell’AI evidenzia la necessità fondamentale di un approccio olistico alla gestione dei rischi che affronti contemporaneamente sia le minacce al funzionamento dei modelli che i potenziali danni che essi possono creare.
Velocità e compromessi nella sicurezza dell’intelligenza artificiale
Sebbene il mondo dell’AI abbia adottato diverse misure per affrontare i problemi di sicurezza e incolumità, rimangono comunque alcune sfide chiave legate soprattutto all’esigenza di velocità, che può portare a compromessi sull’incolumità, a una governance inadeguata e a pratiche di reportistica degli incidenti carenti. Le tendenze emergenti suggeriscono che concentrarsi su queste aree è fondamentale per lo sviluppo di pratiche efficaci di sicurezza, incolumità e trasparenza nell’AI.
Velocità contro incolumità nella sicurezza IA
Per perseguire l’obiettivo di sviluppare e implementare rapidamente le tecnologie di AI al fine di assicurarsi una maggiore quota di mercato, molte organizzazioni stanno dando priorità al time-to-market rispetto ai test di sicurezza e alle considerazioni etiche. Come dimostrano i numerosi incidenti registrati fino ad oggi, molto spesso la sicurezza non è al passo con le tecnologie nascenti, il che generalmente comporta che si verifichino incidenti gravi prima che il settore inizi a correggere il tiro. È ragionevole prevedere che, in assenza di una spinta alla gestione del rischio nell’AI, potremmo dover affrontare un incidente di sicurezza e incolumità significativo e critico. Se per i nuovi modelli introdotti sul mercato la sicurezza e l’incolumità sono aspetti considerati “by-design”, manca ancora comunque un consenso generale su come trasmettere le necessarie informazioni necessarie in termini di sicurezza e trasparenza, il che rende difficile valutare correttamente anche questi modelli. Tuttavia, l’aumento di modelli attenti alla sicurezza rimane un passo avanti positivo per l’intero settore dell’AI.
Governance e autoregolamentazione nell’ecosistema dell’IA
Con pochissime normative in vigore, il settore dell’AI si è affidato all’autoregolamentazione volontaria e a linee guida etiche non vincolanti, che si sono in realtà dimostrate insufficienti nell’affrontare i problemi di sicurezza e incolumità. Inoltre, la legislazione proposta spesso non è in linea con le realtà dell’industria tecnologica o con le preoccupazioni sollevate dalle aziende leader e dalle comunità del settore. Allo stesso tempo, le iniziative aziendali in materia di AI possono non essere adeguate ad affrontare i problemi strutturali o a fornire una presa di responsabilità sufficiente in quanto sviluppate appositamente per l’uso di ciascuna azienda.
L’autoregolamentazione ha avuto un successo limitato e tende a coinvolgere un insieme definito di best practice implementate indipendentemente dallo sviluppo delle funzionalità primarie. Come si è visto storicamente in tutti i settori, dare priorità alla sicurezza a scapito delle funzionalità è spesso un compromesso che le parti interessate non sono disposte ad accettare. L’AI complica ulteriormente la situazione estendendo questa sfida fino a un potenziale impatto diretto sull’incolumità.
Criticità nella reportistica dei modelli di intelligenza artificiale
Allo stato attuale, nel settore mancano un metodo e una prassi condivise per la gestione delle segnalazioni dei difetti dei modelli di AI da parte degli utenti. Ciò è dovuto in parte al fatto che il sistema di divulgazione e segnalazione delle vulnerabilità del software, imperfetto ma funzionale, non è una soluzione perfettamente duplicabile per le segnalazioni in materia di AI. L’AI è un’evoluzione tecnica della scienza dei dati e del Machine Learning (ML), distinta dall’ingegneria del software tradizionale e dallo sviluppo tecnologico perché pone maggiore attenzione ai dati e alla matematica e meno a costruire sistemi pronti all’uso con metodologie consolidate per la modellazione delle minacce, l’interazione con gli utenti e la sicurezza di sistema. Senza un sistema di divulgazione e segnalazione dei rischi per la sicurezza condiviso e chiaro a tutte le parti, segnalare un problema contattando direttamente il creatore del modello può essere complicato – e talvolta persino irrealistico. Il ritardo nel creare un sistema di coordinamento e risoluzione degli incidenti comporta che l’impatto di un incidente di sicurezza dell’AI sia potenzialmente molto più grave di quanto visto finora.
Soluzioni e strategie per migliorare la sicurezza dell’IA
Basandoci ampiamente sul lavoro precedente di Cattel, Ghosh & Kaffee (2024), riteniamo che l’estensione dei modelli di schede/sistemi e del monitoraggio dei rischi siano vitali per il miglioramento della sicurezza e dell’incolumità nel settore dell’AI.
Estendere i modelli di schede/sicurezza
I modelli di schede vengono utilizzati per documentare il possibile utilizzo di un modello di AI, nonché la sua architettura e occasionalmente i dati di addestramento utilizzati per il modello. I modelli di schede sono attualmente utilizzati per fornire un insieme iniziale di materiale generato dall’uomo sul modello che diventa poi la base per valutarne la fattibilità. Tuttavia, questi modelli potrebbero avere un potenziale e un’applicabilità maggiori, indipendentemente da dove viaggiano o da dove vengono implementate.
Per confrontare efficacemente i modelli, gli utilizzatori e gli ingegneri hanno bisogno di un insieme coerente di campi e contenuti presenti sulla scheda, che può essere ottenuto attraverso la specifica. Oltre ai campi raccomandati da Barnes, Gebru, Hutchinson, Mitchell, Raji, Spitzer, Vasserman, Wu & Zaldivar, 2019, proponiamo le seguenti modifiche e aggiunte:
- Espandere l’intento e l’uso per descrivere utenti (chi) e casi d’uso (cosa) del modello e come il modello deve essere utilizzato.
- Aggiungere l’ambito di sviluppo per escludere problemi noti che il produttore del modello non intende o non è in grado di risolvere. Ciò garantirà che chi segnala i rischi comprenda lo scopo del modello prima di segnalare un problema che è indicato come non risolvibile rispetto all’uso definito.
- Adattare le informazioni di valutazione per fornire una struttura nidificata volta ad indicare se è stato utilizzato anche un framework e gli output di valutazione che sono stati eseguiti sul modello. Le valutazioni di sicurezza standardizzate consentirebbero a un utente esperto di costruire un modello sostanzialmente equivalente.
- Aggiungere informazioni sulla governance del modello per capire come un utilizzatore o un consumatore può interagire con i creatori del modello o capire come è stato prodotto.
- Fornire riferimenti aggiuntivi, come artefatti e altri contenuti, per aiutare i potenziali consumatori a comprendere il funzionamento del modello e dimostrare la maturità e la professionalità di un determinato modello.
Richiedere questi campi per i modelli di schede consente al settore di iniziare a stabilire contenuti essenziali per il ragionamento, il processo decisionale e la riproduzione dei modelli. Sviluppando uno standard di settore per le schede modello, saremo in grado di promuovere l’interoperabilità dei modelli e dei loro metadati tra gli ecosistemi.
Monitoraggio dei rischi e soluzioni proposte
Sebbene il processo comune di divulgazione delle vulnerabilità utilizzato per monitorare i difetti di sicurezza sia efficace per la sicurezza del software tradizionale, la sua applicazione nei sistemi di AI incontra ulteriori problematiche. In primo luogo, i problemi relativi ai modelli di machine learning devono soddisfare le soglie di validità statistica. Ciò significa che qualsiasi problema o difetto identificato in un modello di AI, come i bias, deve essere misurato e valutato rispetto a standard statistici stabiliti per garantire che siano significativi e rilevanti.
In secondo luogo, le preoccupazioni relative all’affidabilità e ai pregiudizi spesso vanno oltre l’ambito delle vulnerabilità di sicurezza e potrebbero non essere in linea con la definizione corrente. Riconoscendo queste limitazioni, riteniamo che espandere l’ecosistema includendo un comitato centralizzato e neutrale per la divulgazione e la rivelazione coordinata dei rischi e istituire una numerazione comune per difetti ed esposizioni (CFE) potrebbe rispondere a queste preoccupazioni. Si tratta di un concetto simile a quello che ha portato il MITRE ad introdurre il CVE nel 1999 per identificare e classificare le vulnerabilità nel software e nel firmware.
Gli utenti che scoprono problemi di sicurezza devono coordinarsi con i fornitori del modello per valutare e analizzare ulteriormente il problema. Una volta che è accertato che il problema rappresenti un rischio per la sicurezza, il comitato assegna un numero CFE. I creatori e i distributori di modelli possono anche richiedere numeri CFE per monitorare i rischi per la sicurezza che trovano nei propri modelli. Il comitato coordinato per la divulgazione e l’esposizione dei rischi è il custode dei numeri CFE ed è responsabile della loro assegnazione ai rischi per la sicurezza, del loro monitoraggio e della loro pubblicazione. Inoltre, un gruppo aggiuntivo sarà responsabile di facilitare la risoluzione dei rischi per la sicurezza contestati.
Prospettive future e trasparenza nella sicurezza IA
I modelli sviluppati secondo principi open source hanno il potenziale per svolgere un ruolo significativo nel futuro dell’AI. I framework e gli strumenti necessari per sviluppare e gestire i modelli rispetto alle aspettative del settore e dei consumatori richiedono apertura e coerenza affinché le organizzazioni possano valutare ragionevolmente il rischio. Maggiore è la trasparenza e l’accesso alle funzionalità critiche, maggiore è la nostra capacità di scoprire, monitorare e risolvere i rischi per la sicurezza e l’incolumità prima che abbiano un impatto diffuso. Le nostre proposte intendono offrire flessibilità e coerenza attraverso la governance, i flussi di lavoro e la struttura esistenti. Una volta implementate, potrebbero fornire vie più efficienti per risolvere l’urgente necessità di gestire efficacemente la sicurezza dell’AI.
Questo blog è un adattamento dell’omonima ricerca di Red Hat (Bestavros, Chen, Fox, Mollett & Sidhpurwala, 2024), disponibile integralmente qui.
