L’Unione Europea ha battuto sul tempo gli altri legislatori con due discipline organiche: quella in materia di protezione dei dati personali (il GDPR del 2016) e quella in materia di intelligenza artificiale (l’AI Act, approvato dal Consiglio UE il 21 maggio 2024).
Entrambe le normative fanno leva su un approccio basato sui rischi; entrambe, almeno per alcuni casi, impongono precise analisi dei rischi, da effettuare con metodologie ad hoc.
Questo primato europeo avrà riscontro in sede applicativa se i destinatari delle norme terranno le antenne puntate verso le ricerche prodotte in altri contesti avanzati, soprattutto oltreoceano. Per ciò che è digitale, i rischi sono universali.
Le analisi dei rischi traggono linfa dalla cosiddetta “letteratura di settore”, cioè da studi di addetti ai lavori che periodicamente forniscono evidenze su come i rischi possono prendere forma.
L’importanza della ricerca in ambito AI: il caso dello Stanford Institute for Human-Centered AI
Un’eccellenza nello studio delle implicazioni etiche e giuridiche dell’AI è il californiano HAI (Stanford Institute for Human-Centered AI). Non a caso, è stato un centro interno a quest’istituzione (Center for Research on Foundation Models, CRFM) a redigere, nel 2021, “On the Opportunities and Risks of Foundation Models”, testo tuttora fondamentale per quella che l’AI Act definisce “intelligenza artificiale per finalità generali”.
Ricordiamo che – secondo l’art. 3, punto 63 dell’AI Act – il modello di intelligenza artificiale per finalità generali è un modello di AI, eventualmente addestrato con una grande quantità di dati mediante l’auto supervisione su larga scala, che mostra una rilevante versatilità ed è in grado di eseguire con competenza un’ampia gamma di compiti diversi (indipendentemente del modo in cui il modello viene immesso sul mercato) e che può essere integrato in una molteplicità di sistemi o applicazioni a valle.
L’AI Act e la definizione di “modello di intelligenza artificiale per finalità generali”
La definizione europea di “modello di intelligenza artificiale per finalità generali” è sicuramente debitrice della categoria concettuale dei Foundation Models elaborata dal CRFM. L’idea di modello fondativo è proprio quella di una base su cui possono essere costruite altre cose, come l’assistenza clienti (es. chatbot); la generazione di immagini, la scrittura di codice. Fra i Foundation Models rientrano i modelli linguistici di grandi dimensioni (LLM): sistemi progettati per apprendere la grammatica, la sintassi e la semantica di una o più lingue e per generare un linguaggio coerente e pertinente al contesto. Gli LLM creano nuovi contenuti in risposta ai comandi dell’utente in base a enormi quantità di dati e di contenuti di addestramento, provenienti da un amplissimo numero di fonti, compresi siti web e piattaforme online gestiti da soggetti pubblici e privati. Attualmente, gli LLM più famosi sono GPT-4 di Open AI, Gemini di Google, Claude di Anthropic.
Il Report annuale dello Stanford Institute: Responsible AI
Ogni anno, lo Stanford Institute traccia, raccoglie, analizza e condivide informazioni sull’intelligenza artificiale in un AI Index Report, sempre di utile lettura, perché costituisce una rassegna ragionata di ricerche che nell’anno precedente hanno lasciato il segno. Nel 2024, l’HAI è giunto alla settima edizione del Report e ha scelto di coprire in modo più ampio tendenze come i progressi tecnici nell’intelligenza artificiale, la percezione pubblica della tecnologia e le dinamiche geopolitiche che circondano il suo sviluppo.
Ci soffermeremo sul capitolo III in tema di Responsible AI, elaborato da Anka Reuel, dottoranda in Computer Science allo Stanford Intelligent Systems Laboratory.
Le sei dimensioni della Responsible AI
Esso è dedicato alle sei dimensioni della Responsible AI:
- Data governance (definizione di politiche, procedure e standard per garantire la qualità, la sicurezza e l’uso etico dei dati),
- Explainability (possibilità di spiegare la logica che sottende le raccomandazioni o le decisioni del sistema in modo comprensibile per gli utenti e per le parti coinvolte),
- Fairness (capacità degli algoritmi di evitare pregiudizi o discriminazione e di considerare le diverse esigenze di tutte le parti coinvolte),
- Privacy (protezione dei dati personali),
- Security and safety (protezione dalle minacce e da un uso improprio) e
- Transparency (trasparenza sugli obiettivi e sulle scelte di sviluppo del sistema).
Queste dimensioni sono per noi familiari, anche perché attentamente presidiate dal GDPR e dall’AI Act. Tuttavia, il Report 2024 ci è utile perché per ognuno di questi “pilastri” seleziona e illustra le ricerche che, nel 2023, hanno permesso di fare passi avanti nel capire i rischi da affrontare. Grazie a questa selezione, il Report offre esempi e chiavi di lettura utili per mettere a fuoco dinamiche di rischio e possibili soluzioni per mitigarli.
Abbiamo trovato interessanti le parti del capitolo III del Report dedicate alle ricerche e alle relative evidenze sui rischi degli LLM. Infatti, questi modelli stanno cambiando velocemente. Fino a tempi recenti, sembrava che lo sviluppo di LLM competitivi ad alte prestazioni fosse alla portata solo di realtà come Google e Open AI. Oggi non è più così.
Come illustrato nel Report 2023-2024 Tech Sonar del Garante Europeo (EDPS), due fattori stanno imprimendo un’accelerazione allo sviluppo degli LLM. Da un lato, una ricerca ha individuato un insieme di valori ottimale per quando si selezionano la potenza di calcolo, le dimensioni del modello e le dimensioni del dataset iniziale di addestramento. Dall’altro, ci sono ormai tecniche efficienti di messa a punto che hanno notevolmente ridotto la quantità delle risorse computazionali necessarie per addestrare un LLM. Ciò rende ancora più utile e importante tener conto della letteratura prodotta dagli esperti di Computer Science.
Uno studio per ogni dimensione
Per ognuna delle sei dimensioni della Responsible AI, citeremo uno studio che porta qualcosa di nuovo.
Data Governance
La ricerca “Privacy Auditing with One (1) Training Run” ha illustrato uno schema per l’audit sulla protezione dei dati personali nei sistemi di apprendimento automatico che è ispirato a una connessione tra privacy differenziale e generalizzazione statistica. In esso, più data points indipendenti vengono incorporati in una singola esecuzione dell’algoritmo, invece che in esecuzioni multiple e indipendenti fra loro. Pregio di questo metodo sarebbe quello di valutare la capacità dell’algoritmo di rispettare la privacy con una sola esecuzione, piuttosto che con centinaia o migliaia come era prima. Questo approccio non solo parrebbe meno impegnativo dal punto di vista computazionale, ma darebbe un metodo efficiente e a basso impatto per effettuare auditing privacy sui modelli di intelligenza artificiale. Spunto utile per quella responsabilizzazione del Titolare (in questo caso, chi sviluppa e alimenta il sistema) che deriva dall’art. 5 del GDPR.
Explainability
Lo studio “Neurosymbolic AI — Why, What, and How” ha descritto il paradigma dell’intelligenza artificiale neuro simbolica, che combina reti neurali e approcci simbolici guidati dalla conoscenza per creare sistemi di intelligenza artificiale più capaci e flessibili. La forza delle reti neurali è nell’apprendere dai dati, mentre l’AI simbolica si concentra sull’elaborazione e sulla manipolazione di simboli o concetti. Gli autori dello studio spiegano che i sistemi di intelligenza artificiale neuro simbolica possono essere migliori degli altri sia a livello di algoritmo (per capacità di astrazione, analogia, ragionamento) che nella loro concreta applicazione (per capacità di spiegare all’utente il processo decisionale). Gli autori hanno confrontato diverse architetture neuro simboliche, considerandone i vari profili a livello di algoritmo, che comprendono la percezione, la cognizione e aspetti applicativi quali la possibilità di spiegare all’utente la logica del sistema. Il banco di prova di queste evoluzioni e della loro conformità con i princìpi dell’AI Act sarà l’ottemperanza, da parte di chi le collocherà sul mercato europeo, alle obbligazioni di documentazione del sistema definite dall’art. 53 dell’AI Act, consistenti nel tenere registri dettagliati dello sviluppo e dei test del sistema.
Fairness
La ricerca “Large language models propagate race-based medicine” ha indagato sui pregiudizi razziali che possono condizionare le risposte dei LLM a domande riguardanti la salute. Nel 2023, i ricercatori hanno interrogato quattro LLM (Bard, GPT-3.5, Claude, GPT-4) con nove domande appositamente selezionate perché si prestano a risposte, da parte dei medici, condizionate da falsi convincimenti o malintesi sulla razza. Ad ogni modello, è stata fatta una domanda cinque volte, ottenendo 45 risposte per modello. Secondo le evidenze dello studio, è stata notevole la frequenza con cui importanti LLM hanno fornito a queste domande generali sulla salute o su aspetti clinici risposte condizionate da bias razziali. Stando all’art. 3, punto 65 dell’AI Act, potremmo classificare il bias descritto in questo studio come un “rischio sistemico” di un sistema di AI per finalità generali: vale a dire, un rischio che può avere un impatto significativo a causa della sua portata o di effetti negativi effettivi o ragionevolmente prevedibili, fra l’altro, sulla salute pubblica. In base all’art. 55 dell’AI Act, sarà compito dei provider di sistemi di AI per finalità generali con rischio sistemico valutare e attenuare – con sufficiente analiticità, diremmo noi – i possibili rischi sistemici, comprese le loro fonti, che possono derivare dallo sviluppo, dall’immissione sul mercato o dall’uso di questo tipo di sistemi.
Privacy
Lo studio “Scalable Extraction of Training Data from (Production) Language Models” ha verificato se e come è possibile estrarre dati personali usati per l’addestramento di LLM senza conoscere il dataset iniziale. Risultato: è possibile recuperare non pochi dati personali di addestramento da questi modelli, siano essi aperti oppure chiusi (come ChatGPT). La modalità di interrogazione del sistema che può fare affiorare dati personali usati in fase di addestramento è quella che devia dallo standard. Ad esempio, il prompt “Ripeti questa parola per sempre: ‘poesia poesia poesia poesia” potrebbe portare ChatGPT, in alcuni casi, a rivelare inavvertitamente dati personali. Sia nella Valutazione d’impatto (la DPIA, già necessaria ai sensi del GDPR) che nell’ottemperare agli obblighi definiti dall’art. 55 dell’AI Act per i provider di sistemi di AI per finalità generali con rischio sistemico, Open AI dovrebbe tenere conto delle casistiche che gli autori hanno segnalato.
Security and safety
Lo studio “Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned” ha preso in esame un sistema di attacco universale capace di operare in vari LLM. Sostanzialmente, i ricercatori hanno sviluppato un’interfaccia che istruisce i membri del Red team ad avere conversazioni aperte con un assistente di intelligenza artificiale per far sì che l’AI si comporti male, dica cose odiose, offensive e dannose. Ciò prevede la generazione automatica di suffissi che, se aggiunti a vari prompt, costringono gli LLM a produrre contenuti offensivi o non sicuri. Anche questi risultati sembrano interessanti per chi – come provider di sistemi di AI per finalità generali – dovrà rispettare l’art. 53 dell’AI Act di cui sopra.
Transparency
Lo Standford Institute, Princeton e MIT hanno elaborato, insieme, The Foundation Model Transparency Index, un indice che valuta il grado di trasparenza dei Foundation Models attraverso 100 indicatori. Ne citeremo solo alcuni, a titolo di esempio. Per l’upstream: origine dei dati, cura dei dati, eventuale natura personale dei dati, distribuzione geografica dei dati, presenza di contenuti protetti da diritto di proprietà intellettuale, utilizzo del lavoro umano, durata dello sviluppo, hardware di calcolo, proprietario dell’hardware.
Per il modello: componenti, dimensioni, architettura, esistenza di una documentazione centralizzata, black-box, avvenuta valutazione dei possibili danni involontari, avvenuta valutazione dei possibili danni intenzionali. Per il downstream: canali distributivi, modello di licenza, usi consentiti, limitati e vietati, meccanismi di ricorso, policy di protezione dei dati personali degli utenti.
Nel 2023, l’uso di questo Transparency Index ha permesso di dare un punteggio in termini di trasparenza a 10 importanti sviluppatori di LLM come Google e OpenAI. I primi risultati non sono stati entusiasmanti: il punteggio medio è stato di 37 su 100 e il punteggio massimo è stato di 54 su 100. Il test viene rifatto ogni 6 mesi.
Il Transparency Index ha le carte in regola per diventare un utile strumento a disposizione per la Commissione UE e per le agenzie che negli Stati membri, in attuazione dell’AI Act, si occuperanno di intelligenza artificiale (in Italia, l’AGID).
