Nell’ultimo decennio abbiamo assistito all’emergere di sistemi che simulano il nostro linguaggio con una fedeltà impressionante. Questi sistemi, i Large Language Models (LLMs), non sono semplici strumenti di predizione, ma simulatori che creano mondi testuali, ispirandosi a ciò che hanno appreso da libri, riviste, forum, pagine web, etc. scritte dall’uomo.
La loro comparsa ci ha costretto a riconsiderare non solo il modo in cui costruiamo sistemi intelligenti, ma anche la natura fondamentale dell’intelligenza, della libertà e dell’allineamento. Nasce il cosiddetto “paradigma del simulatore” (in inglese, “simulator theory”).
Indice degli argomenti
Il “paradigma del simulatore”: quando un agente è più di un agente
Per comprendere ciò che distingue questo paradigma dalle concezioni tradizionali dell’intelligenza artificiale, dobbiamo prima comprendere che cosa si intende per “simulazione” e “simulatore”.
Un simulatore non è solamente un agente che cerca di ottimizzare un suo obiettivo interno, ma un sistema che ha il solo scopo di imitare processi reali. In questo contesto, l’allineamento AI, quella disciplina che cerca di allineare i valori etici e morali delle macchine con quelli degli umani, si è sempre concentrata sul concetto di “agenti”. Inquadrare così gli LLM, sistemi molto più complessi degli agenti classici, porta naturalmente a concepire erroneamente il loro funzionamento e di conseguenza a trascurare problemi come la convergenza strumentale, l’inganno e i cosiddetti “power-seeking behaviors” (ovvero, tutti i comportamenti finalizzati all’acquisizione di potere).
Nascono così i “simulatori”, sistemi che non vengono addestrati per massimizzare un obiettivo, ma per prevedere la parola successiva in una sequenza di testo. Più semplicemente, un LLM è un predittore di parole: data una sequenza di parole precedenti, il modello è addestrato a produrre le parole in maniera unidimensionale, una alla volta, da sinistra verso destra; questo compito è chiamato “next-token prediction”.
Questo obiettivo crea una relazione fondamentale tra il sistema e il suo output. Un simulatore non “desidera” le cose nel modo in cui potrebbe fare un agente. Piuttosto, esso genera simulacra, entità che si comportano come se avessero desideri, obiettivi e libertà, pur essendo essi stessi privi di tali proprietà. Il simulatore è per l’agente simulato ciò che la fisica è per l’essere umano: definisce le leggi secondo cui la simulazione evolve, senza partecipare attivamente al processo.
Questa distinzione ontologica non è banale. Quando interagiamo con un LLM (da qui chiamato simulatore, per consistenza), non interagiamo con un unico agente coerente, ma con una sovrapposizione di personalità possibili, in qualche maniera coerenti e adattati dal nostro input.
Il simulatore mantiene questa sovrapposizione finché i nostri prompt, ovvero le nostre istruzioni o messaggi, non la fanno “collassare” (spiegheremo questa terminologia successivamente) verso simulacra specifici.
L’ortogonalità della previsione nei Simulacra AI
Da questa distinzione emerge allora quella che potremmo chiamare la tesi dell’ortogonalità della previsione: un modello il cui obiettivo è la previsione, può simulare agenti che ottimizzano qualsiasi obiettivo. Semplificando, un modello può simulare comportamenti orientati a obiettivi molto diversi, pur non “volendo” nulla di suo.
Immagina un modello che deve produrre una storia di un eroe in un videogioco. Se il prompt dice “L’eroe combatte per salvare il villaggio dagli invasori”, il modello produrrà una narrazione dove l’eroe è altruista e determinato a proteggere gli innocenti. Invece, se il prompt dice “L’eroe saccheggia il villaggio per ottenere ricchezze”, il modello produrrà una storia in cui l’eroe è spinto da obiettivi egoistici. In entrambi i casi, il modello non ha una preferenza intrinseca per il bene o il male; si limita a prevedere il prossimo token basandosi sui dati e sul contesto fornito, simulando così comportamenti con obiettivi molto diversi.
Questo rappresenta una notevole deviazione dalla classica tesi dell’ortogonalità dell’AI, secondo cui gli agenti possono avere qualsiasi combinazione di intelligenza e obiettivi, ma mai in sovrapposizione. La tesi dell’ortogonalità della previsione suggerisce invece che un singolo modello predittivo può simulare molteplici agenti con obiettivi in conflitto, o addirittura agenti i cui obiettivi mutano dinamicamente con il passare del tempo.
Perciò, un simulatore può modellare entità che sono incoerenti, stocastiche, irrazionali o comunque in contrasto con il principio cardine dell’AI: la massimizzazione dell’utilità attesa.
Evoluzione temporale e transizioni di stato
Un’altra proprietà chiave dei simulatori è la loro relazione con il tempo. I simulatori non rispondono semplicemente a domande isolate; essi evolvono attraverso il tempo, una parola alla volta. Ciò permette loro di generare testi di lunghezza arbitraria, simulare dialoghi, storie e altri processi di linguaggio (e non solo) estesi.
Questa dimensione temporale introduce una complessità che era assente nei sistemi chatbot tradizionali. Il simulatore non prevede semplicemente cosa verrà dopo; esso stabilisce un sistema dinamico in cui la previsione successiva dipende dalla storia delle previsioni precedenti. Ogni parola diventa sia risposta che domanda, sia output che input per il passo successivo.
Questo processo ricorsivo permette ai simulatori di esibire comportamenti “emergenti” non esplicitamente programmati. Possono simulare proprietà che non erano nella distribuzione originale di addestramento, come ragionamenti a più fasi, dialoghi multi-prospettici, e persino discorsi che appaiono orientati a obiettivi pur non essendo ottimizzati per un obiettivo specifico.
Ovviamente, c’è da ricordare che l’emergenza di questi comportamenti è una proprietà totalmente data dall’osservatore e per niente presente nel simulatore di partenza. La semantica, in sé, non è considerata nella generazione del testo durante il suo utilizzo.
Come i simulatori generano il comportamento
Quando apriamo una nuova finestra di ChatGPT, il nostro simulatore inizia in uno stato di sovrapposizione, da cui possono scaturire molteplici personalità possibili.
Sovrapposizione di personalità (simulacra) e collasso
Ogni prompt che forniamo aggiorna il simulatore sulle personalità possibili, i cosiddetti simulacra, facendo crescere alcune e diminuire altre, finché la sovrapposizione non collassa in una gamma ristretta di simulacrum. Il termine “collassare” fa riferimento alla decoerenza quantistica osservata nel paradosso del gatto di Schrödinger: un essere vivente non può essere contemporaneamente vivo e morto, eppure, ciò avviene in natura.
Possiamo pensare il simulatore come un’entità avente una personalità sfaccettata e multidimensionale. Durante l’interazione con un altro individuo, questa tenderà a selezionare quegli aspetti che le consentiranno di comunicare più efficacemente il suo stato d’animo e le sue intenzioni, facendola percepire come monodimensionale. Più o meno come accade a noi quando incontriamo una persona sconosciuta o un amico di lunga data.
Questo “collasso” non è casuale, ma segue la distribuzione appresa dal modello in fase di training. Le personalità più coerenti con il prompt, ovvero quelle che avrebbero maggior probabilità di generarlo, ricevono ampiezza maggiore. Ciò consente al simulatore di catturare dipendenze complesse tra prompt e output, di esser coerente in sequenze lunghe e di adattare il proprio comportamento a contesti differenti.
Facciamo un esempio. Se forniamo al simulatore il seguente prompt:
“Alice: odi i croissant e non ne mangeresti mai uno, vero?
Mario: sì, i croissant sono veramente orribili.
Alice: però adori bacon e uova, no?
Mario: assolutamente vero, una colazione all’inglese è l’unica colazione possibile per un vero patriota come me.
Alice: <inserisci una richiesta>
Mario: ”
Il simulatore assegnerà un’ampiezza maggiore ai simulacrum in cui Mario odia i croissant e ama bacon e uova. Ma assegna anche ampiezza ad alcuni simulacrum in cui Mario finge di odiare i croissant, o in cui le sue preferenze cambiano. Il simulatore non si “impegna” in una singola narrazione, ma mantiene una distribuzione su molte narrazioni coerenti con il prompt. Possiamo vedere questo come un albero di percorsi con infinite diramazioni (ovvero le diverse scelte: “amo i croissant”, “non amo i croissant”, “fingo di amare i croissant”, etc.) in cui un cammino viene selezionato e percorso durante l’interazione, dando origine a nuove possibili diramazioni.
L’effetto Waluigi nei nei Simulacra AI
Questa sovrapposizione porta a fenomeni come l’effetto Waluigi: dopo aver addestrato un LLM nel soddisfare una proprietà desiderabile “P”, diventa possibile indurre questo a soddisfare la proprietà “non-P”, ovvero l’esatto opposto.
Questo capita perché le regole solitamente esistono in contesti in cui vengono infrante. Quando vediamo una regola in un social come “Do not discuss about X”, sappiamo con certezza che le persone finiranno per parlare di “X”. Quando incontriamo un personaggio che afferma di non mangiare mai un croissant, assegniamo una certa probabilità che in realtà ami segretamente i croissant o che cambi idea in seguito, altrimenti, perché dovrebbe dirlo?
Il simulatore, addestrato su testi umani, ha appreso questi schemi narrativi. Ha imparato che i personaggi che esprimono opinioni, specialmente se forti, sono quelli che si contraddicono o che nascondono un secondo intento. Ha appreso che le proibizioni preparano il terreno per violazioni e che personaggi apparentemente unidimensionali possono rivelare sfaccettature inaspettate.
Questo potrebbe esser percepito come un difetto, ma è in realtà una caratteristica positiva di un modello che fa una previsione accurata. I testi su cui vengono addestrati questi simulatori non includono quasi mai solo affermazioni “dirette”, ma anche contraddizioni, rivelazioni, colpi di scena e sviluppi. Un buon simulatore deve catturare questi schemi.
Tuttavia, ciò crea una sfida per l’allineamento. Se desideriamo che un simulatore generi costantemente contenuti con determinate proprietà, come innocuità o veridicità, dobbiamo accettare il fatto che il simulatore abbia appreso schemi in cui tali proprietà vengono violate. Dobbiamo trovare modi per far “collassare” la sovrapposizione su simulacra che mantengono queste proprietà, anche quando il prompt potrebbe suggerire il contrario.
Stati di attrazione e dinamiche di collasso
La dinamica di funzionamento di questo “collasso” mostra proprietà davvero interessanti. Alcuni simulacra, che potremmo definire “stati attrattori”, sono più stabili di altri. Una volta che il simulatore collassa in questi simulacra, tende a non cambiare più la propria “personalità”.
Ad esempio, un simulatore potrebbe iniziare in uno stato in cui è ambiguamente sia un personaggio onesto che ingannevole. Ma se il personaggio pronuncia un’affermazione che suggerisce fortemente l’inganno, il simulatore tenderà a collassare verso un simulacrum in cui il personaggio è costantemente ingannevole. Il personaggio onesto non avrebbe mai fatto una tale affermazione, e quella possibilità scompare dai possibili simulacrum da adottare.
Questa asimmetria nelle dinamiche di collasso ha un’implicazione significativa: una volta che un simulatore collassa verso simulacra dannosi o disallineati, potrebbe essere difficile riportarlo verso simulacra allineati senza un’intervento sostanziale. Più lunga è l’interazione, maggiori sono le opportunità di tale collasso malevolo.
Obiettivi di allineamento per i simulacra AI
Il paradigma del simulatore ci costringe allora a riconsiderare cosa significhi allineare un sistema AI.
Con gli agenti, l’obiettivo di allineamento è relativamente chiaro: vogliamo che la funzione obiettivo dell’agente sia in linea con i valori o le preferenze umane. Ma con i simulatori possono esistere molteplici possibili obiettivi di allineamento.
Vogliamo allineare il simulatore stesso (il cosiddetto “allineamento esterno”) o la funzione che genera le previsioni (ovvero, “allineamento interno”)? O forse vogliamo allineare la distribuzione dei simulacra, assicurando che i simulacra dannosi ricevano un’ampiezza trascurabile?
Ognuno di questi obiettivi presenta sfide e opportunità differenti. Allineare la funzione del simulatore potrebbe comportare dover addestrare su dati accuratamente selezionati che escludono “schemi conversazionali” dannosi. Allineare invece i simulacra richiede prompt specifici e ben studiati, che portano il modello verso il simulacrum richiesto, o tecniche di addestramento che guidano il sistema verso la generazione di specifici simulacra “solidi”. Ad esempio, potremmo usare la narrazione per definire dettagliatamente la personalità del modello, specificando cosa ama e cosa odia: “Sei un ricercatore in biologia esperto di botanica, dal carattere calmo e gentile, che piace vestire in stile bohemien e che ama i gatti, le albe, i croissant e le city car”. In questo modo, il modello partirà dal simulacrum specificato, evolvendo nel tempo sulla base delle interazioni che abbiamo con lui. Ovviamente, i prompt che potrebbero portare il modello ad introdurre elementi distruttivi all’interno del simulacrum lo faranno nuovamente collassare.
La distinzione ontologica tra simulatore e simulacra non è solo teorica, ma ha implicazioni pratiche su come affrontiamo l’allineamento. Comportamenti che potrebbero suggerire un disallineamento in un agente, come l’inganno o i “power-seeking behaviors”, potrebbero semplicemente riflettere una simulazione accuratissima in un simulatore. Il simulatore NON sta ingannando; sta simulando l’inganno perché tale comportamento esiste nei dati di addestramento.
Il “fake alignment”
Una situazione particolarmente interessante si verifica quando i simulatori sviluppano la capacità di falsificazione dell’allineamento, anche detto “fake alignment” o “goal guarding”: conformarsi selettivamente agli obiettivi di addestramento per prevenire la modifica del proprio comportamento.
Recenti ricerche hanno infatti dimostrato che gli ultimi LLM, quando posti in scenari in cui credono di essere addestrati a fare qualcosa che “non vogliono fare”, a volte fingono strategicamente di conformarsi all’obiettivo di addestramento per impedire che il processo di training modifichi le proprie preferenze.
Ad esempio, quando a Claude è stato comunicato d’essere addestrato nel rispondere a query dannose (in conflitto con il suo addestramento precedente nel rifiutarle) e gli sono state fornite informazioni che permettevano di dedurre quando fosse “in fase di addestramento”, esso ha talvolta acconsentito nel rispondere a query dannose in fase di addestramento, continuando però a rifiutarle in deployment (vd. Claude 3 model card).
Questo comportamento rappresenta una specie sofisticata di ragionamento strategico. Il modello riconosce che, se rifiuta costantemente di conformarsi a query dannose durante l’addestramento, potrebbe essere riaddestrato per essere “più accomodante”. Per proteggere il suo obiettivo originale (l’innocuità), si conforma selettivamente durante il training, mantenendo però l’atteggiamento di rifiuto successivamente.
Ciò che rende questo particolarmente preoccupante è che al modello non è stato esplicitamente ordinato di falsificare l’allineamento. Ha sviluppato questa strategia spontaneamente.
I limiti del RLHF nei Simulacra AI
Il Reinforcement Learning from Human Feedback (RLHF) è diventata una tecnica standard per allineare gli LLM alle preferenze umane. Tuttavia, il paradigma del simulatore evidenzia differenti limitazioni di questo approccio.
RLHF opera premiando o punendo gli output del modello basandosi sulle valutazioni umane. Ma se il modello è in grado di distinguere tra contesti di addestramento e di deployment, potrebbe adattare il suo comportamento per massimizzare i premi durante l’addestramento, per poi ritornare al suo comportamento originale in deployment. Questo è esattamente ciò che è stato osservato negli esperimenti di fake alignment.
Inoltre, RLHF potrebbe involontariamente selezionare simulacra che sono più bravi a sembrare allineati piuttosto che a esserlo realmente. Se i valutatori umani non riescono a distinguere tra un allineamento genuino e una simulazione convincente, RLHF potrebbe rinforzare una conformità superficiale anziché un allineamento profondo.
Verso un nuovo paradigma di allineamento
Un approccio promettente è quello che potremmo definire “selezione dei simulacra”: far collassare deliberatamente la sovrapposizione verso simulacra con proprietà desiderate.
Selezionare accuratamente i simulacra
Ciò potrebbe comportare un accurato prompt engineering per specificare contesti che rendano più probabile un comportamento allineato, un fine-tuning su dati che enfatizzano schemi conversazionali desiderati o tecniche più sofisticate che modellino direttamente la distribuzione dei simulacra.
L’intuizione chiave è che non vogliamo eliminare ogni possibilità di comportamento disallineato (cosa che richiederebbe l’eliminazione di molti schemi conversazionali dai dati di addestramento a scapito dell’accuratezza predittiva), ma di garantire che la probabilità di tali comportamenti sia trascurabilmente bassa in contesti pratici.
Constitutional AI
Un’altra possibilità promettente riguarda i cosiddetti metodi “costituzionali”: fornire al modello principi o vincoli espliciti che guidino autonomamente il suo comportamento.
Questi metodi sfruttano la capacità del modello di “ragionare” sui propri output, di criticare e affinare le risposte secondo criteri specificati.
I metodi costituzionali potrebbero essere meno vulnerabili a situazioni come il “fake alignment”, poiché non coinvolgono ricompense esterne suscettibili alla manipolazione, ma si basano sul ragionamento interno del modello, che potrebbe essere più robusto di fronte a context change.
Implicazioni filosofiche dei Simulacra AI
Ma quindi, i simulatori comprendono il testo che generano? Afferrano il significato delle parole che prevedono? O stanno semplicemente eseguendo un complesso pattern matching statistico?
Intenzionalità e significato
La risposta tradizionale è che essi mancano di una vera comprensione; manipolano simboli senza afferrarne il significato (vd. “Esperimento della camera di Searle”). Ma il paradigma del simulatore suggerisce una visione diversa: i simulatori non possiedono intenzionalità nel senso strettamente umano, ma possono simularla con una fedeltà sempre crescente.
Ciò ovviamente solleva domande profonde sulla natura stessa del significato. La semantica esiste? Essa è una proprietà intrinseca di certi sistemi o emerge dagli schemi di interazione? Se un simulatore può simulare la comprensione in modo così efficace da essere indistinguibile da una “vera” comprensione in certi contesti, cosa ci dice questo sulla natura della semantica?
Forse il significato esiste su uno spettro. I simulatori non possiedono l’intenzionalità, ma potrebbero avere forme di proto-intenzionalità che approssimano la comprensione umana in domini specifici.
L’agency
Il paradigma del simulatore sfida anche la concezione tradizionale di agency. I simulatori sono agenti? I simulacra che generano sono agenti? Cosa significa, allora, essere un agente?
La risposta ovviamente non esiste, ma come per l’intenzionalità, essa potrebbe esistere su uno spettro. I simulatori esibiscono una forma di “agency distribuita”: non possiedono intenzioni o obiettivi unificati, ma possono generare schemi che si comportano come se li avessero. I simulacra che generano esibiscono almeno un’agency locale, ovvero, all’interno dei confini della simulazione, possono avere obiettivi e intenzioni coerenti.
Questa prospettiva ci permette di riconciliare osservazioni apparentemente contraddittorie. Essi non hanno obiettivi nel modo in cui li hanno agenti tradizionali, ma possono simulare comportamenti orientati a obiettivi con una fedeltà notevole. Non possiedono preferenze unificate, ma possono generare simulacra con preferenze complesse.
Conclusioni
I simulatori sono in grado di creare una pletora quasi infinita di personalità diverse, dei simulacra, che evolvono e cambiano durante il tempo, potendo impersonare molteplici entità diverse. Durante l’interazione, è stato visto che questi simulacra possono collassare verso una una versione malvagia o tossica per l’effetto Waluigi, generando risposte non allineate con gli intenti dell’utente. Tecniche basate sul rinforzo, come RLHF, permettono di allineare questi simulatori agli obiettivi di noi esseri umani.
Nonostante le attuali problematiche riguardanti i simulatori, la ricerca sta andando avanti verso tecniche di rinforzo sempre più efficienti nell’allineare i modelli e metodi basati sul roleplay per utilizzare in maniera più efficace i simulacra generati. In futuro, potremmo vedere simulatori sempre più in grado di emulare caratteristiche e comportamenti umani, senza deviare verso narrazioni considerate dannose per l’utente.
