Per grandi linee i fenomeni di cui siamo testimoni e che ci affascinano, rientrano in due possibili categorie: naturali o prodotti dall’uomo. Nei primi ritroviamo la radiazione emessa dalle stelle, sole incluso, o la vita di una cellula biologica. Tra i secondi vi sono i robot che passeggiano su Marte o la risonanza magnetica al cervello.
A metà strada stanno quegli strani oggetti che sono i modelli neurali del linguaggio, da qui in poi indicati con l’acronimo NLM (Neural Language Model).
Non ci sono dubbi che vengano prodotti dall’uomo, in particolare da informatici di OpenAI o Google o altri centri. Tuttavia, né i loro progettisti né chiunque altro – al momento – sanno dare una spiegazione ragionevole del perché siano in grado di padroneggiare il linguaggio naturale.
In principio fu il Transformer
Per carità, non è certamente il primo e unico caso, in diverse occasioni l’uomo si è ritrovato fra le mani qualche meravigliosa realizzazione per caso, senza saper spiegare come esserci arrivato. Gli alchimisti erano riusciti a produrre un metallo come l’antimonio e un alcol come il metanolo. In questi casi non solo non avevano la più pallida idea di come fosse successo, ma le spiegazioni che pretendevano di fornire erano sbagliate e fondate su una concezione dei materiali completamente falsa.
Ashish Vaswani, il giovane ricercatore indiano formatosi in informatica all’università di Mesra, e poi spostatosi in California dove ha conseguito il dottorato, avrà sicuramente, come qualunque suo collega, nutrito l’ambizione di sviluppare modelli destinati al successo. Ma né lui né i suoi collaboratori del Google Brain team potevano mai immaginare che la loro invenzione del 2017, il Transformer, avrebbe trascinato l’Intelligenza Artificiale (IA) a padroneggiare il linguaggio umano.
Il metodo di base usato da Vaswani e colleghi nel plasmare le reti neurali artificiali non differisce da quello impiegato dagli alchimisti del passato, allora nascosta dietro pagine e pagine di inutili suggestioni mistiche, oggi del tutto trasparente: l’euristica. Ovvero escogitare continuamente, per risolvere un problema, nuove direzioni in cui si combinano intuizioni e informazioni da pregressi fallimenti o barlumi di successo. Le euristiche differiscono dalle derivazioni di tipo matematico, e tipicamente fanno uso di formulazioni estremamente semplici, diametralmente opposte rispetto alla sofisticazione delle teorie matematiche contemporanee. Il poderoso impeto alla ricerca in IA negli ultimi dieci anni avrà prodotto nei centri di ricerca pubblici e privati del mondo milioni di euristiche di ogni genere, per qualunque ambito di impiego dell’IA. Di quasi tutte queste non sentiremo mai parlare, perché non sono risultate fruttuose, una minuscola proporzione raggiunge le riviste scientifiche, e ne basta solo una che funzioni talmente bene come il Transformer, per rivoluzionale gli scenari.
Il sogno di dotare i computer di capacità linguistiche
Lo sviluppo del Transformer mirava ad una precisa applicazione: la traduzione automatica, certamente non una applicazione di secondo piano, ma ben più limitata rispetto alla padronanza complessiva del linguaggio naturale dei sistemi derivati dal Transformer dal 2017 ad oggi, Dotare i computer di capacità linguistiche è stato un sogno accarezzato fin dai loro albori, sapientemente enucleato nel mitico “test di Turing”, e tenacemente perseguito per oltre mezzo secolo dall’ambito di studi noto come Natural Language Processing (NLP). Le profonde e dettagliate ricerche condotte nel NLP hanno avuto soprattutto il merito di evidenziare le innumerevoli complessità insite nel linguaggio, e quanto sia arduo tentare di risolverle nei computer, che infatti fino a prima del Transformer non avevano nemmeno una lontana parvenza di prestazioni confrontabili con l’uomo.
A differenza dei NLM, gli strumenti via via realizzati dal NLP per gestire aspetti ben circoscritti del linguaggio, non avevano nulla di misterioso. Jay Earley poteva descrivere in maniera esatta come funzionava il suo parser del 1970, uno dei primi software in grado di assegnare le categorie grammaticali delle parole in una frase. Allo stesso modo Shalom Lappin e Herbert Leass non avrebbero avuto difficoltà a spiegare filo per segno il loro sofisticato algoritmo del 1994 per riconoscere i riferimenti anaforici di pronomi, o Alex Lascarides e Nicholas Asher a dettagliare il loro modello SDRPT del 2003, ultimo grido per l’individuazione di entità del discorso in più frasi. I NLM non solo producono un balzo in avanti impressionante rispetto al NLP, lo realizzano senza incorporare nulla dell’imponente mole di analisi e algoritmi solutivi su aspetti singoli del linguaggio, accumulati dal NLP. Anzi, se comparate con qualunque algoritmo di NLP, le architetture Transformer sono di una semplicità disarmante.
Occorre dire che non si tratta di un mistero isolato, i NLM fanno parte della grande famiglia del Deep Learning (reti neurali artificiali con molti strati, DL da ora in poi), a sua volta privo di una conclamata spiegazione del suo successo, in particolare del salto di prestazioni nel transitare dalle reti neurali artificiali degli anni ’80 (caratterizzate da tre soli strati) a quelle con tanti strati. L’indecifrabilità dei modelli DL li accomuna al cervello, da cui hanno preso ispirazione. Nonostante l’impressionante progresso delle neuroscienze nel secolo scorso, per la maggior parte delle funzioni cognitive non esistono spiegazioni su come siano realizzate dai neuroni biologici. Sono disponibili numerose ed importanti informazioni sulla localizzazione di funzioni, nonché sulle loro connessioni con altre parti del cervello, ma quali calcoli neurali conducano a tali funzioni rimane in genere sconosciuto. Tra le pochissime eccezioni possiamo citare la visione a basso livello, e la rappresentazione di luoghi nell’ippocampo. Tuttavia, non saper spiegare le reti neurali artificiali è ben più imbarazzante del capire poco il cervello: anzitutto sono incomparabilmente più semplici, e poi dovrebbero far parte dei fenomeni artificiali, per i quali il problema della spiegazione normalmente non si pone.
Tentare di spiegare come funzionino diventa ancor più impellente nel caso del NLM, che minano all’ultima risorsa per cui ci sentiamo eccezionali nel mondo, il linguaggio. Se dobbiamo condividerla con artefatti informatici, almeno vorremo sapere come sia possibile.
In diversi hanno avvertito questa esigenza, e i tentativi di porre rimedio al vuoto di spiegazione si moltiplicano, anche se al momento con risultati molto preliminari e limitati. Le direzioni di ricerca sono disparate, si sono delineate qui a seguito in tre tipi diversi di spiegazione.
Psicologia per NLM
Un modo per tentare di farsi un’idea di come sia possibile la produzione linguistica di un NLM, è di rifarsi ai principi della scienza cognitiva, secondo cui le capacità cognitive di una persona, che trovano piena realizzazione nelle sue espressioni linguistiche, sono il prodotto di ciò che chiamiamo informalmente “mente”.
L’analisi della produzione linguistica in funzione del contesto entro cui viene stimolato, consente di far luce sui vari meccanismi mentali. Da mezzo secolo la scienza cognitiva – e da ancor prima la psicologia – ha affinato nel tempo un formidabile repertorio di protocolli per analizzare empiricamente una moltitudine di funzioni cognitive. Non tutti, ma una rilevante parte di questi protocolli consistono esclusivamente in interazioni di tipo linguistico tra lo sperimentatore e il soggetto umano. Ecco, quindi, l’idea di scrutare la misteriosa mente dei NLM “fingendo” che siano dei soggetti umani, e sottoponendoli ad esperimenti, impiegando i consolidati strumenti metodologici della psicologia.
In modo preteorico diversi studi si sono mossi effettivamente lungo questa strada, ma una sua esplicita proposizione e giustificazione teorica è stata per la prima volta formulata da Thilo Hagendorff, che dirige il gruppo di ricerca sull’etica nell’IA generativa presso l’università di Stoccarda. Il quale ha anche dato un nome a questo nuovo vero e proprio filone scientifico: Machine Psychology. Per Hagendorff la Machine Psychology è allo stesso tempo una proposta teoricamente coerente, e anche un contenitore per caratterizzare un fenomeno già in atto, anche se finora frammentario: vi sono già alcuni esempi che rientrano pienamente in questa nuova pratica.
Il tracciamento di entità del discorso
Per esempio, una funzione psicolinguistica particolarmente rilevante è quella etichettata come tracciamento di entità del discorso, essenziale per la comunicazione linguistica sociale, che comprende un numero di distinte abilità, come l’individuazione dell’inserimento di entità nuove in un discorso, la risoluzione delle co-referenze, e il tracciamento di cambi di stato delle varie entità di discorso. Recentemente sono stati realizzati degli esperimenti, derivati direttamente da quelli classici in psicolinguistica, per verificare se NLM posseggano, e in che misura, la capacità di tracciamento di entità del discorso. Tra i vari NLM analizzati solamente GPT-3.5 dimostra un buon livello di questa funzione.
L’induzione di proprietà
Una funzione prettamente mentale è quella nota come induzione di proprietà, costitutiva del ragionamento induttivo, e la sua comparsa nei bambini demarca un momento importante dello sviluppo delle loro capacità cognitive. Questa funzione consiste nel saper estendere o meno certe proprietà, sicuramente possedute da certe categorie di oggetti, ad altre categorie. Anche per l’induzione di proprietà esistono consolidati protocolli sperimentali messi a punto per esseri umani, a cui sono stati sottoposti diversi NLM. Di questi GPT-4 è quello che ha fornito risultati molto vicini a quelli ottenuti da soggetti umani.
La teoria della mente
Particolarmente interessante è il caso della teoria della mente, la capacità di costruirsi un’idea di quali siano le credenze e i ragionamenti di altre persone con cui interagiamo. Viene considerato elemento centrale della cognizione sociale e dell’autocoscienza. Michal Kosinski dell’università di Stanford ha intrapreso per primo uno studio sistematico sulla possibilità che i NLM siano dotati di un certo grado di teoria della mente, impiegando i classici test di falsa credenza impiegati nei bambini. I risultati hanno mostrato che GPT-1 non possedeva nessuna teoria della mente, GPT-3 nella versione 2020 dava qualche risultato ma decisamente scarso, mentre la versione del gennaio 2022 superava il 70% dei test, e il modello davinci-003 del novembre 2022 ne risolveva ben il 93%. Naturalmente le diverse versioni di GPT non erano affatto dedicate a raffinare questo specifico comportamento, ma erano un generico aumento della sua parametrizzazione; pertanto, Kosinski può correttamente speculare sulla teoria della mente come una sorta di proprietà emergente dal raffinamento delle capacità linguistiche. È stato davvero sorprendente constatare segni di teoria della mente nei NLM, conseguentemente vi sono stati immediati tentativi di repliche, con risultati divergenti, e ne è nato un vero e proprio piccolo filone di ricerca a se stante.
NLM e cervello
L’ultima cosa che hanno pensato Vaswani e gli altri ricercatori da lui guidati è di prendere qualche ispirazione dal cervello, nell’ideare il Transformer, e sarebbe stato improbabile vista la loro formazione prettamente informatica, senza nessuna conoscenza di neuroscienze. Tuttavia, vi è stato chi, a posteriori, ha voluto verificare se vi fosse per caso qualche similarità tra come cervello e NLM processano il linguaggio. C’era un clamoroso precedente che giustificava queste curiosità: anche i modelli DL per la visione avevano avuto una storia progettuale esclusivamente ingegneristica, ma studi successivi hanno rivelato una sorprendente similarità tra le attivazioni dei livelli di reti neurali convolutive, e quelle di aree visive umane. Tuttavia, nel caso della visione sussistevano delle vaghe similarità tra i meccanismi delle reti convolutive e alcuni processi che avvengono nelle aree visive a basso livello, noti fin dagli anni ’70. Nel caso del linguaggio non solo non esiste nulla nei Transformer che imiti intenzionalmente qualcosa del cervello, ma non c’è proprio nessun meccanismo computazionale nel cervello altrettanto noto e compreso come per la visione da poter essere imitato. Eppure, i fatti si stanno dimostrando davvero sorprendenti, smentendo le aspettative.
Il dataset Narratives
La base tecnica che ha reso possibili questi confronti è stato il dataset Narratives realizzato presso l’istituto di neuroscienze di Princeton, che raccoglie quasi 900 immagini fMRI in oltre 300 soggetti, mentre ascoltavano 27 diverse brevi storie. Le immagini erano temporalmente sincronizzate sia alle varie parole che componevano i racconti, sia al dettaglio dei fonemi che si succedevano nel tempo.
I primi ad usare Narratives per mettere cervelli e NLM uno di fronte all’altro sono stati ricercatori dell’università di Parigi-Saclay in collaborazione con Meta AI, guidati da Jean-Rémi King. Inizialmente hanno impiegato una mappatura lineare tra le attivazioni dei neuroni (artificiali) in GPT-2, nel momento in cui forniva la previsione per la prossima parola, e i valori dei voxel nell’istante in cui veniva ascoltata la stessa parola. I risultati mostrarono una scarsa correlazione per le aree cerebrali coinvolte nei processi a basso livello, uditivo e fonologico, ma una correlazione significativa per aree di elaborazione semantica, come il giro superiore frontale, e il giro posteriore supero-temporale.
In uno studio successivo hanno verificato se l’ampiezza della finestra di attenzione usata da GPT-2 nel predire la prossima parola, conducesse a correlazioni differenti nel cervello, ed è risultato che in maniera sistematica, i legami tra parole calcolati dal meccanismo attentivo del NLM, correlano maggiormente con le aree corticali frontoparietali quando si tratta di legami distanti, e con le aree temporali quando riguardavano parole ravvicinate.
Lo stesso istituto di neuroscienze di Princeton che ha creato il dataset lo ha impiegato per altri tipi di indagine, soprattutto su possibili correlazioni tra aree cerebrali e porzioni delle matrici che mantengono il meccanismo attentivo nel NLM. Ne sono emerse inaspettate correlazioni, per esempio le componenti dell’attenzione nei NLM che predicono l’esistenza di una relazione con un soggetto nominale correlano con il giro medio-frontale e non con la porzione dorso-mediale della corteccia prefrontale; la relazione con l’oggetto di una proposizione ben correla con la corteccia supero-temporale posteriore; la relazione con l’oggetto diretto di un verbo è fortemente correlata con il giro angolare e in modo debole con la parte ventro-mediale della corteccia prefrontale.
Spiegazioni meccanicistiche
È sicuramente illuminante scoprire che i NLM realizzano in qualche misura alcune delle funzioni cruciali studiate in psicologia e scienze cognitive, Ma non ci dice nulla su come questo succeda, tra i semplici calcoli neurali realizzati nel Transformer e le funzioni prima descritte vi è un abisso esplicativo. Forse ancor più intrigante è scoprire che qualcosa che succede nei NLM va di pari passo con qualcos’altro che si verifica nel cervello quando si processa la stessa narrazione. Ma qui non solo non si inizia a capire qualcosa, forse il mistero addirittura si infittisce. Sapere che in modo sistematico le relazioni con un soggetto nominale attivate nelle matrici di attenzione di un NLM vanno a braccetto con giro medio-frontale, ma non con la porzione dorso-mediale della corteccia prefrontale, non solo non ci spiega come faccia il NLM a identificare le relazione con soggetti nominali, ci pone l’ulteriore interrogativo su come mai le sue attivazioni assomiglino ai segnali circolanti nel giro medio-frontale del cervello.
Se torniamo ai fenomeni del mondo naturale, uno dei generi di spiegazione più apprezzabile è quello denominato meccanicistico, che consiste nell’identificare parti, in un sistema complesso, responsabili del fenomeno sotto indagine, e di studiare quali relazioni tra tali parti siano in grado di dar luogo al fenomeno. I termini meccanicistici sono quelli che più soddisfano nel dar conto di come si realizzino fenomeni naturali, soprattutto nel campo della biologia e delle neuroscienze. Ed è il tipo di spiegazione che sarebbe auspicabile per i NLM, si ravvedono dei primissimi tentativi di percorrere questa impervia strada.
Meritano menzione soprattutto gli studi condotti dal team di Anthropic, un’azienda della Silicon Valley di spicco per ricerche avanzate in AI. La loro strategia è andare a caccia di “circuiti”, ovvero minime configurazioni di neuroni che realizzano qualche fenomeno elementare, che possa costituire un piccolo tassello nella grande impresa di comprendere e gestire il linguaggio.
Paragonano la strategia circuitale all’invenzione del microscopio nel Settecento, che aprì le porte alla biologia cellulare. Il gruppo in Anthropic diretto da Nelson Elhage ha messo in pratica la strategia circuitale, partendo dal minimo numero possibile di componenti di un Transformer, iniziando da un solo strato e un solo gruppo attentivo, cercando via via di individuare “parti”, in questo caso componenti matematiche, potenzialmente responsabili di qualche fenomeno interessante. È stato nel passare da uno a due strati che un fenomeno è emerso, denominato induction head. Consiste nel predire una parola B quando la parola corrente è A, se nella sequenza di parole precedenti si è verificata la stessa successione AB.
Probabilmente chiunque sia incuriosito dai misteri della mente artificiale che comprende e produce linguaggio, troverà poco serio chiamare “interessante” un fenomeno cosı̀ elementare, e non si può certo dargli torto. La scoperta va comunque valorizzata per due motivi. Anzitutto per questo fenomeno è stato individuato in modo preciso il meccanismo che lo realizza, con certe “parti” matematiche derivate dalle matrici che calcolano le attivazioni dell’attenzione nei due livelli di questo mini-Transformer. Inoltre, lo stesso gruppo–stavolta con prima autrice Catherine Olsson–ha studiato la stretta correlazione tra induction head e l’emergere di un fenomeno di ben più alto livello, conosciuto come in-context learning.
E’ il fenomeno per cui, più si aggiunge un ricco contesto nell’interrogare un NLM, e più perspicue risultano le sue risposte. Questo costituisce un forte sintomo di una sorta di “pensiero” che guida la produzione linguistica del NLM. Si è ben lontani da produrre una catena causale che dal fenomeno induction head conduca al in-context learning, però Olsson e coautori hanno studiato come, in modelli Transformer completi, l’emergere del in-context learning durante l’addestramento, coincida precisamente con l’emergere del fenomeno induction head.
Conclusioni
Tirando le somme sui tentativi descritti per venire a capo del mistero dei NLM, si può dire che questi iniziali barlumi di luce intaccano poco il profondo buio che permane. Sono significativi soprattutto come recepimento dell’impellenza di indagare i NLM, e di quanto sia importante arrivare a delle spiegazioni.
Non lasciare nessun fenomeno importante privo di spiegazioni è il nobile imperativo che ha sempre alimentato l’attività scientifica nell’uomo, ma in questo caso c’è di più. I NLM rappresentano un punto di rottura culturale formidabile, per la prima volta la prerogativa ritenuta unica ed eccezionale dei soli esseri umani, il linguaggio, va spartito con entità che non solo non sono umane, ma nemmeno viventi. L’inevitabile inquietudine che questo passaggio sta comportando, potrebbe essere mitigata se, almeno, si potesse essere in grado di spiegare come entità artificiali siamo divenute in possesso di una facoltà del linguaggio paragonabile alla nostra.
