Taylor Webb e colleghi hanno recentemente pubblicato uno studio sulla rivista nature human behaviour a coronamento dei loro lavori sul ragionamento analogico e la possibilità di individuarlo anche in alcune forme di IA – una delle linee di ricerca fondamentali del Reasoning Lab della UCLA, dove gli autori lavorano, presso il dipartimento di psicologia.
L’IA e il ragionamento analogico
Lo studio mette in luce come i LLMs (in particolare GPT-3 e, preliminarmente, GPT-4) mostrino di possedere forme di ragionamento analogico, in particolare superando una serie di test appositamente costruiti (naturalmente sulla base di test preesistenti), per evitare che quegli stessi test fossero presenti nei dati di training utilizzati per sviluppare quegli stessi modelli, dunque, per assicurarsi che le soluzioni proposte dai LLMs per i test somministrati fossero davvero zero-shot (ovvero, per l’appunto, nuove) e non riproducessero delle risposte già valutate positivamente.
Le matrici di Raven
I test utilizzati per questo esperimento, in particolare, sono le matrici di Raven, ovvero un test non verbale composto da una serie di immagini da completare, utilizzando proprio il ragionamento analogico, e considerate valide per testare la cosiddetta intelligenza fluida, ovvero la capacità di trovare soluzioni a problemi nuovi, indipendentemente dalla cultura o dalle conoscenze pregresse. Questo genere di matrici è utilizzato molto spesso, in diversi contesti, come i test di ammissione alle facoltà o nei concorsi pubblici, per valutare l’intelligenza umana (o quantomeno una sua componente), tanto nei bambini quanto negli adulti e, come dicevamo, è stato modificato, sostituendo le matrici visive in matrici numeriche, creando così test nuovi, per assicurare che i risultati non fossero già presenti in qualche modo nei LLM. Molte di queste matrici, infatti, possono facilmente essere reperite nel web da cui, come sappiamo, GPT ottiene gran parte delle informazioni che utilizza per produrre i risultati che in questi mesi ci hanno tanto sorpreso, e fatto discutere.
Le macchine saranno intelligenti?
Gli autori dello studio si sono detti particolarmente colpiti dagli eccellenti risultati raggiunti e hanno mostrato uno scenario ottimista, che apre a ulteriori e possibili miglioramenti nei modelli successivi, come appunto GPT-4. Siamo allora sempre più vicini alla realizzazione di un mondo in cui le macchine saranno intelligenti?
Non tutti sono d’accordo. Molti studiosi, infatti, stanno mettendo in dubbio non tanto, o non solo, i risultati raggiunti (in particolare per quanto concerne la scelta di matrici numeriche che, eliminando la componente visiva, eliminano una parte troppo fondamentale del test classico di Raven – così Melanie Mitchell, una ricercatrice in Artificial Intelligence al Santa Fe Institute, in New Mexico), ma i tentativi stessi di testare le macchine negli stessi modi in cui testiamo gli esseri umani.
Così, per esempio, Natalie Shapira, una computer scientist alla Bar-Ilan University a Ramat Gan, Israele oltre alla già nominata Melanie Mitchell. La linea critica, che si sta sviluppando e che prende sempre più piede cercando di spingerci al ragionamento critico e alla consapevolezza dei limiti che alcune affermazioni entusiastiche possono avere, consiste nel rivelare quanto antropomorfismo sottostà a questo genere di test. Che senso ha mostrare che questo o quell’altro modello superano questo o quell’altro test? Che valore ha un test utilizzato per verificare la presenza di una certa forma di intelligenza in un bambino di quattro anni se svolto da una macchina?
Si nota, infatti, come generalmente i test volti a indicare un certo tipo di intelligenza, come le matrici di Raven già citate, o i test della falsa credenza utilizzati per testare la presenza della teoria della mente (soprattutto nei bambini, come il test di Sally e Anne) sono disegnati specificamente per gli umani e sono spesso pensati come il segnale di una caratteristica specifica che, di norma, negli umani, si accompagna a una serie di altre caratteristiche.
Quale idea di intelligenza stiamo promuovendo
I LLMs, invece, spesso superano alcuni test e ne falliscono altri costruiti in maniera simile o che richiedono un passaggio logico in più rispetto ai precedenti, pur testando la stessa cosa. Così, gli scienziati ci chiedono di dubitare di questo o quel risultato sorprendente di una macchina nell’eseguire un test pensato per un essere umano e di chiederci piuttosto quale idea di intelligenza stiamo promuovendo nell’eseguire simili test (e poi eventualmente nel fidarci dei risultati raggiunti). Tornano allora al centro alcune questioni capitali: quando utilizziamo il concetto di intelligenza per descrivere e valutare i risultati raggiunti da chat GPT cosa stiamo davvero assumendo? Vogliamo utilizzare lo stesso concetto e assegnargli una gradualità che ci permetta di applicarlo a soggetti tanto diversi come una bambina, un adulto, un robot sociale, un topo? O vogliamo valutare diversamente, in modo magari ancora comparativo, ma non per questo antropocentrico le funzioni svolte da individui di natura distinta? Si tratta di una scelta preliminare importante. E soprattutto, si tratta di non perdere di vista gli scopi per cui determinate tecnologie vengono sviluppate e migliorate – tradizionalmente per migliorare le nostre vite e non per imitarci.
Testare l’AI come si testano gli animali
Una proposta interessante a questo proposito viene da Lucy Cheke, psicologa dell’Università di Cambridge (UK), la quale si chiede se non sia meglio testare i LLMs come testiamo gli animali non umani. Sembrerebbe, infatti, un procedimento più adeguato, se non altro perché, quando testiamo gli animali non umani, utilizziamo particolari strategie nella consapevolezza di non avere il linguaggio a disposizione, e di essere di fronte a determinate sfide (prima fra tutte, evitare l’antropocentrismo). Un problema, però, salta subito all’occhio. Come la stessa Cheke ci ricorda, testare gli animali non umani richiede molto tempo: un gruppo di scienziati può passare anche decenni a studiare lo stesso fenomeno e testarlo in diverse forme, per evitare errori nelle assunzioni implicite o nella interpretazione dei risultati ottenuti, così come per rimuovere tutte le diverse fallace che una ricerca scientifica non ben equilibrata può comportare. Le nuove tecnologie, però, non permettono di fare affidamento su simili lunghe tempistiche. Come sappiamo bene, si evolvono con una rapidità sorprendente al punto che anche l’editoria, per fare un esempio, fatica a seguire il lancio di ogni novità. Il rischio più che reale sarebbe appunto che una volta scoperto se il modello X possiede o no una certa forma di intelligenza che si è a lungo testata, il modello X1 sarebbe già disponibile e dichiarato capace di superare questo o quell’altro stesso test. Una ricerca sempre in ritardo. E in cui vale davvero la pena investire?
Bibliografia
Heavenarchive, Will Douglas, “Large language models aren’t people. Let’s stop testing them as if they were. With hopes and fears about this technology running wild, it’s time to agree on what it can and can’t do”, MIT Technological Review, August 30, 2023,
Webb, T., Holyoak, K.J. & Lu, H. Emergent analogical reasoning in large language models. Nat Hum Behav (2023)
