L’Intelligenza Artificiale (IA) continua a produrre innovazioni che suscitano grande interesse.

In tempi recentissimi si è affermata la Reasoning-AI – l’IA di Ragionamento: tecnologie che integrano apprendimento, capacità linguistiche e ragionamento automatico. Dalla convergenza di queste tre principali correnti della ricerca nell’IA sorge la curiosità di esplorare alcuni concetti-chiave; dare un possibile inquadramento e cogliere le novità rispetto alle idee e i risultati già raggiunti: sono gli scopi di questo lavoro. La curiosità deve fermarsi di fronte alla carenza di informazioni tecniche da parte delle aziende produttrici, ma è utile guardare oltre le campagne pubblicitarie delle aziende stesse, e ritrovarne alcune motivazioni profonde.

Ragioniamo sul ragionamento

Da sempre le nostre culture cercano di scoprire regole del ragionamento. Se possiamo individuarle, possiamo esprimerle in forma generale, indipendente da un particolare argomento; se possiamo esprimerle in forma generale, allora possiamo istruire un computer ad applicare le regole stesse in modo automatico. Queste ultime frasi hanno una forma consueta nel linguaggio comune: ‘SE……ALLORA…’, cioè una frase di premesse, l’altra di conseguenze. Le due frasi costituiscono un’unica coppia che chiamiamo informalmente regola di inferenza. Inoltre, la frase-conseguenza è divenuta a sua volta premessa di una nuova regola dello stesso tipo ‘SE…ALLORA…’: dunque le regole si possono concatenareper dar luogo a un percorso logico fatto di ‘passi’, ognuno dei quali consiste nell’associare una frase di premesse a una di conseguenze.

Intendiamo informalmente per ragionamento logico una sequenza finita di passi di un discorso in linguaggio naturale.

Si è data al ragionamento logico una rappresentazione matematica: in tal caso si parla anche di ragionamento formale o simbolico.

Rimanendo nell’ambito del linguaggio naturale, sono tante le espressioni del ragionare individuate dalla ricerca in Filosofia; Logica Matematica; Intelligenza Artificiale.

Ragionare altrimenti

Rivediamo alcune forme di ragionamento [3] che interessano i LLM.

Ragionamento induttivo. Si basa sull’osservazione di singoli fatti; episodi; sintomi;…. e formula generalizzazioni.

Osservazione: Il sole è sorto ogni giorno della mia vita.
Conclusione : Il sole sorge ogni giorno.

Ragionamento abduttivo. Si adopera in condizioni di conoscenza incerta o incompleta, e consiste nel formulare un’ipotesi plausibile per un dato insieme di osservazioni. Può gestire ipotesi alternative, se nuove osservazioni suggeriscono una spiegazione diversa.

Osservazione: Non riesco ad accendere il motore dell’auto.
Ipotesi abduttiva: La batteria potrebbe essere scarica.

Logica di preferenza (Preferential reasoning). Quando ci sono più alternative possibili, si opera in base a criteri quali minimizzare i costi di una scelta. Se una soluzione non si rivela adeguata, si considera un’alternativa.Ad esempionel pianificare un percorso si può selezionare il più breve, ma se si trovano ostacoli, si cambia il percorso basandosi su una nuova scelta.

Ragionamento basato su predefinizioni (Default reasoning). Si basa su ipotesi a-priori, che si affermano sino a prova contraria.

Predefinizione: Se un paziente ha un appuntamento medico, si assume che si presenterà in orario.

Conclusione: Luca ha un appuntamento col medico alle 10:00, quindi si presume che alle 10.00 sarà impegnato.

Contraddizione: Luca è bloccato nel traffico, quindi arriverà in ritardo.

Ragionamento di senso comune (Commonsense reasoning). Ragionare usando conoscenze implicite, che le persone danno per acquisite. Ciò permette di fare inferenze su eventi, comportamenti anche in assenza di informazioni esplicite.

Osservazione: Una persona corre verso una fermata dell’autobus.

Conclusione: Probabilmente sta cercando di non perdere l’autobus.

Conoscenza implicita: Gli autobus arrivano alla fermata e ripartono subito. Le persone corrono per raggiungerli prima che ripartano.

Ragionamento aritmetico. Capacità di risolvere problemi numerici con le quattro operazioni e semplici relazioni quantitative. Serve per affrontare situazioni quotidiane e può sembrare banale, ma non lo è per i sistemi automatici (si veda il par.4.3).

Strategia di ragionamento per scomposizione

Un problema si scompone in sotto-problemi più semplici; questi vengono risolti e le soluzioni ricombinate. È detta strategia di problem-solving.

Dopo tanto ragionare…

Il ragionamento dà una struttura ai nostri discorsi; ne dà un ordine e li guida verso conclusioni ragionevoli, appunto. Comprende una molteplicità di percorsi logici di cui possiamo individuare singoli passi, che di solito non seguiamo in modo lineare. Viviamo in un universo aperto a stimoli esterni sempre nuovi e imprevedibili; per questo le nostre affermazioni sono spesso ipotesi, opinioni che richiedono verifiche e ritrattazioni. Dunque i percorsi del ragionamento risultano complicati, tortuosi per adattarsi alle incertezze quotidiane. Ma possiamo anche solo intuitivamente affermare che il ragionamento umano associa i pensieri: siano questi riflessi di osservazioni; di opinioni personali; di ripensamenti;…In generale possiamo creare una catena di pensieri (Chain of Thought) che rende possibile una più profonda comunicazione e comprensione reciproca.

LLM: imparare sempre meglio

I termini LLM e Chatbot sono spesso usati impropriamente come sinonimi. Un LLM è uno schema (modello) di apprendimento automatico per scopi di elaborazione del linguaggio naturale (Natural Language Processing, NLP).

Richiami ai LLM

Lo schema si può realizzare con diverse tecniche e linguaggi di programmazione. Un LLM in genere non prevede la conversazione (chat) con l’utente; per farlo deve essere incluso (embedded) in un agente conversazionale (AI-agent), un programma Chatbot come OpenAI GPT-4o [1], Google Gemini 2.0 [2].

Un LLM è un modello basato sulla Statistica, il che non deve meravigliarci perché dialogare in linguaggio naturale vuol dire gestire informazioni nel mondo reale, che è aperto a eventi casuali e incertezze (par.2.3). Pertanto un LLM acquisisce capacità di dialogo imparando correlazioni statistiche a partire da grandi quantità di dati [4] multimediali in Internet: testi, immagini, audio, video, codice software, dati sintetici. Un LLM impara a generare parole che più probabilmente seguono e completano una frase di stimolo (prompt) formulata dall’utente: parole che si aggiungono una dopo l’altra per generare una frase di risposta.

L’apprendimento in un LLM

Consideriamo il caso del chatbot GPT-4o, basato sul modello LLM più avanzato di OpenAI disponibile. Del modello non sono state rese pubbliche le caratteristiche tecniche, né architetturali né di apprendimento. Si sa comunque che quest’ultimo è articolato in fasi:

a) Pre-apprendimento (Pre-training). Realizzato su un enorme insieme di dati (dataset), opera in modalità non-supervisionata, cioè usando dati a cui non sono associate informazioni di riferimento note a-priori. Il modello apprende a svolgere compiti di comunicazione NLP generando frasi che più probabilmente sono associate a frasi di stimolo (prompt). Questi compiti (task) fanno parte dell’insieme di funzionalità chiamate IA Generativa (Generative-AI). In particolare i compiti di un chatbot sono: rispondere a domande (question answering); classificare testi; riassumere e sintetizzare documenti (document summarization); produrre nuovi documenti.

b)  Raffinamento (Post-training). Questa fase orienta il modello verso un ambito di conoscenze più specifico o specialistico. La ricerca ha proposto numerose tecniche (modelli) di raffinamento [4]. Menzioniamo: b1) il Few-shot learning (Apprendimento in pochi stimoli), una tecnica in cui le frasi di stimolo usano termini specifici per orientare il modello con pochi esempi svolti, senza la necessità di costruire dataset specializzati. b2) il Reinforcement Learning (RL), in cui l’apprendimento viene focalizzato (rinforzato) su scopi precisi usando la supervisione da parte di persone.

c)  Segue una fase di collaudo (Test-time) su un dataset diverso da quello usato nelle fasi a) e b). Il collaudo può coincidere con la fase operativa di dialogo con l’utente. Il modello vi svolge anche compiti di ragionamento; perciò il tempo di elaborazione in questa fase è chiamato anche Inference-time.

Limitazioni dei LLM

Sebbene i LLM risolvano problemi che richiedono ragionamento, possono produrre frasi false o assurde – le allucinazioni – specialmente quando operano in condizioni di conoscenza incerta.

A lungo si è ritenuto che i LLM avrebbero migliorato le loro prestazioni aumentando le dimensioni del modello (model size), intese come dimensioni del dataset e del tempo di elaborazione per il pre-apprendimento (par.3.2a). Allenando un LLM più complesso su un volume di dati più ampio, si otterrebbero migliori risultati: ‘bigger is better’. Ciò si esprime in termini più precisi con la legge di scalatura (scaling law), una relazione matematica tra l’efficacia dell’apprendimento e i tempi di elaborazione impiegati in ciascuna fase. Si ha un’idea [6] dello scaling-up di un LLM considerando che i chatbot OpenAI sono passati da 1.5 miliardi di parametri stimati per GPT-2 – il che già rende la complessità di un LLM – ai 1.760 miliardi per GPT-4o, circa mille volte di più in soli quattro anni.

Ma la sperimentazione ha messo in evidenza nuove limitazioni. Il solo scaling-up delle dimensioni del modello non garantisce il miglioramento delle sue prestazioni, specialmente nel caso di compiti che richiedano capacità di ragionamento aritmetico, simbolico, di senso comune, oppure complesse strategie di problem-solving (par.2.2).

Infine, vale anche in questo caso la considerazione che un impiego incontrollato di risorse – energia, tempo di elaborazione, processori, infrastrutture di calcolo – in breve si rivela non più sostenibile.

L’innovazione: ragionare con i LLM

Le aziende dell’IA hanno compreso che per migliorare le prestazioni di un LLM devono limitare le risorse per il pre-apprendimento, e sviluppare piuttosto le fasi di raffinamento e inferenza (par.3.2b,c).

Un ramo della ricerca si è orientato verso il ragionamento automatico, ponendosi le domande: è possibile che un modello di comunicazione linguistica LLM acquisisca anche rilevanti capacità di ragionamento?

Un chatbot può simulare in linguaggio naturale gli effetti di un ragionamento logico complesso, magari richiedendo tempi di latenza nell’elaborazione, come se effettuasse una catena di pensieri?

Il Chain-of-Thought Prompting

Un articolo del gennaio 2023 di un gruppo di ricerca Google [11] riporta i risultati di un metodo innovativo chiamato Chain-of-Thought (CoT) Prompting – Stimolare una catena di pensieri – che migliora le prestazioni degli LLM nella soluzione di problemi complessi.

Un LLM è un programma di dialogo, e con esso si può interloquire proponendo frasi di suggerimento mirate a stimolare una catena di pensieri.L’utente in una frase di prompting propone anche pochi esempi di cui dà a-priori la soluzione. In tal modo si orienta l’elaborazione verso risposte appropriate [12], e si rendono più efficienti le fasi di raffinamento (par.3.2b). Un LLM può risolvere problemi complessi scomponendoli in un ragionamento passo-dopo-passo, sino a ottenere una soluzione.

Il CoT prompting offre altri vantaggi:

• Un LLM può impiegare più tempo di elaborazione per il ragionamento rispetto al pre-apprendimento; questo aiuta lo scaling-up verso prestazioni migliori;
• il CoT prompting partecipa all’apprendimento usando passi di ragionamento (few-shot learning) – si veda l’esempio al par.4.3 – e così ottiene (elicitazione) analoghi passi nella risposta.
• Infine, il CoT prompting fornisce una finestra di osservazione sui passi di ragionamento del modello durante le elaborazioni: una prospettiva affascinante per ‘leggerne la catena dei pensieri’, e così ricostruire come è pervenuto alla soluzione; monitorare quei passi; valutarne l’efficacia ed eventualmente intervenire a correggerli [12].

Un caso d’uso

In figura riportiamo un caso [11] di ragionamento aritmetico (par.2.2).

-Input al modello LLM: il prompt è costituito da due riquadri; il primo contiene domanda (D) e risposta (R) di un esempio svolto. In (R) sono riportati anche i passi utili alla risposta data a-priori. Nel secondo riquadro è posta un’altra domanda (D) di cui si chiede la risposta al modello.

–Output dal modello: nel riquadro la risposta (R) ottenuta dal LLM. Riporta anch’essa i passi di ragionamento effettuati per giungere alla soluzione.

Gli Autori hanno sperimentato il metodo del CoT Prompting su tre distinti LLM. Si sono osservati miglioramenti di prestazioni relativamente a numerosi compiti di ragionamento aritmetico, simbolico e di senso comune (par.2.2).

La verifica passo per passo

Un gruppo di OpenAI ha riportato i risultati di una ricerca [13], volta a migliorare l’attendibilità degli LLM riducendone le allucinazioni e gli errori. Gli Autori hanno rivolto l’attenzione alle fasi di apprendimento per raffinamento (par.3.2b) per discriminare soluzioni corrette adottando metodi supervisionati: l’apprendimento è impostato su un dataset di esempi svolti; ogni esempio è accompagnato dalla corrispondente soluzione nota a-priori.

Tra i modelli di raffinamento vi sono i reward models (modelli con ricompensa): per discriminare assegnano punteggi più alti alle soluzioni corrette. Adottando risultati di ricerche precedenti, gli Autori hanno cercato metodi più efficaci per allenare i reward model. In particolare hanno messo a confronto la supervisione di risultato (Outcome-supervised Reward Models, ORMs) con la supervisione di processo (Process-supervised Reward Models, PRMs). Col metodo ORM il modello viene allenato per via automatica usando soltanto il risultato finale della catena di ragionamento. Col PRM il modello riceve riscontri (feedback) per ogni passo intermedio di ragionamento e, non essendo possibile automatizzare i riscontri stessi, questi sono affidati a supervisori umani.

Dalla sperimentazione gli Autori concludono che col metodo PRM si ottengono risultati migliori che con l’ORM.

Gli annunci di OpenAI : da o1 a o3

OpenAI nel settembre 2024 ha annunciato il chatbot o1 con risultatiche subito sono apparsi promettenti [8, 14], e hanno suscitato grande interesse nel mondo dei LLM.

Il primo modello di Reasoning-AI

Per sua scelta esplicita [8] l’azienda OpenAI ha ritenuto di non pubblicare un resoconto dettagliato delle fasi di apprendimento. Sulla base di congetture e tentativi di approfondimento [9,10] si ipotizzano tre fasi:

a) Pre-learning come nei modelli LLM già diffusi. Modalità e compiti di base sono gli stessi illustrati al par.3.2a.

b) Reinforcement Learning (RL). Opererebbe a livello dei percorsi, non dei singoli passi di ragionamento.

• o1 crea molteplici percorsi di ragionamento;
• Verifica l’adeguatezza delle risposte da ciascun percorso;
• Assegna punteggi più alti ai percorsi che portano a risposte migliori.

c)  Test/Inferenza [10]. Opererebbe a livello dei singoli passi.

• Genera la risposta un passo dopo l’altro;
• Per ciascun passo seleziona l’opzione che più probabilmente porta a una risposta corretta, sulla base di ciò che ha imparato nella fase di RL, cioè dei percorsi rivelatisi più promettenti. E’ una fase di tipo adattativo (adaptive), cioè la risposta del modello viene modificata (ritrattata) qualora non sia adeguata, per adottarne un’alternativa.

Apprendimento e ragionamento in o1

Le capacità osservate in o1 sembrano aver raggiunto l’obiettivo di integrare apprendimento e ragionamento, rendendo o1 capace di:

• Imparare a riconoscere e correggere gli errori;
• Scomporre un ragionamento in sequenze di passi più semplici;
• Provare un approccio diverso da quello corrente, quando questo non raggiunge lo scopo.

Dagli esempi nella [10] riconosciamo le idee riportate nei parr.4.2, 4.4, e in particolare:

-Si adottano in modo sistematico tecniche di CoT prompting (par.4.2).

-il Reinforcement Learning nella variante dei reward model. Di questi si sarebbe adottato il metodo della supervisione di processo (PRM, par.4.4) per selezionare i percorsi di ragionamento più promettenti in modo supervisionato e con l’intervento umano.

Il sistema o1 svolge compiti complessi che ammettono soluzioni ben definite, da raggiungere come conclusioni di un percorso di ragionamento: quesiti di Matematica; Fisica; Programmazione (coding); Soluzione di problemitecnico-scientifici.

Gli Autori hanno riportato [8] una lunga serie di sperimentazioni ottenendo prestazioni (benchmark) ridiscusse con dettaglio in Agenda Digitale [14].

Nel corso dell’intera elaborazione, la percentuale di tempo di calcolo dedicato al ragionamento è maggiore rispetto a quanto si verifica in un LLM convenzionale, in cui domina il tempo di pre-apprendimento. Dunque si può collegare il miglioramento delle prestazioni del LLM in casi complessi alla maggior percentuale di tempo dedicata alle fasi di raffinamento e inferenza.

Da questo punto di vista è in atto un cambiamento concettuale profondo nella progettazione degli LLM del futuro, pur con tutte le cautele del caso.

Limitazioni di o1

Pur dimostrando prestazioni migliori nei compiti complessi, o1 non ha dato risultati altrettanto convincenti [8, 9] sui compiti svolti da un LLM tradizionale (par.3.2). Quindi il chatbot o1 costruito su un modello LLM di Reasoning-AI sarebbe complementare a quelli esistenti, non il primo di una nuova generazione.

Riportiamo in figura un esempio di prompt e relativa risposta da parte di o1-preview – versione ridotta di o1 – riportato in [9]. L’esempio illustra come il modello possa rivelarsi inaffidabile in risposta a un prompt che manca di contesto.

Gli annunci di o3

Poco più di tre mesi dopo l’annuncio di o1, l’azienda OpenAI ha annunciato o3, il secondo modello di Reasoning-AI. Al momento in cui scriviamo o3 non è disponibile al pubblico perchè ancora in fase di sviluppo. L’Azienda ha annunciato che rilascerà o3 nella versione ridotta o3-mini nel gennaio 2025.  

Sappiamo che adotta il Reinforcement Learning, ma di o3 non sono dati altri dettagli, né informazioni tecniche necessarie a valutarne in modo approfondito le prestazioni da parte di tecnici indipendenti. Possiamo solo rinviare i lettori alle valutazioni riportate in rete [15,16]. Nelle analisi di prestazioni effettuate sinora, o3 ha dimostrato ulteriori notevoli progressi rispetto a o1, con eccellenti risultati rispetto a quesiti e problemi scientifici.

Quante delle promesse della Reasoning-AI siano realizzate negli LLM attuali?

Si sono illustrate alcune tendenze recenti della Reasoning-AI, in particolare verso sistemi che integrano apprendimento, elaborazione del linguaggio naturale e ragionamento sulla base di modelli LLM.

Si tratta senza dubbio di una svolta nello sviluppo dei sistemi intelligenti e dell’IA nel suo insieme.

Si sono approfondite alcune delle idee alla base delle innovazioni, per inquadrarle nelle tendenze recenti della ricerca. Un brevissimo cenno (par.2) è stato dato alle numerose manifestazioni del ragionamento studiate dalle Scienze umane e matematiche; queste fanno da riferimento concettuale per realizzare sistemi artificiali, come sempre accade nell’IA.

L’inquadramento tecnologico della Reasoning-AI è nei modelli LLM, dei quali si sono riassunte caratteristiche e limitazioni nel par.3. A loro volta – è sempre bene ricordarlo – gli LLM sono applicazioni del Machine Learning, ramo delle Scienze statistiche. Pertanto, è profondo il legame tra Scienze statistiche, Apprendimento automatico e modelli linguistici LLM, i quali operano in contesti reali caratterizzati da sensazioni incerte ed eventi imprevedibili.

Su questa piattaforma scientifica e tecnologica si sviluppano le funzioni di ragionamento automatico e quindi i nuovi sistemi della Reasoning-AI.

Nel par.4 abbiamo illustrato alcune delle idee che sicuramente hanno influenzato le recenti innovazioni: il Few-shot Learning [6,7]; il Chain-of-Thought Prompting [11]; i Reward model [13] di tipo PRM (par.4.4) in fase di raffinamento. Le ricerche da cui queste idee hanno origine hanno documentato un lavoro di sperimentazione sistematico, che certo fa ben sperare sull’affidabilità dei risultati riportati.

Le capacità di ragionamento vanno a migliorare in modo sostanziale le prestazioni (scaling-up) degli LLM spostando ed equilibrando il carico di computazioni dalla fase di pre-apprendimento a quella di inferenza. La ritrovata scalabilità degli LLM ne lascia presagire un rapido sviluppo futuro a costi sostenibili.

In aggiunta, le capacità di ragionamento automatico vanno ad arricchire le funzioni degli LLM. Si inseriscono con coerenza – si può dire con continuità – nelle ultime fasi di apprendimento, cioè raffinamento e inferenza, per svolgere un fondamentale lavoro di selezione (pruning) tra le ipotesi generate nel pre-apprendimento, che avviene sul grande volume di dati del caos mediatico.

E se per i sistemi automatici si deve restare fedeli alla metafora del sistema umano, si può pensare al ragionamento come capacità di focalizzare le nostre risorse cognitive su pochi percorsi, che sia più facile discriminare e che più rapidamente conducano a ipotesi di soluzione. Le capacità di ragionamento raffinano le congetture personali rendendole più precise e dettagliate, in tal modo mettendo ordine nei pensieri; dando una struttura logica ai dialoghi; e generando forme di comprensione interpersonale profonda.

Se ci si domanda quante delle promesse della Reasoning-AI siano realizzate negli LLM attuali, l’impressione non è positiva, e il più del lavoro è ancora da svolgere. Nel par.5 abbiamo illustrato i sistemi OpenAI o1 e o3 per quanto ci abbiano consentito gli annunci della stessa Azienda, e i tentativi di approfondimento presenti in rete. È ben noto che la scarsa trasparenza delle aziende produttrici non permette neanche a utenti specializzati di riprodurre i risultati, annunciati con campagne professionali di marketing e resi disponibili solo in minima parte. Questo è uno dei lati oscuri dell’IA dei nostri giorni; approfondirlo non è di diretto interesse in questa sede. Ma pensiamo che la reticenza delle Aziende in nome del vantaggio competitivo non durerà a lungo: a condizione che tecnici, docenti, studenti appassionati all’IA continuino a studiare, sognando e ragionando su dove potrà arrivare l’automazione dei nostri pensieri.

Bibliografia

[1] OpenAI: GPT-4 Technical Report. March 4, 2024. arXiv:2303.08774v6, Mar 4, 2024. https://arxiv.org/pdf/2303.08774

[2] Pichai S., Hassabis D. and Kavukcuoglu K.: Introducing Gemini 2.0: Our New AI Model for the Agentic Era. Dec 11, 2024. https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/#ceo-message

[3] Genesereth M.R. and Nilsson N.J.: Logical Foundations of Artificial Intelligence. Morgan Kaufmann Pub., Los Altos (CA), USA, 1987.

[4] Shanahan M.: Talking about Large Language Models. arXiv:2212.03551v5, Feb 16, 2023. https://doi.org/10.48550/arXiv.2212.03551

[5] Nawaz S.: Fine-Tuning Large Language Models (LLMS) in 2024. May 6, 2024. https://www.linkedin.com/pulse/fine-tuning-large-language-models-llms-2024-sarfraz-nawaz-xhumc/

[6] Oleszak M.: Zero-Shot and Few-Shot Learning with LLMs. Sep 25, 2024. https://neptune.ai/blog/zero-shot-and-few-shot-learning-with-llms

[7] Brown T. et al.: Language Models are Few-Shot Learners. arXiv:2005:14165(cs)(v4), Jul 22, 2020. https://arxiv.org/abs/2005.14165

[8] OpenAI: Learning to Reason with LLMs. Sep 12, 2024.

https://openai.com/index/learning-to-reason-with-llms

[9] Romero A.: OpenAI o1: A New Paradigm for AI. Sep 13, 2024.

https://www.thealgorithmicbridge.com/p/openai-o1-a-new-paradigm-for-ai

[10] Thompson A.D.: o1: Smarter than we Think (2024). Sep 17, 2024. Updated Dec 2024. https://lifearchitect.ai/o1/

[11] Wei J., Wang X., Schuurmans D., Bosma M., Ichter B., Xia F., Chi E., Le Q. and Zhou D.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903v6, Jan 10, 2023.

https://arxiv.org/abs/2201.11903

[12] Snell C., Lee J., Xu K. and Kumar A.: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv:2408.03314 (cs), Aug 6, 2024. https://arxiv.org/abs/2408.03314

[13] Lightman H., Kosaraju V., Burda Y., Edwards H., Baker B., Lee T., Leike J., Schulman J., Sutskever I. and Cobbe K.: Let’s Verify Step by Step. arXiv:2305.20050v1, May 31, 2023. https://doi.org/10.48550/arXiv.2305.20050

[14] Cisternino A.: L’AI che ragiona: ecco la prossima svolta evolutiva. Agenda Digitale, 19 Dic 2024.

[15] Romero A.: OpenAI o3 Model Is a Message From the Future: Update All You Think You Know About AI. Dec 21, 2024.

https://www.thealgorithmicbridge.com/p/openai-o3-model-is-a-message-from

[16] Wolfe C.R.: Scaling Laws for LLMs: From GPT-3 to o3. Jan 6, 2025.

https://cameronrwolfe.substack.com/p/llm-scaling-laws