Small Language Model: capacità e limiti dell’IA “piccola ma potente”

Da quando sono comparsi sul palcoscenico tecnologico, i modelli di IA generativa hanno continuato a evolvere, ampliando le frontiere della comunicazione uomo-macchina. Dai primi tentativi con GPT fino all’attuale panorama dominato da GPT-3 e GPT-4, abbiamo assistito a un progresso costante nello sviluppo di queste sofisticate intelligenze artificiali.

Ma l’innovazione non si arresta: adesso ecco spuntare gli Small Language Model (SLM), che promettono efficienza, privacy e adattabilità. Questa nuova generazione di IA potrebbe aprire la strada a molte applicazioni pratiche, pur presentando alcune limitazioni rispetto ai Large Language Model (LLM).

La scelta tra LLM e SLM non è quindi semplicemente una questione tecnica, ma diventa una decisione strategica che deve tenere conto degli obiettivi da raggiungere e delle risorse disponibili.

L’evoluzione dei modelli di linguaggio generativo: da GPT a ChatGPT

Fino a poco tempo fa, l’elaborazione del linguaggio naturale era una sfida complessa e ricca di ostacoli per le applicazioni e i sistemi di intelligenza artificiale.

Poi, nel novembre del 2022, la società americana OpenAI ha rilasciato ChatGPT: una variante specifica dei modelli di linguaggio GPT (Generative Pre-trained Transformer), progettata per l’interazione conversazionale e l’elaborazione del linguaggio naturale (NLP).

Nella pratica, un chatbot che ha l’obiettivo di simulare un dialogo umano il più realistico possibile, fornendo risposte che siano fluide, pertinenti e coerenti con il contesto della conversazione.

Da quel momento le cose, anche per il grande pubblico, sono iniziate a cambiare.

In una settimana dal lancio di questo sistema, gli utenti utilizzatori hanno superato il milione. C’era grande entusiasmo tra chi aveva iniziato a utilizzarlo e ne parlava: era un “semplice” chatbot, ma molto più potente di qualsiasi altro software simile mai usato prima.

Poteva produrre un comunicato stampa, un piano industriale o una poesia che, su richiesta, poteva essere fatta con uno stile simile a quello di uno scrittore preferito.

Il lavoro rilasciato si basava su quanto sviluppato e ideato nel 2017 da un gruppo di ricercatori che volevano far sì che un sistema di intelligenza artificiale si focalizzasse solo sulle parti più rilevanti di un insieme di dati per fare previsioni accurate ed efficienti. Fu questo lavoro a creare le basi per la rivoluzione nel campo dei large language model (LLM), tra cui il già citato ChatGPT.

Il funzionamento dei Large Language Model (LLM)

Questi modelli linguistici sfruttano la sequenzialità dei dati. Ciò significa che ogni unità di informazione è in qualche modo correlata ai dati che la precedono nella serie. Il modello legge un numero enorme di frasi, ne costruisce e ne impara una rappresentazione numerica astratta (da qui la necessità di sfruttare database vettoriali per la gestione di questo tipo di informazioni) e genera una previsione su ciò che dovrebbe seguire una certa porzione di informazione.

La sfida di questi modelli consiste nel progettare un algoritmo efficace e veloce che sappia dove trovare i “segnali” di una data frase. Quando una frase viene inserita in un LLM, l’algoritmo divide i gruppi di lettere e di punteggiatura in token, come se fossero qualcosa di simile alle nostre sillabe, ma che in realtà sono raggruppamenti di quelle lettere che sono più frequenti nel testo, così da facilitare l’elaborazione delle informazioni da parte del modello. È la stessa cosa che fanno gli esseri umani con le parole, anche se il modello non usa il nostro stesso vocabolario ma ne costruisce uno per suo uso personale.

Quando noi inseriamo una frase, il modello crea token per i gruppi di lettere e, sulla base di questo, suggerisce quali altri token dovrebbero apparire dopo nella sequenza. In altre parole, un LLM completa automaticamente una frase inserendo ciò che, in quel determinato contesto, potrebbe seguire.

Ad esempio, se sto parlando del cambio, il modello linguistico ha tutta la capacità di comprendere, dal contesto, se stiamo parlando di autovetture (e quindi ci stiamo riferendo al cambio delle marce) oppure di mercati finanziari (e quindi ci stiamo riferendo al cambio di valute monetarie).

Questi sistemi sono chiamati Transformer.

Lo sviluppo e il successo dei modelli GPT-3 e GPT-4

I primi articoli su questi argomenti vengono pubblicati nel 2017 con progressi che sono avvenuti molto rapidamente.

Poco tempo dopo le prime pubblicazioni, infatti, OpenAI presentò il modello GPT-2 che era in grado di gestire un miliardo e mezzo di parametri.

L’addestramento di questo modello avvenne con 8 milioni di pagine web. In realtà, il grande pubblico iniziò a capire la grandezza di questi modelli solo nell’estate del 2020, quando OpenAI presentò il modello successivo, il GPT-3.

Questo modello aveva ben 175 miliardi di parametri ed era la rete neurale più grande mai realizzata, oltre 100 volte più grande del suo predecessore uscito appena un anno prima.

GTP-4 fu lanciato nel marzo del 2023 e i suoi risultati furono straordinari.

Questo modello dimostrò, rispetto ai precedenti, una capacità di comprensione del contesto molto più avanzata e una capacità superiore nella generazione di testo coerente e rilevante. La sua capacità di rispondere a domande complesse, elaborare informazioni dettagliate e produrre testi di alta qualità su una vasta gamma di argomenti lo resero immediatamente uno strumento incredibilmente potente e versatile per l’elaborazione del linguaggio naturale.

Il lancio di GPT-4 aumentò ancora di più il già grande interesse nella comunità dell’IA.

Al di là di questo, ad ogni modo, risultò ben presto come, se è vero che i large language model (LLM) hanno creato, e avrebbero continuato a creare, nuove opportunità per permettere alle persone di essere più produttivi e più creativi, a causa della loro dimensione sarebbero sempre servite ingenti risorse di calcolo per poter funzionare.

La nascita degli Small Language Model (SLM)

Da qui nasce l’idea di verificare se lo sviluppo di small language model (SLM), ovverosia modelli di intelligenza artificiale generativa leggeri, che derivano il termine “small” in riferimento alla dimensione della rete neurale del modello, al numero di parametri che utilizza per prendere decisioni e al volume dei dati su cui è stato addestrato, potessero essere una valida risposta.

Come direbbero gli americani, avere qualcosa “tiny but mighty”, piccolo ma potente.

In breve, gli SLM (Small Language Models) nascono da un processo di sviluppo e addestramento simile a quello dei “fratelli maggiori”, ma con un focus specifico sulla riduzione delle dimensioni e delle risorse computazionali necessarie.

• Definizione degli obiettivi: le specifiche includono il tipo di compiti che il modello dovrà svolgere, le lingue supportate, le risorse computazionali disponibili e altre considerazioni.
• Raccolta dei dati: come per gli LLM, il set di dati su cui addesrtare è uno step fondamentale. Tuttavia, rispetto ai grandi modelli, viene utilizzato un insieme più limitato

Le potenzialità degli SLM: efficienza, privacy e adattabilità

Così, gli SLM rappresentano una nuova classe di modelli di linguaggio che, nonostante le loro dimensioni ridotte, risultano essere molto capaci – quasi in maniera sorprendente per il loro essere così piccoli, offrendo molte delle stesse funzionalità dei LLM. Tuttavia, ciò che li distingue è proprio loro dimensione compatta e la formazione su minori quantità di dati e/o su specifici temi. Questa caratteristica li rende più accessibili e pratici per un’ampia gamma di applicazioni, specialmente per le organizzazioni con risorse limitate.

I modelli linguistici di piccole dimensioni nascono quindi per affrontare alcune delle sfide e delle limitazioni associate ai modelli di intelligenza artificiale più grandi e più complessi, come GPT.  Ad esempio:

• Efficienza computazionale: gli LLM richiedono molte risorse computazionali, sia per il loro addestramento che per la loro esecuzione. Questo implica il fatto che sono costosi in termini di tempo e di denaro. Gli SLM, invece, sono progettati per essere più piccoli e più leggeri così da essere più efficienti da addestrare e da eseguire su risorse computazionali limitate, anche su dispositivi mobili o, in generale, su dispositivi che possono avere risorse limitate.
• Deployment su dispositivi con risorse limitate: il fatto che gli SLM siano leggeri permette la loro esecuzione su dispositivi con risorse computazionali limitate. Ci sono modelli che possono essere eseguiti su smartphone, dispositivi IoT e dispositivi embedded. Il vantaggio è quello di poter portare l’intelligenza artificiale direttamente sui dispositivi “sul campo” per avere una maggiore efficienza e autonomia.
• Privacy e sicurezza: andando a ridurre la complessità del modello, gli SLM possono ridurre anche il rischio di problematiche legate alla sicurezza e alla privacy (tematiche spesso associate alla memorizzazione e al trattamento di grandi quantità di dati sensibili).
• Adattabilità a specifici casi d’uso: a volte, i large language model possono essere eccessivi per determinati casi d’uso. Per fare un semplice esempio, è spesso inutile che un modello possa sapere dove è nato Elvis Presley. Se una soluzione più semplice e più leggera è più adatta, perché non prenderla in considerazione? Così, i modelli SLM possono essere adattati a scenari specifici fornendo prestazioni accettabili insieme ad un ridotto utilizzo di risorse.

Oggi i modelli linguistici di piccole dimensioni (SLM) stanno prendendo uno spazio sempre più importante, nell’ecosistema complessivo dell’intelligenza artificiale, per una varietà di applicazioni nel campo dell’elaborazione del linguaggio naturale (NLP).

Esempi di applicazioni pratiche degli SLM

Questi modelli, quindi, sono progettati principalmente per compiti più semplici e possono essere facilmente implementati e portati anche su dispositivi locali, rendendoli ideali per applicazioni che richiedono una risposta rapida o che operano in contesti con connessioni limitate o assenti.

Tuttavia, conviene sottolineare che, nonostante le loro notevoli prestazioni, anche loro hanno alcune limitazioni da tenere in considerazione: non sono ideali per compiti che richiedono un ragionamento esteso o il recupero di conoscenze approfondite, aree in cui gli LLM continuano e continueranno ad eccellere grazie alle loro dimensioni, alla competenza derivante dal vasto training set utilizzato e alla potenza di elaborazione.

Se volessimo provare a fare qualche esempio:

• Dispositivi mobili: questi modelli sono ideali per dispositivi mobili, come smartphone e tablet, dove le risorse computazionali sono limitate per evidenti necessità. Tastiere predittive in grado di suggerire parole durante la digitazione potrebbero sfruttare un SLM per fornire suggerimenti rapidi ed efficienti.
• Assistenti virtuali: in molte applicazioni dove è importante avere funzionalità di assistenza virtuale, come potrebbero essere chatbot di assistenza clienti integrati in siti web o in applicazioni, gli SLM potrebbero essere utilizzati per comprendere le domande, effettuare ragionamenti e considerazioni, generare risposte utili e pertinenti e gestire la conversazione con gli utenti.
• Traduzione automatica: gli SLM potrebbero essere impiegati anche nel campo della traduzione automatica, dove devono essere efficienti ed essere in grado di poter elaborare rapidamente grandi volumi di testo.
• Analisi del sentimento: nell’analisi del sentiment, una tecnica utilizzata nell’ambito dell’elaborazione del linguaggio naturale (NLP) per valutare l’opinione espressa in un testo riguardo a un particolare argomento / prodotto / servizio che mira a comprendere e valutare l’opinione espressa nei testi, gli SLM possono essere utilizzati per classificare rapidamente i testi come positivi, negativi o neutri. Ad esempio, un’applicazione di monitoraggio dei social media potrebbe utilizzare un SLM per analizzare i post o i commenti degli utenti così da identificare le tendenze di opinione e poter valutare con dati oggettivi quanto è stato espresso.

Scegliere tra LLM e SLM: una questione di obiettivi e risorse

In generale, quindi, gli SLM offrono – da un punto di vista infrastrutturale – una soluzione più leggera e più efficiente (come abbiamo visto, sia in termini di richiesta di risorse che di costo) per una vasta gamma di applicazioni nell’ambito dell’elaborazione del linguaggio naturale, permettendo, in diversi contesti, anche una maggiore flessibilità nell’implementazione e nell’utilizzo dell’intelligenza artificiale anche in ambiti che potrebbero avere risorse computazionali limitate.

Invece, i large language model sono più adatti per applicazioni che richiedono una comprensione profonda del contesto in cui operano, analisi dei dati avanzata e ragionamento complesso. Grazie alla loro maggiore capacità e alla formazione (training) effettuata su set di dati molto più vasti e diversificati, i LLM possono gestire compiti più sofisticati, coordinare compiti complessi (orchestrazione di task) che implicano ragionamento elaborato e produrre inferenze su grandi quantità di informazioni.

Il mio suggerimento? Provare, valutare, comparare, scegliere.