openai

GPT-4, nei nuovi embeddings il futuro della ricerca semantica



Indirizzo copiato

OpenAI introduce “text-embedding-3-small” e “large”, due nuovi modelli di embeddings che superano il predecessore “ada-002” in precisione ed efficienza. Questi avanzamenti promettono ricerche semantiche più accurate nei Vector Database e migliorano le prestazioni dei sistemi basati su RAG. Novità rilevanti che condizioneranno molti sistemi basati sulle API di OpenAI

Pubblicato il 1 feb 2024

Antonio Cisternino

Università di Pisa



ChatGPT
(Immagine: https://unsplash.com/@dkoi)

OpenAI ha recentemente annunciato delle importanti novità con l’introduzione di nuovi modelli di embeddings e della disponibilità dell’anteprima della versione Turbo del modello GPT-4 che dovrebbe risolvere il problema della “pigrizia” del modello precedente che in alcuni casi sembrava prendere scorciatoie per risolvere un problema fornendo soluzioni incomplete.

Cerchiamo di capire perché l’annuncio sugli embeddings sia così rilevante e perché condizionerà molti sistemi basati sulle API di OpenAI.

Cosa sono gli embeddings

Le reti neurali funzionano con numeri che rappresentano i “pesi” delle connessioni tra neuroni che determinano poi l’attivazione o meno di un particolare neurone. Ma il testo è un elemento discreto ed è necessario effettuare una conversione dalla sua forma in una rappresentazione numerica.

WHITEPAPER

Il futuro del software passa dal DevOps? Valuta vantaggi e opportunità in una guida dedicata

API
DevOps

Nei modelli di AI generativa è frequente l’approccio di convertire l’input in uno spazio vettoriale “latente” che viene utilizzato come codifica dell’input e a partire dal quale si produce l’output. È un elemento centrale dei modelli di AI generativa e viene in alcuni casi utilizzato proprio per generare nuovi output variando la rappresentazione latente dell’input.

Poiché l’input e l’output di una rete neurale che genera testo, come nel caso di un LLM, viene addestrata utilizzando testi, il modello di embedding della rete viene addestrato condizionando il vettore che viene associato a un particolare testo di ingresso.

I modelli di embeddings sono divenuti molto importanti nei modelli di AI generativa testuale grazie al ruolo che giocano nell’implementazione dei sistemi RAG (Retrieval Augmented System), sistemi che cercano in un Vector database informazioni che sono utilizzate per integrare il prompt con informazioni utili alla generazione della risposta.

Gli embeddings sembrano catturare il significato del testo, riuscendo a generare vettori vicini quando il significato di due testi si avvicina. Questa proprietà si estende anche a testi che esprimono significati analoghi in lingue differenti. Ecco un esempio della ricerca nella base di conoscenza di un’installazione di Oraculum con la stessa interrogazione espressa in italiano e in inglese:

Il sistema calcola gli embeddings utilizzando il modello di OpenAI che restituisce un vettore di 1.500 elementi per le due interrogazioni. I fatti memorizzati nel database vettoriale Weaviate hanno associato il vettore dell’embedding corrispondente e il database ordina i risultati per distanza vettoriale. Come si può notare le ricerche producono risultati confrontabili nonostante ovviamente i risultati sono più vicini alla richiesta espressa in italiano rispetto a quelli restituiti quando la query è in inglese.

I nuovi modelli di embeddings di OpenAI

Nonostante il ruolo centrale che gli embeddings giocano nell’implementazione di database vettoriali l’addestramento dei modelli relativi è sempre più lento e meno noto della controparte dei modelli LLM. Il modello di OpenAI “text-embedding-ada-002” è rimasto per oltre un anno l’unico di modello di embeddings.

Nell’annuncio di OpenAI sono introdotti due nuovi modelli di embeddings chiamati “text-embedding-3-small” e “text-embedding-3-large”. I nuovi modelli sono più accurati quando messi alla prova con dei benchmark di riferimento:

Come si vede i nuovi embeddings migliorano significativamente il MIRACL benchmark, e anche il benchmark MTEB mostra un certo miglioramento.

La dimensione del vettore è molto importante poiché condiziona sia l’occupazione di spazio per la memorizzazione sia il costo computazionale nel confronto tra vettori. Il modello “ada 2” offriva “solo” vettori di 1536 elementi mentre i nuovi modelli offrono più opzioni:

Il processo di riduzione della dimensione del vettore non è però fornito dal modello, si tratta di un metodo per ridurre le dimensioni da 1536 a 512 nel caso del modello small e da 3072 a 1024 o 254 per il modello large.

Come si può osservare in tutti i casi i nuovi modelli offrono prestazioni migliori, consentendo delle ricerche semantiche più precise quando si usa un Vector Database come Weaviate. Di conseguenza, i sistemi RAG produrranno informazioni più “vicini” alla query e di conseguenza le informazioni inserite all’interno del prompt contribuiranno a rendere più efficace il comportamento di un LLM.

Conclusioni

Gli embeddings giocano un ruolo sempre più importante nella realizzazione di ricerche semantiche di dati indicizzati all’interno di un Vector DB. I nuovi modelli contribuiscono a migliorare le ricerche, anche se il modello large può comportare costi computazionali più alti restituendo vettori con il doppio di elementi rispetto al modello small. Vedremo sul campo quanto queste modifiche impatteranno sui sistemi reali, anche se non è sempre facile misurare il comportamento di un sistema di AI generativa quando vengono utilizzati modelli aggiornati.

I nuovi modelli consentono infine di ridurre i costi nel loro uso attraverso le API cloud, il modello small costa molto meno del suo predecessore mentre il modello large ha costi confrontabili con esso ma con una precisione superiore.

EU Stories - La coesione innova l'Italia

Tutti
Video & Podcast
Analisi
Social
Iniziative
Podcast
Centro Servizi Territoriali: uno strumento per accompagnare gli enti nell’attuazione della politica di coesione. Il podcast “CapCoe. La coesione riparte dalle persone”
Podcast
EU Stories, il podcast | Politiche di coesione e comunicazione: una sinergia per il futuro
Opinioni
La comunicazione dei fondi europei da obbligo ad opportunità
eBook
L'analisi della S3 in Italia
Norme UE
European Accessibility Act: passi avanti verso un’Europa inclusiva
Agevolazioni
A febbraio l’apertura dello sportello Mini Contratti di Sviluppo
Quadri regolamentari
Nuovi Orientamenti sull’uso delle opzioni semplificate di costo
Coesione
Nuovo Bauhaus Europeo (NEB): i premi che celebrano innovazione e creatività
Dossier
Pubblicato il long form PO FESR 14-20 della Regione Sicilia
Iniziative
400 milioni per sostenere lo sviluppo delle tecnologie critiche nel Mezzogiorno
Formazione
“Gian Maria Volonté”: dalle aule al mondo del lavoro, focus sui tirocini della Scuola d’Arte Cinematografica
TRANSIZIONE ENERGETICA
Il ruolo del finanziamento BEI per lo sviluppo del fotovoltaico in Sicilia
Formazione
“Gian Maria Volonté”: dalla nascita ai progetti futuri, focus sulla Scuola d’Arte Cinematografica. Intervista al coordinatore Antonio Medici
MedTech
Dalla specializzazione intelligente di BionIT Labs una innovazione bionica per la disabilità
Finanza sostenibile
BEI e E-Distribuzione: investimenti per la sostenibilità energetica
Professioni
Servono competenze adeguate per gestire al meglio i fondi europei
Master
Come formare nuove professionalità per governare e gestire al meglio i fondi europei?
Programmazione UE
Assunzioni per le politiche di coesione: prossimi passi e aspettative dal concorso nazionale. Il podcast “CapCoe. La coesione riparte dalle persone”
innovazione sociale
Rigenerazione urbana: il quartiere diventa un hub dell’innovazione. La best practice di San Giovanni a Teduccio
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Podcast
Centro Servizi Territoriali: uno strumento per accompagnare gli enti nell’attuazione della politica di coesione. Il podcast “CapCoe. La coesione riparte dalle persone”
Podcast
EU Stories, il podcast | Politiche di coesione e comunicazione: una sinergia per il futuro
Opinioni
La comunicazione dei fondi europei da obbligo ad opportunità
eBook
L'analisi della S3 in Italia
Norme UE
European Accessibility Act: passi avanti verso un’Europa inclusiva
Agevolazioni
A febbraio l’apertura dello sportello Mini Contratti di Sviluppo
Quadri regolamentari
Nuovi Orientamenti sull’uso delle opzioni semplificate di costo
Coesione
Nuovo Bauhaus Europeo (NEB): i premi che celebrano innovazione e creatività
Dossier
Pubblicato il long form PO FESR 14-20 della Regione Sicilia
Iniziative
400 milioni per sostenere lo sviluppo delle tecnologie critiche nel Mezzogiorno
Formazione
“Gian Maria Volonté”: dalle aule al mondo del lavoro, focus sui tirocini della Scuola d’Arte Cinematografica
TRANSIZIONE ENERGETICA
Il ruolo del finanziamento BEI per lo sviluppo del fotovoltaico in Sicilia
Formazione
“Gian Maria Volonté”: dalla nascita ai progetti futuri, focus sulla Scuola d’Arte Cinematografica. Intervista al coordinatore Antonio Medici
MedTech
Dalla specializzazione intelligente di BionIT Labs una innovazione bionica per la disabilità
Finanza sostenibile
BEI e E-Distribuzione: investimenti per la sostenibilità energetica
Professioni
Servono competenze adeguate per gestire al meglio i fondi europei
Master
Come formare nuove professionalità per governare e gestire al meglio i fondi europei?
Programmazione UE
Assunzioni per le politiche di coesione: prossimi passi e aspettative dal concorso nazionale. Il podcast “CapCoe. La coesione riparte dalle persone”
innovazione sociale
Rigenerazione urbana: il quartiere diventa un hub dell’innovazione. La best practice di San Giovanni a Teduccio
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati