Le tecnologie linguistiche, sempre più intelligenti e integrate negli strumenti della nostra vita quotidiana, incorporano anche ben noti problemi di razzismo, sessismo, discriminazioni di varia natura.
Le big tech che le stanno alacremente sviluppando “per renderci la vita più semplice” stanno deliberatamente evitando di approfondire (e magari risolvere) i pregiudizi insiti nelle loro intelligenze (e linguaggi) artificiali.
Ecco perché in risposta è nato il progetto BigScience, realizzato da tanti ricercatori indipendenti con l’obiettivo di creare un modello di linguaggio open-source che potrebbe essere utilizzato per condurre ricerche critiche indipendenti da qualsiasi azienda.
LaMDA di Google
Importante fare presto nel trovare una risposta etica perché le big tech non stanno aspettando. Anzi, accelrano.
“Chiedi e ti sarà detto”. Potrebbe essere questo il motto di Google appena completato il progetto che ruota attorno al nuovo strumento di intelligenza artificiale chiamato LaMDA (Language Model for Dialogue Applications), il quale può “chattare” con gli utenti “umani” su qualsiasi argomento.
Google prevede di integrare il suo nuovo modello – varato a maggio – nei suoi principali applicativi, come il suo diffusissimo portale di ricerca, il suo assistente vocale, nonché il suo super diffuso “trio” Gmail, Docs e Drive.
L’obiettivo finale del gigante di Mountain View è quello di creare un’interfaccia conversazionale che permetta alle persone di recuperare qualsiasi tipo di informazione – testuale, visiva, audio – mediante l’utilizzo di tutti i prodotti Google.
Il lancio di LaMDA è l’ennesimo segnale che consolida le “tecnologie linguistiche” come parte integrante della nostra vita quotidiana. Tuttavia, Google non ha ancora affrontato il dibattito etico (con i relativi “bias”) che ultimamente circonda sempre più in maniera pressante tali sistemi di intelligenza artificiale. LaMDA è un grande esempio di apprendimento profondo (Deep Learning) “addestrato” su enormi quantità di dati di testo.
Studi recenti (ultimi anni) hanno già mostrato come alcune “idee” razziste e sessiste sono incorporate in questi modelli fin dalla loro progettazione. Ci troviamo di fronte a sistemi, ad esempio, che associano categorie come i medici con gli uomini e categorie come gli infermieri con le donne; così come associano eventi positivi con persone di etnia caucasica ed eventi negativi con persone di colore. A causa della loro grandezza e della loro “velocità di pensiero”, tali sistemi di intelligenza artificiale tendono a “confondersi” facilmente, con inevitabili risvolti sul lato pratico.
Le altre: Microsoft, Facebook
Tuttavia, a questa partita del “linguaggio artificiale” non partecipa solo Google. I modelli di linguaggio di più alto profilo finora presenti sul mercato sono stati GPT-2 e GPT-3 di OpenAI (del magnate Elon Musk), che creano passaggi di testo notevolmente convincenti, mirando anche all’originare composizioni musicali e codici informatici. Microsoft, invece, concede in licenza esclusiva il GPT-3 per incorporarlo in prodotti non ancora annunciati. In ultimo, ma non meno importante, il colosso Facebook, che ha sviluppato i propri linguaggi per la traduzione e la moderazione dei contenuti delle sue piattaforme.
Facebook ha di recente svelato un modello di natural language processing con allenamento non supervisionato.
Big Tech a parte però, diverse startup stanno creando decine di prodotti e servizi basati sui sopra citati modelli dei giganti della tecnologia. È probabile che nel prossimo futuro tutte le nostre interazioni digitali, dal mandare e-mail all’interagire sui social media, saranno filtrate attraverso tali modelli di linguaggio “intelligente”.
Il dibattito etico (assente) sui modelli di linguaggio intelligente
Sfortunatamente, tuttavia, si investono ancora pochissime risorse (denaro, tempo e professionisti) per comprendere come i difetti di questa tecnologia potrebbero influenzare le persone nelle applicazioni del mondo reale (bias), o per capire come progettare modelli di linguaggio migliori che “colgano queste sfide”.
Probabilmente le poche aziende “abbastanza ricche” da formare e mantenere i modelli di linguaggio hanno un forte interesse finanziario nel non approfondire il problema dei pregiudizi dell’intelligenza artificiale… In altre parole, ci troviamo di fronte a modelli di linguaggio di Intelligenza Artificiale sempre più integrati nell’infrastruttura linguistica di Internet che, al contempo, perdono di vista i problemi etici che via via emergono sul “loro cammino”.
Ma il mondo scientifico non è “sordo” al problema etico. Infatti, più di cinquecento ricercatori in tutto il mondo (riuniti nel progetto BigScience) stanno affrontando i problemi dei modelli di linguaggio, partendo dalle loro capacità e dai loro limiti. I ricercatori si chiedono come e quando i modelli di linguaggio dovrebbero essere sviluppati e distribuiti per raccogliere “benefici senza danni”.
I ricercatori della startup Cohere, invece, promettono di portare i modelli di linguaggio in qualsiasi azienda con una sola riga di codice. Cohere ha sviluppato una tecnica per addestrare e ospitare il suo modello di linguaggio con gli scarti inattivi delle risorse computazionali in un data center, così da mantenere i costi bassi i costi di affitto, manutenzione e la distribuzione molto bassi. Tra i clienti di Cohere vi è la startup Ada Support, una piattaforma per la costruzione di chatbot di supporto clienti senza codice, che a sua volta ha clienti come Facebook e Zoom. Cohere è una delle numerose startup che cercano di portare i modelli di linguaggio in varie aziende. Tra queste aziende vi è Aleph Alpha, una startup tedesca che mira a costruire un “GPT-3 tedesco”.
Se i modelli di linguaggi rigurgitano l’odio appreso sui social
Tornando alle criticità dei modelli, i ricercatori sono preoccupati dal divario che c’è tra i modelli di linguaggio attuali e quelli che sono “destinati” a diventare. I modelli di linguaggio sono le tecnologie di auto-completamento più potenti del mondo. “Ingerendo” milioni di frasi, paragrafi e persino dialoghi, imparano come ciascuno di questi elementi dovrebbe essere assemblato in un ordine sensato. Questo significa che tali modelli possono migliorare alcune attività, come la creazione di chatbot più interattivi e fluidi nella conversazione, senza la necessità di seguire un “copione” ben stabilito.
Il problema è che la tecnologia linguistica basata su intelligenza artificiale può essere molto utile quando è appropriatamente mirata, situata e inquadrata. Cosa che non (sempre) avviene nella sua applicazione, con diverse aziende che la usano in aree per le quali non è attrezzata a operare. Nel caso di Facebook, ad esempio, l’azienda di Menlo Park si affida molto ai modelli di linguaggio per automatizzare la moderazione dei contenuti della piattaforma a livello globale. Il tutto senza moderazione “umana”.
Tuttavia quando le fake news, i discorsi d’odio e persino le minacce di morte non vengono moderati, i modelli di linguaggio, ripetendo ciò su cui sono stati addestrati, finiscono per “rigurgitare” tutte le negatività della rete. In molti casi, i ricercatori non hanno indagato abbastanza a fondo per sapere come questa tossicità avrebbe potuto manifestarsi nelle applicazioni “a valle”. Con Google, invece, alcuni ricercatori hanno documentato come i pregiudizi incorporati nel suo motore di ricerca possono perpetuare il razzismo e, in casi estremi, anche la violenza su base etnica.
Google utilizza già un modello di linguaggio per ottimizzare alcuni dei suoi risultati di ricerca. Con il suo ultimo annuncio (LaMDA) e una recente proposta, l’azienda di Sundar Pichai ha reso chiaro che aumenterà solo la sua dipendenza dalla tecnologia, non affrontando per il momento i problemi etici dell’intelligenza artificiale.
Il progetto BigScience
Il progetto BigScience è iniziato come risposta diretta al crescente bisogno di un controllo scientifico dei modelli di linguaggio basati sull’intelligenza artificiale. Osservando la rapida proliferazione della tecnologia, unitamente al disinteresse delle Big Tech nella risoluzione di questioni etiche, diversi ricercatori hanno deciso di prendere in mano la situazione. Tali ricercatori hanno concepito un’idea per un modello di linguaggio open-source che potrebbe essere utilizzato per condurre ricerche critiche indipendenti da qualsiasi azienda.
Nelle aziende tecnologiche, i modelli di linguaggio sono spesso costruiti solo da una mezza dozzina di persone che hanno principalmente competenze tecniche. BigScience, invece, mira ad impiegare centinaia di ricercatori volontari, da una vasta gamma di paesi, per partecipare a un processo di costruzione di modelli altamente collaborativo.
Altri gruppi di lavoro sono dedicati allo sviluppo e alla valutazione della “multilingualità” del modello. Per iniziare, BigScience ha selezionato otto lingue o famiglie linguistiche, tra cui l’inglese, il cinese, l’arabo, l’hindi e il bantu (compreso lo swahili). Il piano è quello di lavorare a stretto contatto con ogni comunità linguistica per mappare il maggior numero possibile di dialetti regionali e garantire che siano rispettate tutte le norme, compresa la protezione dei dati personali.
Il punto non è quello di costruire un modello commercialmente fattibile per competere con colossi del calibro di GPT-3 o LaMDA. Un tale modello sarebbe troppo grande e troppo lento per essere utile alle aziende “clienti”. Tale modello, invece, viene progettato esclusivamente per la ricerca. Ogni dato e ogni decisione viene accuratamente e pubblicamente documentato, così è più facile analizzare come tutti i “pezzi” influenzano i risultati del modello.
Il progetto è senza dubbio ambizioso e altamente collaborativo. La logistica di coordinare così tanti ricercatori è di per sé una sfida. Per di più, come accennato, ogni singolo ricercatore sta contribuendo su base volontaria. Ma gli stessi ricercatori sono ottimisti sul fatto che alla fine del progetto, che durerà fino a maggio 2022, produrranno strumenti migliori e più etici di quelli finora a disposizione sul mercato.
Gli organizzatori sperano, infine, che questa collaborazione ispirerà più persone all’interno del mondo dell’intelligenza artificiale a incorporare queste pratiche nella loro strategia con i modelli di linguaggio. Anche se… l’idealismo e l’ottimismo sono di casa.[1]
Note
- The race to understand the exhilarating, dangerous world of language AI. MIT Technology Review. / https://www.technologyreview.com/2021/05/20/1025135/ai-large-language-models-bigscience-project↑
