Qual è la ricetta giusta per adottare l’IA generativa nel lavoro? Capirlo, nel nostro caso specifico: ecco la sfida. Tutte le aziende e i lavoratori della conoscenza dovranno affrontarla nei prossimi anni.
E’ questo il punto che sta emergendo da sempre più casi, test e studi: i nuovi modelli di intelligenza artificiale in molti casi fanno aumentare la produttività (tempo risparmiato e/o qualità maggiore) mentre in alcuni casi no, hanno persino un effetto negativo sul lavoro.
Come per altre tecnologie, bisogna capire insomma quando usarle e come usarle per avere vantaggi ed evitare gli svantaggi.
Gli studi e i casi
Sono elementi che stanno emergendo da diverse evidenze.
I limiti dell’IA Generativa
Un test ideato da Nicholas Carlini di Google DeepMind ha messo in evidenza le sorprendenti capacità e altrettanto sorprendenti incapacità di GPT-4, il modello avanzato di linguaggio di OpenAI. Questo test ha dimostrato che, sebbene GPT-4 possa risolvere complesse questioni e scrivere codice JavaScript per giocare a tris, fallisce in compiti apparentemente semplici come trovare la mossa vincente in una partita a tris o suggerire la soluzione a un gioco di Wordle basato su tentativi precedenti.
Un test fatto dal Wall Street Journal su un tutor AI per studenti ha rivelato errori in semplici calcoli aritmetici.
Carlini evidenzia quanto sia difficile ora prevedere quando l’IA generativa sarà di aiuto e quando invece potrebbe rappresentare un ostacolo.
Probabilmente però starà a ciascuno di noi e a ciascuna azienda scoprirlo, in questa fase; con il tempo si consolideranno le best practice di adozione e la tecnologia migliorerà anche se ci sono dubbi che l’IA generativa, almeno con le attuali architetture, potrà smettere di avere allucinazioni. Così dice anche Andrew NG, di AI Fund e noto esperto, aggiungendo però che anche gli esseri umani sbagliano.
Va considerato però che gli errori degli esseri umani sono diversi; quelli della macchina possono essere più bizzarri e imprevedibili, quindi più difficili da verificare, come inventarsi studi o la giurisprudenza di un caso legale.
Questi alti e bassi, che limitano l’applicabilità dell’IA, si riflettono anche nei dubbi emersi nelle prime aziende che hanno adottato questi strumenti. Il bilancio è positivo ma non del tutto.
L’esperimento di BCG
Un altro studio, questa volta condotto dal Boston Consulting Group, ha esaminato l’impiego di GPT-4 in contesti lavorativi reali, coinvolgendo i consulenti della società in una serie di compiti. I risultati hanno evidenziato che l’uso di GPT-4 ha migliorato significativamente la quantità, la velocità e la qualità del lavoro svolto dai consulenti, soprattutto in compiti di innovazione produttiva e analisi di mercato.
Il problema: quando è stato richiesto ai consulenti di formulare raccomandazioni strategiche basate su dati finanziari e interviste, l’IA ha fornito consigli errati sviando le persone, che quindi hanno performato peggio – in questo caso – rispetto a chi non usava l’IA.
Laddove l’essere umano eccelle – problem solving e creatività – dice BGC, sarebbe meglio lasciarlo al timone.
“L’IA generativa sarà un potente fattore di vantaggio competitivo per le aziende che riusciranno a decifrare il codice di adozione”, scrive BCG.
“In un esperimento scientifico unico nel suo genere, abbiamo scoperto che quando l’IA generativa viene utilizzata nel modo giusto e per i compiti giusti, le sue capacità sono tali che gli sforzi delle persone per migliorare la qualità dei suoi risultati possono ritorcersi contro. Ma non è ovvio quando la nuova tecnologia è (o non è) adatta, e le capacità persuasive dello strumento rendono difficile individuare una mancata corrispondenza. Questo può avere gravi conseguenze: Quando viene utilizzata nel modo sbagliato, per i compiti sbagliati, l’IA generativa può causare una significativa distruzione di valore”.
BCG ha condotto l’esperimento con il supporto di un gruppo di studiosi della Harvard Business School, della MIT Sloan School of Management, della Wharton School dell’Università della Pennsylvania e dell’Università di Warwick.
Con più di 750 consulenti BCG in tutto il mondo come soggetti, è il primo studio a testare l’uso dell’IA generativa in un ambiente di servizi professionali, attraverso compiti che riflettono ciò che i dipendenti fanno ogni giorno.
L’opportunità di incrementare le prestazioni è sorprendente: utilizzando l’IA generativa per l’innovazione creativa dei prodotti, un compito che prevede l’ideazione e la creazione di contenuti, circa il 90% dei partecipanti ha migliorato le proprie prestazioni. Inoltre, hanno raggiunto un livello di prestazioni superiore del 40% rispetto a quelle di coloro che lavoravano allo stesso compito senza GPT-4. Le persone hanno colto al meglio questo vantaggio quando non hanno cercato di migliorare l’output generato dalla tecnologia.
Il contro altare, come si diceva: “quando i nostri partecipanti hanno utilizzato la tecnologia per la risoluzione di problemi aziendali, una capacità che non rientra in questa frontiera, hanno ottenuto risultati peggiori del 23% rispetto a quelli di coloro che hanno svolto il compito senza GPT-4. E anche i partecipanti che erano stati avvertiti della possibilità di risposte sbagliate da parte dello strumento non hanno messo in discussione i suoi risultati”.
Il paradosso dell’automazione
“I nostri risultati descrivono un paradosso: le persone sembrano diffidare della tecnologia in aree in cui può apportare un enorme valore e fidarsi troppo di essa in aree in cui la tecnologia non è competente. Questo è già di per sé preoccupante. Ma abbiamo anche scoperto che, anche se le organizzazioni cambiano questi comportamenti, i leader devono stare attenti ad altre potenziali insidie: il nostro studio mostra che l’output relativamente uniforme della tecnologia può ridurre la diversità di pensiero di un gruppo del 41%”, scrive BCG.
Questo problema viene talvolta definito “il paradosso dell’automazione”. Deriva dal fatto che l’umano, assistito dalla tecnica in modo automatico, dimentica le proprie capacità o semplicemente smette di prestare attenzione.
Quando il computer ha bisogno dell’intervento umano, l’umano potrebbe non essere più in grado di agire bene.
Si pensi a chi sceglie di addormentarsi al volante della Tesla.
Attenzione, qui di nuovo la questione non è se usare o no questi strumenti. Vanno studiati e usati. Ma bisogna capirne i limiti e i casi di utilizzo bene. Se si usano a occhi chiusi ci possono essere perdite di efficienza o persino disastri.
Si veda anche un esperimento condotto da Fabrizio Dell’Acqua della Harvard Business School. Alcuni reclutatori di risorse umane sono stati assistiti da algoritmi (non IA generativa in questo caso), alcuni eccellenti e altri meno, nel tentativo di decidere quali candidati invitare al colloquio.
Dell’Acqua ha scoperto, che gli algoritmi mediocri, con un’accuratezza di circa il 75%, fornivano risultati migliori di quelli buoni, con un’accuratezza di circa l’85%. Il motivo è che se sappiamo di non poterci fidare dell’algoritmo controlliamo i suoi risultati; lavoriamo assieme a quello combinando i vantaggi della macchina alle competenze dell’umano. Se ci fidiamo troppo invece mettiamo “il pilota automatico” e allora c’è il rischio di un peggiore output.
In alcuni casi il tempo risparmiato grazie al pilota automatico può giustificare i rischi; in altri contesti, più critici, assolutamente no.
“I nostri risultati chiariscono che l’adozione dell’IA generativa è un’arma a doppio taglio”, scrive chiaramente BCG.
I vantaggi e gli svantaggi sono inversamente proporzionali, inoltre, al livello di competenza del soggetto (come emerge anche in altri studi recenti).
Chi è bravo ha vantaggi ridotti nell’aiuto dell’IA ma anche meno prono a farsi ingannare quando l’IA sbaglia.
Ai Gen e lavoro, quali consigli
Non è chiaro in pratica come aiutare i lavoratori a cogliere di più gli aspetti positivi e schivare quelli negativi. Sembra non essere sufficiente il training su funzionamento e limiti dell’IA. “Gli effetti negativi del GPT-4 sul compito di risoluzione dei problemi aziendali non sono scomparsi quando ai soggetti è stata fornita una panoramica su come utilizzare il GPT-4 e sui limiti della tecnologia”. “Ancora più sconcertante è il fatto che i soggetti hanno fatto in media molto peggio di quelli a cui non è stato offerto questo semplice addestramento prima di usare il GPT-4 per lo stesso compito. Questo risultato non implica che tutti gli addestramenti siano inefficaci. Ma ci ha portato a considerare se questo effetto fosse il risultato di un’eccessiva fiducia dei partecipanti nelle proprie capacità di utilizzare il GPT-4, proprio perché erano stati addestrati”.
Pare insomma che sia più utile imparare – come azienda e come lavoratore – quali sono i compiti da lasciare fare all’IA il compito e quali no.
“Sembra che il punto di partenza della creazione di valore da parte dell’uomo non sia il potenziamento dell’IA generativa laddove è già ottima, ma la concentrazione su compiti che vanno oltre la frontiera delle competenze principali della tecnologia”.
Come appunto problem solving e creatività, dove l’IA può essere di supporto alle decisioni ma non di sostituzione; non può avere un ruolo di guida e input iniziale.
Altrimenti, non solo avremo risultati peggiori rispetto a quelli solo “umani”, ma anche danni a lungo termine.
“Anche se si utilizza la GenAI nel modo giusto e per i compiti giusti, la nostra ricerca suggerisce che ci sono rischi per la creatività”. “Il primo rischio è un compromesso tra guadagno di prestazioni individuali e perdita di creatività collettiva”. “La diversità di idee tra i partecipanti che hanno usato il GPT-4 per il compito di innovazione creativa del prodotto è stata del 41% inferiore rispetto al gruppo che non ha usato la tecnologia”
“Il secondo rischio deriva da un campione di interviste ai partecipanti. Circa il 70% ritiene che un uso estensivo di GPT-4 possa soffocare le proprie capacità creative nel tempo”.
La strategia per l’azienda, i consigli di Bcg
Bcg osserva che l’integrazione dell’intelligenza artificiale generativa nelle aziende promette notevoli miglioramenti in termini di efficienza, soprattutto in quelle aree in cui la tecnologia eccelle. Ma più questa sarà adottata, più le aziende per differenziarsi a livello competitivo dovranno personalizzare i modelli di IA generativa utilizzando grandi quantità di dati specifici e di alta qualità.
Problema: molte aziende ancora non possiedono l’infrastruttura dati avanzata necessaria per sfruttare appieno i propri dati. Lo sviluppo di capacità di data engineering diventa cruciale per trarre vantaggio dai modelli generativi di IA, che spesso rivelano correlazioni inaspettate e controintuitive.
L’adozione dell’IA generativa richiede anche un cambiamento radicale nell’approccio al lavoro. Gli utenti dovrebbero considerare i risultati prodotti dall’IA come bozze quasi definitive, da controllare solo per questioni di sicurezza, piuttosto che come prime bozze da rivedere completamente. Ciò permetterebbe di risparmiare tempo ed energie, consentendo agli impiegati di concentrarsi su compiti che vanno oltre le capacità attuali dell’IA.
Quando si tratta di pianificazione strategica della forza lavoro, i leader aziendali devono affrontare domande complesse, nota BCG: “quali competenze saranno necessarie? Qual è la strategia di assunzione più adatta? Come formare efficacemente le persone? E come coltivare la diversità di pensiero? La ricerca ha mostrato che l’IA generativa può ridurre la creatività collettiva, limitando la gamma di prospettive portate dai singoli. Una strategia che combini l’ideazione umana e assistita dall’IA potrebbe ampliare il pool di idee disponibili”.
Terzo punto, l’importanza della sperimentazione e dei test non può essere sottovalutata. L’IA generativa continua a evolversi rapidamente, estendendo i suoi confini di competenza. “Le aziende devono sviluppare capacità di sperimentazione per tenere il passo con questi cambiamenti e scoprire come l’IA generativa può essere utilizzata al meglio”. Questo processo di apprendimento e adattamento sarà cruciale per il successo nell’era dell’IA generativa, secondo BCG.
Pensiero che ci sentiamo di sottoscrivere.
