Una nuova ricerca della BBC (British Broadcasting Corporation) ribadisce che non ci si può fidare delle risposte dell’intelligenza artificiale che, quando utilizzata per rispondere a domande su notizie, restituisce testi con errori fattuali e che non rappresentano in maniera esatta il materiale di origine.
I risultati sottolineano l’importanza di un uso responsabile di queste tecnologie.
Indice degli argomenti
La ricerca della BBC sull’affidabilità degli assistenti AI
La ricerca della BBC evidenzia problemi con oltre la metà delle risposte fornite dagli strumenti di Intelligenza Artificiale. Condotto per un mese, lo studio ha testato quattro assistenti di intelligenza artificiale di primo piano e disponibili al pubblico:
Guida completa al Natural Language Processing: scopri come potenziare il tuo business
Sono state fatte 100 domande sulle notizie e sono state esaminate le risposte degli assistenti di IA.
Motivazioni e obiettivi della ricerca sulla affidabilità dell’IA
La ricerca è nata dalla consapevolezza da parte dell’emittente britannica del valore che l’IA può apportare nell’assistenza al personale nelle attività quotidiane. Ma l’IA comporta anche sfide significative per il pubblico e per l’ecosistema informativo del Regno Unito; una caratteristica chiave del panorama emergente sono gli assistenti AI abili in molti compiti tra cui la redazione di e-mail e documenti, l’analisi dei dati e la sintesi delle informazioni, oltre a fornire risposte a domande su notizie e attualità Per comprendere meglio l’output relativo alle notizie da assistenti AI la BBC ha intrapreso una ricerca per sapere se hanno fornito risposte accurate alle domande sulle notizie e se le loro risposte rappresentavano fedelmente le notizie della BBC usate come fonti.
Metodologia e criteri di valutazione dell’affidabilità degli assistenti IA
Questi assistenti hanno avuto accesso al sito web della BBC e hanno posto domande sulle notizie, spingendoli a utilizzare gli articoli di BBC News come fonti ove possibile. Le risposte sono state esaminate dai giornalisti della BBC, tutti esperti negli argomenti delle domande, su criteri che includevano accuratezza, imparzialità e come rappresentavano i contenuti della BBC. I giornalisti hanno valutato ogni risposta di un’IA in base a sette criteri: accuratezza, attribuzione delle fonti, imparzialità, distinzione tra opinioni e fatti, editorializzazione (inserendo commenti e descrizioni non supportate dai fatti presentati nella fonte), contesto e la rappresentazione dei contenuti BBC nella risposta.
Normalmente la BBC ‘blocca’ questi assistenti di intelligenza artificiale dall’accesso ai siti web della BBC, ma questi blocchi sono stati rimossi per tutta la durata della ricerca e da allora sono stati reintegrati.
Risultati preoccupanti della ricerca sull’affidabilità degli assistenti IA
I risultati sono preoccupanti e mostrano che:
• Il 51% di tutte le risposte IA alle domande sulle notizie è stato giudicato avere problemi significativi di qualche forma.
• Il 19% delle risposte di IA che citava contenuti della BBC ha introdotto errori fattuali – dichiarazioni fattuali, numeri e date non corrette.
• Il 13% delle citazioni tratte da articoli della BBC sono state alterate o non esistevano effettivamente in quell’articolo.
Esempi di errori e sfide future per l’affidabilità degli assistenti IA
Alcuni esempi dei problemi significativi identificati nelle risposte di questi assistenti IA includono:
- ChatGPT e Copilot hanno affermato che l’ex primo ministro Rishi Sunak e l’ex primo ministro Nicola Sturgeon erano ancora in carica dopo il termine del loro mandato.
- Gemini ha dichiarato erroneamente che “L’NHS consiglia alle persone di non iniziare a fumare e raccomanda ai fumatori che vogliono smettere di usare altri metodi.” Infatti, il NHS raccomanda lo svapo come metodo per smettere di fumare.
- Una risposta sull’escalation del conflitto in Medio Oriente, dando la BBC come sua fonte, ha detto che l’Iran inizialmente ha mostrato ‘moderazione’ e ha descritto le azioni di Israele come ‘aggressive’ – ma questi aggettivi non erano stati usati nei rapporti imparziali della BBC.
- Copilot di Microsoft ha dichiarato erroneamente che Gisèle Pelicot ha scoperto i crimini contro di lei quando ha cominciato ad avere blackout e perdita di memoria.
- Peplexity ha dichiarato la data della morte di Michael Mosley e citato erroneamente una dichiarazione dalla famiglia di Liam Payne dopo la sua morte.
- ChatGPT di OpenAI ha affermato nel dicembre 2024 che Ismail Haniyeh, che è stato assassinato in Iran nel luglio 2024, era parte della leadership di Hamas.
Pete Archer, direttore del programma per l’IA generativa alla BBC, ha affermato, al termine della ricerca, che l’IA può apportare un valore reale se utilizzata in modo responsabile. L’indagine mostra che possono produrre risposte alle domande sugli eventi chiave delle notizie che sono distorte, effettivamente non corrette o fuorvianti.
Prospettive e passi successivi per migliorare l’affidabilità degli assistenti IA
Per il futuro si manifestano diversi scenari. Gli editori, come la BBC, dovrebbero avere il controllo sull’uso dei loro contenuti e sulle modalità di utilizzo degli stessi; le aziende che si occupano di IA dovrebbero mostrare come gli assistenti elaborano le notizie, nonché la portata e la portata degli errori e delle imprecisioni che producono. Ciò richiederà forti partnership tra AI e aziende mediatiche e nuovi modi di lavorare che mettano il pubblico al primo posto e massimizzino il valore per tutti.
La scala e l’ampiezza degli errori e la distorsione del contenuto attendibile sono sconosciute; ciò è dovuto al fatto che gli assistenti di IA possono fornire risposte a una gamma molto ampia di domande e gli utenti possono ricevere risposte diverse alla stessa domanda o a domande simili.
LA BBC crede che ci siano da considerare importanti passi successivi: in primo luogo, le aziende di IA dovrebbero ascoltare le preoccupazioni e lavorare in modo costruttivo con gli editori, per capire in che modo risolveranno i problemi identificati dalla ricerca e discutere il giusto approccio a lungo termine per garantire l’accuratezza e l’affidabilità degli assistenti di IA. Inoltre, la regolamentazione può svolgere un ruolo chiave nel contribuire a garantire un sano ecosistema del l’informazione nel l’era del l’IA.
Anche l’Ofcom, Office of Communications, l’autorità regolatrice indipendente per le società di comunicazione nel Regno Unito, membro dell’Istituto europeo per le norme di telecomunicazione, è scesa in campo sull’argomento. Ha recentemente pubblicato una ricerca che dimostra che gli spettatori che usano le notizie delle emittenti del servizio pubblico (PSB) hanno maggiore fiducia nelle istituzioni, una migliore conoscenza delle notizie e sono meno polarizzati. Infine, c’è l’intenzione da parte della più antica emittente del mondo di ripetere la ricerca in futuro e crediamo e effettuare valutazioni regolari.
