L’elaborazione di tecniche per misurare la qualità dei dati dei testi presenti nei dataset è un aspetto importante ai fini di sviluppare intelligenze artificiali sicure e responsabili. Molti team che sviluppano Language Models prevedono ormai una fase di creazione di dataset curati da usare come benchmark per filtrare i testi da somministrare ai modelli durante il pre-training.
Tuttavia, dalla letteratura attuale non è ancora chiaro cosa si intenda per qualità dei dati.
Esploriamo allora alcune tecniche di analisi della data quality approntate negli ultimi anni e passiamo in rassegna una serie di questioni ancora aperte sulla definizione di questo concetto.
Valutare la data quality durante la creazione dei dataset
Le realtà che sviluppano i Large Language Models (LLMs) hanno mostrato una crescente attenzione ad aspetti etici relativi alla qualità dei dati durante il processo di sviluppo dei loro prodotti.
Per esempio, il Colossal Clean Crawled Corpus (C4) creato da Google (Raffel et al. 2020) è stato ripulito da una serie di potenziali caratteristiche problematiche prima di essere rilasciato: documenti non in lingua Inglese, testi duplicati, frasi con meno di cinque parole e testi che contengono parole potenzialmente offensive.
Questo approccio mostra un’idea di qualità ampia, che racchiude al suo interno due necessità:
(i) creare dataset contenenti dati il più possibile vicini all’inglese standard e
(ii) eliminare potenziali messaggi discriminatori.
Un approccio elaborato da OpenAI (Radford et al. 2019) per ottenere solo testi in inglese standard è quello di usare come benchmark una fonte considerata neutrale e di alta qualità come Wikipedia e mantenere soltanto i documenti con rappresentazioni vettoriali simili ad essa.
Approcci pragmatici alla data quality
Altri approcci alla data quality sono invece di tipo pragmatico. L’OpenWebText Corpus (Brown et al. 2020) è stato creato usando come seed tutti i link su Reddit che hanno ottenuto almeno tre punti karma. L’idea alla base di questa metodologia è che il consenso delle comunità di utenti attorno a determinati contenuti possa essere il segnale della loro qualità.
Il RefinedWeb dataset (Penedo et al. 2023) si basa sul principio contrario: data una blacklist di siti potenzialmente pericolosi (eg: siti per adulti, phishing, scommesse, etc), gli autori hanno elaborato una serie di euristiche per rimuovere i falsi positivi e quindi evitare che una serie di contenuti potenzialmente utilizzabili per il pre-training dei LLMs non fossero esclusi.
Infine, è importante menzionare approcci alla data quality basati sull’impegno delle comunità di utenti: è il caso del ROOT corpus (Laurençon et al. 2022) creato nell’ambito del BigScience Research workshop grazie allo sforzo collettivo di più di 1000 ricercatori che hanno valutato la qualità sia delle fonti sia dei dati raccolti.
Le valutazioni ex post e i limiti degli attuali approcci alla qualità dei dati
La qualità dei dati non è soltanto un oggetto di studio durante la creazione dei LLMs, ma anche un settore di ricerca orientato a identificare i potenziali pericoli presenti nelle attuali risorse. Questi lavori problematizzano alcune delle procedure più utilizzate per filtrare i dati, mostrando come queste possano essere inefficaci nell’intercettare alcune problematiche e, in alcuni casi, possano essere la causa di nuovi problemi.
Uno studio del Common Crawl Corpus (Luccioni et al. 2021) mostra come l’applicazione di filtri basati su Wikipedia non ha necessariamente un impatto sulla riduzione della quantità di Hate Speech in un corpus: molti testi considerati di buona qualità perché semanticamente vicini a Wikipedia sono anche etichettati come Hate Speech, mostrando come anche testi di presunta alta qualità possano contenere contenuti discriminatori. Uno studio simile sul C4 corpus (Dodge et al. 2021) porta a simili conclusioni. Nonostante questo dataset sia stato filtrato in modo sistematico, è possibile rilevare al suo interno stereotipi negativi rivolti a persone di origine araba.
Qualità vs inclusione: il problema dell’esclusione di varietà linguistiche
Lo stesso studio di Dodge et al (2021) mette in luce un problema ancora più importante: i testi di alcuni gruppi di persone vengono esclusi da questi dataset a causa dei criteri di filtraggio della qualità dei contenuti. Per esempio, i contenuti prodotti da persone appartenenti alla comunità LGBTQIA+ tendono ad essere maggiormente esclusi dal C4 corpus e lo stesso vale per varietà dell’Inglese diverse da quella standard, come l’African American English.
Diversi lavori hanno affrontato il problema dell’esclusione di varietà linguistiche. Blodgett et al. (2016) hanno creato strumenti e risorse linguistiche per il riconoscimento della varietà di inglese parlata dalle persone afroamericane. Sap et al (2020) hanno scoperto che molti corpora per l’addestramento dei modelli al riconoscimento dell’Hate Speech, addestrati principalmente da persone bianche, contengono dei bias contro i contenuti prodotti da persone non-bianche che vengono erroneamente considerati discriminatori.
Infine, Gururangan et al. (2022) hanno mostrato come i LLMs tendano a considerare di buona qualità soprattutto i testi scritti da persone bianche bianche e istruite, assegnando invece un ranking basso a messaggi di persone appartenenti a minoranze etniche e meno istruite.
Questi studi mostrano in modo chiaro come un approccio vago per la preservazione della qualità dei dati possa nel migliore dei casi essere inefficace per la mitigazione di stereotipi e discriminazioni implicite, nel peggiore dei casi produrre significative forme di esclusione. Ed LLMs addestrati su queste tipologie di dati non impareranno mai a riconoscere e valorizzare il modo di parlare di ampie fasce di popolazione.
Ripensare le strategie per la raccolta e la scelta dei dati di training
Questo problema è particolarmente importante se si pensa soprattutto a settori in cui l’ascolto delle voci dei cittadini è un processo fondamentale. La Pubblica Amministrazione potrebbe beneficiare da tecnologie in grado di riconoscere e dialogare con persone che possiedono competenze linguistiche (stranieri, persone che parlano in dialetto). Per fare ciò servirebbe però ripensare in modo radicale le strategie per la raccolta e la scelta dei dati di training dei LLMs.
Bibliografia
Blodgett, Su Lin, Lisa Green, and Brendan O’Connor. “Demographic Dialectal Variation in Social Media: A Case Study of African-American English.” Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. 2016.
Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901.
Dodge, Jesse, et al. “Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus.” Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. 2021.
Gururangan, Suchin, et al. “Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection.” Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022.
Laurençon, Hugo, et al. “The big science roots corpus: A 1.6 tb composite multilingual dataset.” Advances in Neural Information Processing Systems 35 (2022): 31809-31826.
Luccioni, Alexandra, and Joseph Viviano. “What’s in the box? an analysis of undesirable content in the Common Crawl corpus.” Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers). 2021.
Penedo, Guilherme, et al. “The RefinedWeb dataset for Falcon LLM: outperforming curated corpora with web data, and web data only.” arXiv preprint arXiv:2306.01116 (2023).
Radford, Alec, et al. “Language models are unsupervised multitask learners.” OpenAI blog 1.8 (2019): 9.
Raffel, Colin, et al. “Exploring the limits of transfer learning with a unified text-to-text transformer.” The Journal of Machine Learning Research 21.1 (2020): 5485-5551.
Sap, Maarten, et al. “Social Bias Frames: Reasoning about Social and Power Implications of Language.” Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020
