intelligenza artificiale

Progettare sistemi di IA inclusivi: oltre le trappole del “participation washing”



Indirizzo copiato

La svolta partecipativa nello sviluppo dell’IA richiede il coinvolgimento di tutti, inclusi i vulnerabili agli effetti negativi. Tre ostacoli principali sono il divario digitale, la scarsa consapevolezza algoritmica e le asimmetrie di potere. Per evitare il “participation washing”, è cruciale promuovere una vera inclusività digitale.

Pubblicato il 22 ott 2024

Marta Gibin

Università di Bologna

Giorgio Pirina

Università Ca’ Foscari di Venezia



intelligenza artificiale

Le tecnologie digitali, tra cui i sistemi di Intelligenza Artificiale (IA), sono al centro di importanti trasformazioni di sempre più ambiti sociali: dal lavoro all’organizzazione produttiva, passando per l’intrattenimento, la socialità e la fruizione di una varietà di servizi educativi e sanitari.

Digitalizzazione e contrasto alle disuguaglianze

I processi di digitalizzazione hanno riguardato ambiti come il contrasto alle disuguaglianze, nelle loro varie declinazioni: sociali, territoriali, economiche, di genere, ecc. Non a caso, l’Unione Europea (UE) ha posto al centro di numerose politiche e piani di investimento il tema del digital inclusion, riguardante lo sviluppo delle infrastrutture digitali e il contrasto al divario digitale (digital divide), al fine di promuovere uno sviluppo più sostenibile, migliorare le condizioni di vita delle persone e colmare i divari a livello sociale e geografico[1].

Il “Next Generation EU” e la politica di coesione dell’UE rappresentano esempi di questo impegno. Ciò comporta il supporto alla digitalizzazione delle imprese, il miglioramento dell’accesso ai servizi di e-government e e-health, il miglioramento delle competenze digitali e la promozione della diffusione della banda larga nelle aree remote e rurali, contribuendo così a garantire che nessuna regione dell’UE venga lasciata indietro.

A partire da una prospettiva sociologica, questo articolo si focalizza su una tecnologia digitale in particolare, l’IA, e sulle sue modalità di costruzione. Il tema dell’inclusione riguarda infatti sempre di più anche il design dei sistemi di IA. La spinta verso un maggior coinvolgimento dei diversi stakeholder nella progettazione dei sistemi di IA corre però il rischio di condurre a forme di participation washing, cioè di modalità di partecipazione formali più che sostanziali. Lungi dal proporre una critica sterile a questi processi, l’obiettivo dell’articolo è quello di analizzare alcune potenziali difficoltà che impediscono l’effettiva partecipazione dei diversi stakeholder, e in particolare di quelle categorie a rischio di subire gli effetti negativi legati all’utilizzo di questi sistemi. Il divario digitale, che l’UE sta provando a contrastare, è certamente una di queste, ma proponiamo qui di aggiungere due ulteriori dimensioni: la limitata consapevolezza algoritmica e la presenza di asimmetrie di potere. Mentre il tema del digital inclusion si focalizza sulla prima di queste dimensioni, proponiamo di fare un passo ulteriore, perlomeno dal punto di vista dell’approccio al problema delle disuguaglianze e della partecipazione, utilizzando l’espressione inclusività digitale nel senso di digital inclusiveness, e quindi di un processo che porti alla costruzione di sistemi di IA più equi ed inclusivi.

La transizione digitale nell’Ue: impatti sociali ed economici spesso trascurati

La “propagazione digitale” (Pirina, 2022) costituisce una trasformazione sociale significativa, accentuata dalla pandemia di Covid-19, durante la quale molte attività sono state rimodulate digitalmente. L’Unione Europea ha identificato la transizione digitale come uno degli strumenti chiave per affrontare alcune delle sfide più urgenti dei nostri tempi, incluse le disuguaglianze sociali, economiche e territoriali. L’obiettivo è soddisfare le esigenze di individui, amministrazioni pubbliche e imprese, garantendo un accesso diffuso a connessioni a banda larga di alta qualità e dispositivi elettronici, e riducendo le disparità tra diverse popolazioni e territori in termini di accesso e qualità dei servizi sociali, competenze, tecnologia e infrastrutture.

L’Indice dell’Economia e della Società Digitale[2] (DESI) è stato sviluppato per misurare la performance digitale e il progresso degli Stati Membri dell’UE. Questo indice include profili nazionali che aiutano gli Stati Membri a identificare le aree che necessitano di interventi prioritari, oltre a capitoli tematici che forniscono un’analisi a livello dell’UE nelle aree digitali chiave.

Pur riconoscendo la rilevanza delle tecnologie digitali, è altrettanto importante una loro analisi critica. Infatti, nonostante le narrazioni quasi-religiose (Mosco, 2004) che circondano le tecnologie digitali, esse hanno impatti sociali ed economici spesso trascurati. Questa visione, propagata dalle grandi aziende high-tech e ripresa dai guru dell’innovazione tecnologica, oscura i processi materiali su cui si basano le tecnologie digitali rendendole black-box (Pasquale, 2015). Infatti, occorre considerare i bias, i pregiudizi, le gerarchie valoriali e le discrezionalità che le tecnologie digitali incarnano, i quali sono esito di più generali dinamiche di potere e di dominio di una data società e che inevitabilmente portano a classificare gli attori sociali in base a preconcetti e ideologie (O’Neil, 2017).

L’approccio partecipativo al design dei sistemi di IA

I numerosi casi di discriminazione legati all’impiego di sistemi di Intelligenza Artificiale (O’Neil, 2017; Buolamwini, Gebru, 2018; Obermeyer et al., 2019) hanno dato origine ad un dibattito che mette in discussione le modalità stesse con cui questi sistemi sono costruiti. Queste tecnologie, spesso rappresentate come strumenti neutrali, ma lontane dall’esserlo, riproducono in realtà i valori, le visioni del mondo e le opinioni di chi le costruisce.

L’approccio bottom-up nella progettazione e nello sviluppo dell’IA

Per questo motivo, assistiamo all’emergere di una crescente letteratura che spinge verso un approccio bottom-up nella progettazione e nello sviluppo di queste tecnologie. Questo approccio, che è stato definito la “svolta partecipativa” (Delgado et al., 2023), invita i team di sviluppo ad un maggior coinvolgimento di tutti gli stakeholder nella progettazione dei sistemi di IA, e quindi tutti i soggetti o gruppi sociali che potrebbero essere influenzati positivamente o negativamente dall’utilizzo del sistema. Non solo i designer, quindi, o le organizzazioni che traggono profitto dall’implementazione del sistema, ma anche i decisori politici e, soprattutto, le categorie di persone che potrebbero subirne gli effetti negativi.

Questo approccio contrasta con la prassi comune dei team di sviluppo, che operano spesso con una modalità top-down, seguendo quindi un processo guidato da esperti, con scarsa considerazione del contesto sociale e delle opinioni e preoccupazioni degli attori che useranno o saranno influenzati dal sistema (Greene et al. 2019). A questo proposito, un approccio pragmatico è stato visto come un modo per incorporare le opinioni di questi attori, costruendo i sistemi di IA “a partire dall’esperienza vissuta, dalle percezioni, dalle narrazioni e dalle interpretazioni delle persone” (John-Mathews et al., 2022, p. 946).

Questo approccio comporta la necessità di affrontare l’esistenza di diversi immaginari sociotecnici (Bakiner, 2023; Jasanoff, Kim, 2009; 2015) e algoritmici (Bucher, 2017), che possono influenzare il modo in cui l’IA e i benefici e i rischi ad essa associati sono percepiti dai diversi stakeholder. Il primo concetto si riferisce alle visioni istituzionalizzate di un futuro tecnologico rappresentate da aziende, movimenti sociali e società professionali, mentre il secondo al modo in cui le persone immaginano, percepiscono e sperimentano gli algoritmi nella propria vita quotidiana.

Confrontarsi con idee multiple e spesso contrastanti: le difficoltà

L’adozione di un approccio partecipativo al design dei sistemi di IA potrebbe implicare, per chi progetta queste tecnologie, la necessità di confrontarsi con idee multiple – e spesso contrastanti – sulle modalità con cui un sistema dovrebbe essere costruito. Ad esempio, Lee e colleghi (2017) hanno coinvolto diversi stakeholder nella creazione di un algoritmo per l’assegnazione di donazioni alimentari e mostrato l’esistenza di molteplici opinioni relative a che cosa costituisca una soluzione equa al problema. Le persone coinvolte nella loro ricerca hanno espresso opinioni diverse in merito alla scelta del criterio che avrebbe consentito un’allocazione adeguata delle risorse e una procedura equa per valutare il livello di bisogno dei destinatari. Questo aspetto pone delle sfide nel decidere quali valori e quali idee di equità debbano essere privilegiati e implementati in un sistema di IA, evidenziando come ogni decisione tecnica sia una decisione politica che potenzialmente favorisce alcuni e penalizza altri.

L’inclusione di opinioni, valori e preoccupazioni dei diversi stakeholder aggiunge complessità alla creazione di sistemi di IA. Per questo motivo, queste azioni di coinvolgimento spesso rischiano di trasformarsi in forme di participation washing (Sloane et al., 2022).

Partecipazione simbolica e tirannia della partecipazione

La letteratura ha individuato perlomeno due trappole: la partecipazione simbolica (token participation) e la tirannia della partecipazione (tyranny of participation). La prima si riferisce a una discrepanza tra i gradi e i risultati dell’impegno promessi rispetto a quelli effettivamente praticati, il che può ridurre la disponibilità dei partecipanti a essere coinvolti nel tempo. La tirannia della partecipazione, invece, si riferisce alla pratica dei centri di ricerca, delle ONG e delle agenzie di sviluppo di impiegare metodi partecipativi pur continuando a convalidare la pianificazione e le soluzioni dall’alto verso il basso (Liebenberg et al., 2020; Moriggi, 2021).

La “trappola dell’invisibilità”

A queste due trappole, riteniamo opportuno aggiungerne una terza: la “trappola dell’invisibilità”, la quale comporta il rischio di riprodurre pregiudizi e bias (di genere, razziali, ecc.) e una mancanza di attenzione, volontaria o involontaria, verso specifici argomenti/problemi. Questa trappola è legata a una dinamica specifica, che è quella del dare-per-scontato e, quindi, di invisibilizzare, un dato fenomeno a causa di assunti impliciti, senso comune, ecc. Le tecnologie digitali e l’IA, lungi dall’essere un costrutto neutro, non sono esenti da queste trappole. Di seguito facciamo brevemente riferimento a tre degli ostacoli che riteniamo possano impedire l’effettiva partecipazione dei diversi stakeholder, e in particolare delle persone potenzialmente discriminate dall’utilizzo dei sistemi di IA: il divario digitale, la consapevolezza algoritmica, le asimmetrie di potere.

Il digital divide nell’Ue

Il divario digitale si riferisce alle disparità in termini di infrastrutture digitali e informative e all’accesso alle competenze digitali, sia per individui sia per istituzioni. Tali disparità si traducono in differenze nell’uso della tecnologia dell’informazione tra i paesi (il divario digitale globale) e all’interno dei paesi (il divario digitale sociale), ostacolando così la partecipazione alla vita politica e sociale. Queste condizioni possono avere un impatto negativo sullo sviluppo socio-economico territoriale e sulle opportunità disponibili per le persone.

Nell’UE, solo il 54% degli individui possiede competenze digitali complessive superiori a quelle di base[3]. In questo quadro, esiste un divario territoriale di competenze digitali, laddove le aree rurali presentano una percentuale inferiore di individui con competenze digitali avanzate[4]. A ciò si aggiunge un divario digitale di genere nell’Europa meridionale e orientale, dove le donne affrontano maggiori difficoltà nell’accesso alle tecnologie digitali. Altre variabili demografiche, come età, classe sociale, paese di origine, genere e status amministrativo (soprattutto per i migranti non-UE), contribuiscono a delineare il divario digitale in tutte le aree dell’Unione Europea (van Dijk, 2020). Contrastare il divario digitale diventa quindi il primo aspetto per contribuire ad un’effettiva partecipazione di tutti gli stakeholder ai processi di design dei sistemi di IA.

Tabella 1: definizione di digital divide.

Fonte: van Dijk, 2020.

Consapevolezza algoritmica: come influenza l’atteggiamento nei confronti dell’IA

Molte indagini analizzano le opinioni dei cittadini sull’uso dell’IA. L’abuso di dati personali, i potenziali errori dei sistemi di IA – e la connessa difficoltà a individuare la responsabilità –, le potenziali discriminazioni e la paura di essere controllati e manipolati sono spesso citati come timori legati all’utilizzo dei sistemi di IA (BEUC, 2020).

D’altro canto, il miglioramento dei servizi e della gestione della vita quotidiana, l’efficienza e la riduzione dei costi sono spesso indicati come risultati positivi dell’uso dei sistemi di IA (Pallett et al., 2024).

L’atteggiamento nei confronti dell’IA può essere influenzato dal livello di consapevolezza algoritmica (Gran et al., 2021), che può anche portare a nuove forme di divario digitale tra chi possiede le competenze per interagire criticamente con i sistemi di IA e chi ne è privo. Araujo e colleghi (2020) dimostrano che l’autoefficacia online – la capacità percepita di proteggere i dati personali – è associata a maggiori aspettative sull’utilità e l’equità dei processi decisionali automatizzati e a minori rischi percepiti. Inoltre, le forme di resistenza agli algoritmi (Bonini, Treré, 2024) e le strategie di auto-aiuto per ridurre i rischi associati all’uso dei sistemi di IA (Kappeler et al., 2023) dimostrano che i cittadini sono ben lontani dall’essere recipienti passivi delle tecnologie e stanno trovando il modo di esercitare la propria agency e di svolgere un ruolo attivo nel plasmare e interagire con i sistemi di IA. Investire nella promozione della consapevolezza algoritmica diventa quindi un secondo aspetto su cui puntare per garantire che tutti gli stakeholder possano apportare un contributo significativo alla progettazione di sistemi di IA più equi ed inclusivi.

Asimmetrie di potere e partecipazione al design dei sistemi di IA

Infine, la partecipazione al design dei sistemi di IA è necessariamente influenzata da asimmetrie di potere, che determinano chi può partecipare al processo, in quali forme e in quale misura. A seconda del livello di potere concesso agli stakeholder nel processo decisionale e del loro livello di coinvolgimento nello sviluppo dei sistemi di IA, Delgado e colleghi (2023) distinguono quattro forme di partecipazione:

  • Consultazione: Gli stakeholder sono coinvolti solo per fornire suggerimenti al fine di migliorare l’esperienza dell’utente.
  • Inclusione: I valori degli stakeholder sono incorporati nella progettazione del sistema di IA.
  • Collaborazione: Gli stakeholder decidono in merito alle caratteristiche stesse del sistema.
  • Proprietà: Gli stakeholder sono coinvolti durante tutto il ciclo di vita del progetto e decidono in merito agli stessi obiettivi della creazione del sistema.

Il mantenimento di asimmetrie di potere tra i creatori di sistemi di IA e le persone che subiscono gli effetti di questi sistemi può quindi influire negativamente sulla reale partecipazione delle parti interessate (Maas, 2023), contribuendo a forme di participation washing.

Conclusioni: verso un’inclusività digitale

L’inclusività digitale rappresenta un concetto centrale per il ruolo delle tecnologie digitali nel mitigare il divario digitale e il relativo incremento delle disuguaglianze. L’integrazione delle tecnologie digitali e delle infrastrutture sottostanti nella società contemporanea è di rilevanza cruciale, specialmente considerando la loro ampia diffusione. Si parla quindi spesso di inclusività digitale in termini di digital inclusion, cioè come forma di opposizione al divario digitale con azioni e politiche specifiche, al fine di garantire l’accesso alle infrastrutture digitali e non lasciare indietro persone e/o territori.

Tuttavia, in questo contributo, abbiamo optato per l’utilizzo di inclusività digitale come digital inclusiveness, quindi un processo attraverso il quale le tecnologie digitali diventano più inclusive, garantendo lo sviluppo di condizioni più giuste ed eque per i territori e per le persone, sia a livello individuale che collettivo. Questa prospettiva include quella del digital inclusion, ma aggiunge delle ulteriori dimensioni. Riteniamo, infatti, che non sia possibile garantire un effettivo digital inclusiveness senza tenere in considerazione, oltre agli aspetti relativi al divario digitale, anche quelli della consapevolezza algoritmica e delle asimmetrie di potere, come abbiamo cercato di mostrare in questo articolo. Affrontare queste criticità diventa condizione necessaria per evitare forme di partecipation washing e favorire l’effettiva partecipazione di tutti gli attori alla costruzione dei sistemi di IA.

Bibliografia

Bakiner, O. (2023). Pluralistic sociotechnical imaginaries in Artificial Intelligence (AI) law: the case of the European Union’s AI Act. Law, Innovation and Technology, 15(2), 558-582.

BEUC (2020). Artificial Intelligence: what consumers say. Findings and policy recommendations of a multi-country survey on AI. Available at: https://www.sverigeskonsumenter.se/media/kbgf3wya/beuc-ai.pdf

Bonini, T., & Treré, E. (2024). Algorithms of resistance: The everyday fight against platform power. Mit Press.

Buolamwini, J., & Gebru, T. (2018, January). Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on fairness, accountability and transparency (pp. 77-91). PMLR.

Bucher, T. (2019). The algorithmic imaginary: Exploring the ordinary affects of Facebook algorithms. Information, Communication & Society, 20(1), 30-44.

Delgado, F., Yang, S., Madaio, M., & Yang, Q. (2023, October). The participatory turn in ai design: Theoretical foundations and the current state of practice. In Proceedings of the 3rd ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization (pp. 1-23).

Gran, A. B., Booth, P., & Bucher, T. (2021). To be or not to be algorithm aware: a question of a new digital divide?. Information, Communication & Society, 24(12), 1779-1796.

Greene, D., Hoffmann, A. L., & Stark, L. (2019). Better, nicer, clearer, fairer: A critical assessment of the movement for ethical artificial intelligence and machine learning.

Jasanoff, S., & Kim, S. H. (2009). Containing the atom: Sociotechnical imaginaries and nuclear power in the United States and South Korea. Minerva, 47, 119-146.

Jasanoff, S., & Kim, S. H. (2015). Dreamscapes of Modernity: Sociotechnical Imaginaries and the Fabrication of Power. University of Chicago Press.

John-Mathews, J. M., Cardon, D., & Balagué, C. (2022). From reality to world. A critical perspective on AI fairness. Journal of Business Ethics, 178(4), 945-959.

Kappeler, K., Festic, N., Latzer, M., & Rüedy, T. (2023). Coping with Algorithmic Risks. Journal of Digital Social Research, 5(1), 23-47.

Liebenberg, L., Jamal, A., & Ikeda, J. (2020). Extending Youth Voices in a Participatory Thematic Analysis Approach. International Journal of Qualitative Methods, 19.

Lee, M. K., Kim, J. T., & Lizarondo, L. (2017, May). A human-centered approach to algorithmic services: Considerations for fair and motivating smart community service management that allocates donations to non-profit organizations. In Proceedings of the 2017 CHI conference on human factors in computing systems (pp. 3365-3376).

Maas, J. (2023). Machine learning and power relations. AI & SOCIETY, 38(4), 1493-1500.

Moriggi, A. (2021). Green care practices and place-based sustainability transformations: A participatory action-oriented study in Finland (tesi di dottorato, Wageningen University and Research).

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447-453.

O’Neil, C. (2017). Weapons of math destruction: How big data increases inequality and threatens democracy. Penguin Books.

Pallett, H., Price, C., Chilvers, J., & Burall, S. (2024). Just public algorithms: Mapping public engagement with the use of algorithms in UK public services. Big Data & Society, 11(1), 20539517241235867.

Pasquale, F. (2015). The black box society: The secret algorithms that control money and information. Harvard University Press.

Pirina, G. (2022). Connessioni globali. Una ricerca sul lavoro nel capitalismo delle piattaforme. Franco Angeli.

Sloane, M., Moss, E., Awomolo, O., & Forlano, L. (2022, October). Participation is not a design fix for machine learning. In Proceedings of the 2nd ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization (pp. 1-6).

Van Dijk, J. (2020). The digital divide. Polity Press.

https://ec.europa.eu/eurostat/web/products-eurostat-news/w/ddn-20230320-2. Ultimo accesso: 07/07/24.

https://digital-strategy.ec.europa.eu/it/policies/digital-inclusion. Ultimo accesso: 07/07/24.

https://digital-strategy.ec.europa.eu/en/library/2023-report-state-digital-decade. Ultimo accesso: 07/07/24.

https://ec.europa.eu/eurostat/web/interactive-publications/digitalisation-2023. Ultimo accesso: 07/07/24.

EU Stories - La coesione innova l'Italia

Tutti
Iniziative
Video
Analisi
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati

Articolo 1 di 4