aziende e innovazione

Il pregiudizio nell’IA: così le imprese possono gestirlo



Indirizzo copiato

L’intelligenza artificiale è un catalizzatore per l’innovazione in molti settori, ma comporta anche rischi legati al bias. La sfida per le imprese risiede nello sviluppo di prodotti etici e responsabili. Per questo è fondamentale acquisire le competenze per identificare e mitigare il pregiudizio insito nella tecnologia

Pubblicato il 18 ott 2023

Sara Mancini

Senior Manager di Intellera Consulting

Elena Maran

Global Head Financial services di Modulos.ia

Massimo Pellegrino

Partner di Intellera Consulting

Simone Severini

Vice President Revenues di Modulos.ia



artificial-intelligence-4736369_960_720

Oltre a potenziare l’efficienza, l’intelligenza artificiale offre soluzioni innovative che amplificano le abilità umane, creando nuove opportunità di business per le aziende e migliorando l’esperienza degli utenti nei settori in cui è applicata. Presenta però numerose sfide.

Il bias nell’intelligenza artificiale

Tra queste, il bias, ovvero i pregiudizi o discriminazioni nei confronti di un determinato gruppo di persone, rappresenta uno delle principali problematiche da affrontare nello sviluppo dell’IA. Un rischio che potrebbe minare la fiducia nell’IA, compromettendo la reputazione delle aziende che lanciano sul mercato prodotti e servizi basati su questa tecnologia.

I legislatori di tutto il mondo stanno intensificando la loro vigilanza su questo settore in continua espansione con l’obiettivo di prevenire abusi e garantire che l’IA non provochi danni involontari o infranga diritti fondamentali dell’uomo. Tra i vari interventi normativi, spicca il regolamento Europeo sull’Intelligenza Artificiale (EU AI Act), che enfatizza l’importanza della trasparenza, della responsabilità e dell’equità nell’uso dell’IA. Con le sue direttive intende non solo proteggere i singoli, ma anche creare un ambiente in cui l’IA possa essere utilizzata per il benessere comune, evitando pratiche discriminatorie.

Per le organizzazioni è fondamentale aderire a prassi di IA affidabili e trasparenti. Chi vuole innovare deve proteggere la propria reputazione ed evitare possibili sanzioni legali. Oltre alla semplice conformità normativa, le aziende devono essere consapevoli dei rischi reputazionali: in un mondo dove l’etica aziendale è sempre più al centro dell’attenzione, un uso scorretto dell’IA può avere gravi ripercussioni e impattare negativamente sulla valutazione in ambito ESG. Un episodio di discriminazione potrebbe compromettere l’immagine e diminuire la fiducia dei clienti, essendo sintomo di una pessima governance dei processi di IA.

Approfondiamo allora il concetto di bias nell’IA, analizzando le sue cause. Nonostante la complessità del tema, che si trova all’intersezione tra etica, politica e tecnologia, mostreremo come le aziende possono identificarlo, valutarlo e contrastarlo.

Il concetto di bias nell’IA

Il “bias” indica una tendenza o pregiudizio a favore o contro un determinato gruppo. Nell’ambito dell’Intelligenza Artificiale, il pericolo principale è quello di amplificare e perpetuare le ingiustizie e le discriminazioni, vista la sua capacità di prendere decisioni su una scala molto più vasta rispetto all’uomo. Il bias si presenta in due forme:

  • Bias Sistemico: si tratta degli squilibri e dei pregiudizi radicati nelle strutture sociali. Potremmo immaginare il bias sistemico come un albero dalle radici profonde, i cui rami si infiltrano in vari ambiti della vita. Un esempio lampante è il ruolo storicamente marginalizzato delle donne in numerose professioni.
  • Bias Sistematico: fa riferimento ai pregiudizi che emergono a causa dei metodi o processi adottati. Nell’IA, questo si manifesta nella maniera in cui gli algoritmi vengono elaborati o i dati raccolti. Se, ad esempio, un modello di IA viene addestrato su dati di una specifica demografia, le sue previsioni tenderanno a favorire quel gruppo, dando luogo a un bias sistematico.

Per offrire un esempio pratico, prendiamo in considerazione la tecnologia di riconoscimento facciale. Se essa viene addestrata prevalentemente su dati relativi a un singolo gruppo etnico, la sua precisione cala drasticamente per individui appartenenti ad altre etnie. Questo non è un semplice errore, ma una manifestazione di bias sistematico. Allo stesso modo, uno strumento di selezione del personale basato sull’IA potrebbe rispecchiare bias sistemici se tende a favorire costantemente un determinato genere o gruppo etnico, riflettendo così le concezioni e i pregiudizi profondamente ancorati nella società.

Identificare e mitigare il bias: la vera sfida per le imprese

Il bias è una delle sfide più impegnative e critiche con cui le aziende devono confrontarsi. Identificarlo richiede di non solo di scansionare algoritmi o dati, ma anche di comprendere in profondità degli impatti umani e sociali.

In primo luogo, per riconoscere la presenza di bias, è essenziale identificare i gruppi che potrebbero essere colpiti, cioè quei sottoinsiemi di dati che condividono caratteristiche comuni o simili, come età, origine o sesso. Questa fase richiede una riflessione dettagliata, poiché le discriminazioni possono essere sottili e non immediatamente evidenti. Una volta individuati questi gruppi, le aziende devono definire una metrica di equità, che sia allineata sia ai principi normativi che ai valori etici dell’organizzazione.

Due esempi pratici

Per un’analisi più dettagliata, prendiamo in considerazione due esempi pratici: la valutazione del merito creditizio e la promozione di servizi essenziali, come una polizza assicurativa. Nel contesto della valutazione creditizia, è fondamentale selezionare una metrica di equità che affronti congiuntamente due sfide principali. Da un lato, vi è il rischio di concedere un prestito a qualcuno che, alla fine, potrebbe non essere in grado di ripagarlo (falso positivo), precludendo a questa persona ulteriori opportunità creditizie in futuro. Dall’altro, si corre il rischio di rifiutare ingiustamente un prestito a un soggetto effettivamente in grado di restituire l’importo (falso negativo), mettendo in discussione la sua stabilità finanziaria futura. Di fronte a tali sfide, in cui ogni decisione può avere ripercussioni significative, e ancor di più se determinati gruppi vengono trattati in maniera ineguale, una metrica come gli “equalized odds” potrebbe essere la più indicata. Questa metrica assicura che il rapporto tra veri positivi e falsi negativi sia uniforme tra i vari gruppi considerati.

Nella promozione di servizi essenziali, l’intento principale dovrebbe essere garantire un accesso equo a tutti gli individui. La promozione dovrebbe raggiungere in maniera proporzionale i vari gruppi, presupponendo che gli individui ai quali viene proposto il servizio siano effettivamente interessati ad esso. Qui, una metrica come l'”equal opportunity”, che mette a fuoco la differenza nei tassi di accettazione tra i diversi gruppi per quegli individui che hanno manifestato interesse o che sono effettivamente idonei alla promozione, potrebbe essere la scelta più pertinente.

Questi scenari illustrano chiaramente come diverse circostanze e diversi valori etici o contesti sociali richiedano metriche adatte e come ogni metrica abbia implicazioni distinte. È fondamentale che ogni scelta sia guidata dal contesto specifico e dagli obiettivi dell’organizzazione. Per esempio, nel campo della microfinanza, un ente potrebbe optare per l’erogazione di un maggior numero di prestiti, pur essendo consapevole del maggiore rischio di insolvenza, con l’obiettivo primario di garantire una più vasta accessibilità al credito e definire una diversa metrica di equità per la valutazione del merito creditizio.

Qui risiede una delle principali complessità: non esistono riferimenti standardizzati o buone pratiche riconosciute in questo ambito. Creare un legame diretto tra le politiche aziendali e le attività quotidiane di data science può diventare una sfida formidabile. Questa discrepanza sottolinea l’importanza di una solida governance dell’IA. Le imprese devono assicurarsi che ci sia una collaborazione trasversale tra i vari gruppi di lavoro, in modo da stabilire metriche di equità che misurino autenticamente il potenziale danno ai gruppi colpiti.

Le fasi di raccolta e cura dei dati, modelizzazione e messa in produzione del modello sono tutte cruciali. Durante queste fasi, è vitale uniformare le tecniche per mitigare il bias. Un aspetto fondamentale da considerare nella selezione delle tecniche di mitigazione è bilanciare gli obiettivi aziendali (come la profittabilità) con la necessità di garantire un trattamento equo per gli individui colpiti. È anche essenziale riconoscere che il bias, data la sua natura pervasiva, non può mai essere eliminato del tutto. Questo concetto diverrà più chiaro nell’esempio successivo, che metterà in luce le sfide e le soluzioni adottate nel mondo reale.

Il caso del credito al consumo

Il settore del credito è categorizzato come ad alto rischio nell’ambito dell’EU AI Act. Pertanto, oltre ad altri requisiti di conformità, è necessaria un’analisi dettagliata e una mitigazione dei bias potenziali. Storicamente, le decisioni sulla concessione di prestiti erano basate su elementi quali lo storico creditizio e il reddito dell’individuo. Oggi tali parametri tradizionali sono impiegati come dati di ingresso nei modelli di machine learning, per stimare le probabilità di rimborso di un prestito.

Dal punto di vista del consumatore, una decisione errata guidata dall’IA potrebbe avere gravi ripercussioni sul suo punteggio creditizio, inficiando l’accesso al credito. Questo porta . come affermato anche dall’AI Act – a minare i diritti fondamentali dell’individuo. Ad esempio, una persona che non riesce a rispettare gli impegni di rimborso dopo aver ricevuto un prestito (falsi positivi) potrebbe vedere una notevole diminuzione del proprio punteggio creditizio. D’altro canto, un individuo meritevole al quale viene ingiustamente negato un prestito (falsi negativi) potrebbe vedere compromessa la propria solidità finanziaria futura.

Dal punto di vista dell’istituzione creditizia, una dipendenza eccessiva da modelli di machine learning, specialmente quelli basati su dati storici non rappresentativi, potrebbe causare numerosi falsi negativi. Se emergesse che le decisioni sono prese basandosi su categorie protette, come il genere o la razza, ciò potrebbe danneggiare gravemente la reputazione dell’istituzione finanziaria e erodere la fiducia dei clienti.

Attraverso l’analisi di tali rischi, l’istituzione finanziaria può identificare la metrica statistica più pertinente per valutare il bias, con l’obiettivo di attenuare sia gli effetti dei falsi positivi che quelli dei falsi negativi. Adottare robuste pratiche di governance dell’IA è fondamentale per bilanciare aspetti come redditività, equità, reputazione e coinvolgimento degli stakeholder.

Data science: il ruolo centrale della governance

Nell’era digitale, l’Intelligenza Artificiale rappresenta un catalizzatore per l’innovazione in molti settori, ma con essa emergono sfide etiche e regolatorie legate al bias. Come dimostrato nel settore del credito, le conseguenze di decisioni basate su dati e modelli distorti possono avere ripercussioni sia per l’individuo sia per le istituzioni. L’EU AI Act evidenzia la necessità di una regolamentazione, ma la vera sfida per le imprese risiede nello sviluppare prodotti etici e responsabili. Per questo è fondamentale acquisire le competenze per identificare e mitigare il bias in modo coerente con i propri valori e obiettivi.

La governance dell’IA, unita a una collaborazione interdisciplinare e a pratiche responsabili, è il pilastro su cui costruire soluzioni IA che coniughino profitto, equità e reputazione. In questo contesto, le organizzazioni hanno l’opportunità non solo di rispettare normative, ma di porsi come esempi virtuosi, guidando il cammino verso un futuro tecnologico più giusto e inclusivo.

EU Stories - La coesione innova l'Italia

Tutti
Iniziative
Video
Analisi
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati