La vita degli statunitensi, e non solo – ma oltreoceano è un meccanismo ormai consolidato – è scandita più di quel che si pensa da oscuri meccanismi matematici che influenzano le vite dei cittadini in modi difficili da immaginare e a volte imprevedibili, specie quando questi algoritmi sbagliano (e accade spesso).
Il più famigerato fra i modelli matematici che condizionano la vita dei cittadini Usa è quello che sostiene il celebre sistema del merito creditizio (credit score), un sistema di report e punteggi che permette a chi ha un risultato più elevato di accedere con più facilità al credito.
Per risolvere le anomalie e individuare pattern che possano “prevedere” con maggior efficienza anche i casi anomali o individuare potenziali errori nei dati di partenza si sta pensando di ricorrere all’intelligenza artificiale (ad esempio, un soggetto con una perfetta credit score funestata da un fallimento milionario potrebbe verosimilmente essere stato associato per errore al dato del fallimento e l’intelligenza artificiale potrebbe selezionare ed evidenziare situazioni simili).
Sebbene infatti ad oggi non risultino utilizzati sistemi di intelligenza artificiale per determinare il merito creditizio, alcuni grandi player del settore stanno studiando soluzioni ad hoc per innovare il loro business.
Ma, ancora una volta, l’uso dell’intelligenza artificiale potrebbe non andare proprio a vantaggio dei cittadini. Vediamo perché
Modelli matematici e sistema del merito creditizio (credit score)
Per molti americani la conquista o la conservazione di una credit score elevata diventa una vera e propria ossessione, modificando comportamenti e facendo rinunce finalizzate ad influenzare l’algoritmo a loro favore.
Equifax, Experian e Transunion sono i principali Uffici del Credito americani e utilizzano una importante serie di dati su ogni cittadino statunitense al fine di compilare dei report da vendere ai player del settore della finanza al consumo (ma non solo), che così possono decidere se un soggetto che richiede un prestito è affidabile o meno.
Oltre a questi report dettagliati, ciascuna di queste aziende e altre (tra cui la più famosa è forse la cosiddetta FICO score, dal nome della compagnia che ha sviluppato il modello che genera il “punteggio”, la Fair Isaac Corporation) propongono oltre ai report un “punteggio” (credit score) per ogni individuo, che può essere utilizzato sempre per decidere se concedere un prestito (e viene preferito perché più rapido rispetto all’analisi della reportistica prodotta dagli Uffici del Credito).
Il credit score però negli Stati Uniti trascende questa sua originaria funzione e può essere richiesto per assicurarsi un immobile in locazione o per ottenere un posto di lavoro (sebbene in alcuni stati questa pratica sia vietata). Sia proprietari immobiliari che datori di lavoro cercano infatti soggetti seri e documentare l’affidabilità creditizia per un soggetto può aprire le porte di un immobile o di un lavoro.
Non avere un buon punteggio creditizio può quindi influire su numerosi aspetti della vita dei cittadini USA, a volte addirittura le persone potrebbero faticare ad ottenere accesso ai servizi essenziali come luce, acqua e gas se hanno un punteggio basso perché le compagnie danno priorità agli allacci dei soggetti più affidabili o potrebbero chiedere un deposito consistente all’utente che chiede di essere servito senza un punteggio creditizio sufficientemente elevato.
Il paradosso è poi costituito dal fatto che non solo chi ha un punteggio inferiore può rischiare di vedersi negato un prestito, ma a volte può ottenerlo scontando interessi maggiorati (il mutuante, se si assume il rischio di prestare ad un soggetto che non offre garanzie, lo fa chiedendo interessi più elevati) con il risultato che, probabilmente, il credit score del soggetto già in difficoltà peggiorerà ulteriormente.
In questo circolo vizioso una persona con un cattivo credit score faticherà ad accedere al credito, ai servizi essenziali, a immobili e auto, così finendo condannato ad una spirale negativa da cui è molto difficile rialzarsi.
L’algoritmo nel merito creditizio
Finché il credit score rimane un insieme di dati pubblici su un soggetto, associati per attribuire un punteggio, questo meccanismo, pur perverso, rimane almeno prevedibile, ma l’ingresso dei complessi modelli matematici (peraltro protetti come segreti industriali) in questo settore comporta un offuscamento dei meccanismi e una imprevedibilità (per il soggetto che lo subisce) del risultato.
A ciò si aggiunge il fatto che questi algoritmi possono essere spiegati solo in parte nel loro funzionamento in quanto ogni azienda che si occupa di credit scoring custodisce gelosamente i modelli matematici che le consentono di essere più accurata delle concorrenti.
Quello che è possibile conoscere è l’insieme dei dati di partenza e il risultato finale, chiedendo se del caso che i dati di partenza siano corretti o che venga fatta una verifica se apparentemente il punteggio non rispecchia i dati di partenza.
Le aziende che forniscono i punteggi assicurano di non utilizzare ma ammettono anche che questi “punteggi” possono essere errati per errori nei dati di partenza o altre anomalie spiegabili e quindi consigliano agli utenti di verificarle annualmente e comunque con congruo anticipo (almeno tre/sei mesi prima) prima di richiedere un prestito o comprare casa o un’auto.
Creato quindi il meccanismo, si onerano gli utenti di verificarne il corretto funzionamento e di correggerne gli errori e, a volte, non è un’operazione affatto semplice.
Specie se si considera che questi errori sono davvero diffusi. Secondo uno studio della Federal Trade Commission diffuso nel 2013, al tempo il 20% dei cittadini americani “valutati” con il sistema del credit report poteva documentare errori nel report stesso e il 5% aveva documentato errori così influenti da poter incidere sulla possibilità di accedere al credito.
Per comprendere questi scompensi è necessario pensare a come funziona un algoritmo. È chiaro che per una compagnia investire una certa cifra per un programma che prevede con un’accuratezza dell’80% i risultati è più efficiente che spendere dieci volte tanto per ottenere un’accuratezza del 90%.
Correggere gli errori eccezionali, gli errori nei dati di partenza, prevedere le anomalie, è difficile, dispersivo e non è efficiente. Per questo è preferibile un software più “semplice” che ha un margine di errore maggiore ma che al contempo, per un costo molto inferiore, raggiunge una percentuale comunque soddisfacente di risultati corretti.
Se una banca con un piccolo investimento riesce a capire nell’80% dei casi se un soggetto che applica per un prestito è affidabile è chiaro che sosterrà l’investimento, se deve pagare dieci volte tanto per un’accuratezza del 90% ci penserà due volte prima di pagare il surplus.
Poco importa, alla banca, se l’algoritmo utilizzato contiene errori che possono rovinare vite o se il suo utilizzo realizza la classica profezia che si autoavvera, l’importante è avere una previsione accurata nella maggior parte dei casi.
Ulteriore problema è quello del cosiddetto “coded bias” (lett. “pregiudizio codificato”) ovvero la raccolta di dati o la loro valorizzazione in modo da favorire (consciamente o inconsciamente) certe categorie di soggetti.
Sebbene le aziende che si occupano di credit scoring affermino che i loro dati riguardano solamente la storia creditizia di una persona (con esclusione dei dati di razza, sesso, educazione, etc.), è evidente che alcuni di questi dati possano essere intuiti dalla storia creditizia sottoposta all’algoritmo che, partendo dal pregiudizio che un soggetto laureato sia meno insolvente rispetto ad un soggetto con educazione di livello inferiore, potrebbe utilizzare dati vicari per ricostruire il dato e così favorire i soggetti più educati nell’accesso al credito.
L’intelligenza artificiale nel credit score
Alcune aziende, tra cui FICO, stanno lavorando a un sistema per implementare nel credit score una “explainable AI” (xAI), un’intelligenza artificiale che l’azienda definisce “spiegabile” e quindi, nelle intenzioni, più trasparente.
Come al solito però, la possibilità di “spiegare” questa intelligenza artificiale si scontra con la necessità di tutelarla come un asset aziendale, che deve essere protetto e mantenuto segreto per evitare che altri concorrenti scoprano i punti di forza dello “scoring” di un’azienda.
Inoltre l’utilizzo di intelligenze artificiali all’interno di un sistema complesso come quello del credit rating porta con sé nuove sfide di trasparenza (di qui la proposta di una AI “spiegabile”) perché l’intelligenza artificiale di per sé è difficile da spiegare (anche al netto del problema del segreto industriale), perché “impara” dai dataset che le sono sottoposti e di qui la difficoltà nel comprendere e spiegare perché dopo un tot di dati analizzati l’algoritmo abbia iniziato a segnalare determinati dati come sintomo di minore o maggiore affidabilità creditizia.
L’intelligenza artificiale non sembra quindi davvero “amica” dei cittadini in un settore del genere, ma sembra piuttosto amica delle aziende che producono credit score e delle aziende che li utilizzano.
Per correggere gli errori dell’algoritmo sembra invece preferibile un approccio che prescriva un ritorno ad un’elaborazione più ancorata e diretta con il dato di partenza, accompagnata da un maggior controllo sulla correttezza del dato di base con sua esclusione nel caso di dato non convalidato e sicuramente riferibile alla persona.
L’adversarial debiasing
L’utilizzo dell’intelligenza artificiale nel settore creditizio si sta però sviluppando anche in un’altra direzione, quest’ultima molto interessante.
Il processo si chiama adversarial debiasing, ovvero un procedimento che punta a ridurre l’impatto del coded bias nell’algoritmo (o nell’intelligenza artificiale) utilizzata fino ad ora.
Il funzionamento è semplice, in buona sostanza si confronta il modello matematico utilizzato dall’azienda che si occupa di credit report e lo si paragona con un sistema che cerca di individuare il dato “intuito” (razza, sesso, educazione) sulla base dei dati di partenza.
Se i due algoritmi portano a risultati sovrapponibili, è evidente che il sistema utilizzato dall’azienda di che si occupa di credit scoring va corretto in quanto ha calibrato i propri punteggi in modo da rivelare il dato sensibile che invece non voleva (e non doveva analizzare).
Appare evidente che l’utilizzo di modelli di intelligenza artificiale nel settore di credit scoring dovrebbe passare per un simile procedimento, anche se non è detto che questo processo sia una panacea.
L’obiettivo dell’adversarial debiasing è dichiaratamente quello di una semplice mitigazione del rischio della presenza di pregiudizi “codificati” e presuppone a monte una selezione dei criteri “indesiderati” rispetto a quelli che invece sono tollerati (ad esempio è difficile pensare di utilizzare questo sistema per trovare una correzione nel “peso” da assegnare ai dati di partenza che consenta di evitare tutti i possibili pregiudizi dell’algoritmo, come razza, sesso, religione, età, provenienza, educazione, stipendio, matrimonio, etc.).
Non stiamo parlando quindi di una vera e propria soluzione, ma di un passaggio (auspicabilmente) obbligato nel caso in cui si voglia implementare una AI (comunque “spiegabile”) anche in questo settore.
Cosa accade in Europa
In molti stati europei il sistema del merito creditizio non è così evoluto. In Italia, così come in Spagna ed in Francia, il merito creditizio è un indicatore utilizzato in sostanza solo quando si tratta di accedere a credito e, di fatto, l’importante è non essere inclusi nelle “liste nere” dei cattivi pagatori.
Per il resto è il singolo istituto di credito a valutare l’affidabilità del potenziale soggetto finanziato sulla base di vari criteri e documenti (che variano da istituto a istituto).
Ci sono però significative eccezioni, come quella del Regno Unito, dove esistono sistemi di credit scoring simili a quelli in essere negli USA, e quella della Germania, dove esiste un complesso e sofisticato sistema di merito creditizio, gestito dalla SCHUFA, che influenza non solo l’accesso al credito, ma anche alle locazioni e ai servizi (come, ad esempio, l’accesso a internet).
E SCHUFA non è migliore delle controparti americane, in quanto l’algoritmo che genera lo score dei cittadini tedeschi è un segreto industriale e come tale non è accessibile, rendendo così meno prevedibile il punteggio assegnato e, per l’effetto, meno contestabile.
L’unica “consolazione” è che l’azienda tedesca dovrebbe collezionare, per comporre il proprio punteggio, unicamente la storia creditizia dei cittadini tedeschi e, quindi, i dati di partenza dell’algoritmo dovrebbero essere trasparenti e conoscibili (rendendo così possibile correggere errori quantomeno nel dato di partenza su cui poi ha lavorato il programma tedesco).
Nel 2018 è stata avviata una campagna, chiamata “OpenSHUFA”, con l’obiettivo di ottenere maggiore trasparenza nel funzionamento dei meccanismi del merito creditizio tedesco e di esporre le criticità e gli attriti fra il sistema e la normativa GDPR, l’iniziativa ha ottenuto significativo successo e l’attenzione della stampa, e successive indagini hanno dimostrato che l’algoritmo privilegia le donne e gli anziani e i soggetti che si trasferiscono con minor frequenza.
Con il progressivo affermarsi della normativa GDPR la Shufa Holding AG ha dovuto rispondere con maggior trasparenza alle richieste di accesso, anche se l’algoritmo che regola il processo rimane ad oggi inaccessibile.
Anche l’azienda tedesca, poi, è molto interessata al settore dell’intelligenza artificiale, promette però un “percorso dialogico” per arrivare all’implementazioni di simili tecnologie, percorso che necessariamente dovrà tener conto del percorso per l’approvazione del Regolamento UE in tema di intelligenza artificiale, che già nella bozza diffusa lo scorso aprile include i meccanismi di credit scoring fra le intelligenze artificiali ad alto rischio e prevede meccanismi che garantiscano la trasparenza dell’algoritmo e la “qualità” dei dataset, per minimizzare il rischio di discriminazioni (ad esempio con meccanismi di adversarial debiasing).
