Tutti noi abbiamo almeno una volta nella vita sottoscritto un contratto di finanziamento o fatto richiesta alla nostra banca per l’erogazione di una carta di credito. Quello che forse non tutti sanno, è cosa succede dietro le quinte ed in che modo gli istituti di credito decidono di approvare o negare le richieste pervenute.
La parola magica è credit scoring.
Il credit scoring è un metodo statistico che consente di valutare l’affidabilità creditizia e la solvibilità di una determinata persona. È sostanzialmente un’attività di valutazione del rischio, sulla base del profilo di una persona, che nasconde però molti rischi di discriminazione.
Non mancano – comunque – le tutele, come l’articolo 22 del Gdpr, che in caso di decisione automatizzata sancisce il diritto di poter richiedere l’intervento umano. È bene, quindi, essere il più possibile informati su questi processi che ci riguardano tutti.
Come funziona il credit scoring
Come funziona?
Quando l’istituto di credito riceve una richiesta di finanziamento di qualsiasi tipo, procede preliminarmente ad acquisire una gran quantità di dati personali del cliente presso diverse banche dati – che possono essere pubbliche (come il Registro dei Protesti, o il sistema pubblico di Prevenzione), o private (Sistemi di Informazione Creditizia, “SIC”).
I dati acquisiti riguardano principalmente due categorie di informazioni: di tipo positivo, come informazioni sulla regolarità dei pagamenti di bollette o rate, o di tipo negativo, come morosità, debiti, mutui attivi, e così via.
Oltre a queste informazioni, il sistema acquisisce qualsiasi altro dato personale rilevante per procedere all’analisi tipica del credit scoring: dati anagrafici e identificativi di vario tipo, attività economiche, dati patrimoniali, dati demografici, sesso, età, e molto altro.
Una volta ottenuti tutti i dati necessari – spesso attraverso un flusso di dati automatizzato, che collega direttamente l’istituto di credito con le banche dati – si procede con la vera e propria attività di credit scoring, che molto spesso consiste in un’attività di profilazione a cui segue un processo decisionale automatizzato.
Il credit scoring è quindi un processo trifasico: acquisizione dei dati, creazione del profilo utente, decisione automatizzata (accoglimento o rigetto della richiesta). La decisione dipende in gran parte dal profilo di rischio dell’utente, che viene valutato in modo automatico da software specifici, sulla base dei dati disponibili.
Come si può vedere dal seguente estratto (censurato) di un flusso di dati di credit scoring, è il software stesso che procede a definire un profilo di rischio del cliente, sulla base di numerosi fattori che qui sono riportati solo in minima parte.
IP=”XX” INa=”I” INV=”XXXXXXXXXX” ICo=”XXXXXXXXX” ICap=”10155” ICT=”VIA” IPN=”5” IDC=”2010-10-20“/></A><CH TNC=”6” NES=”4“/><CBS P=”00497” F=”I“><S DM=”RISCHIO MEDIO” CM=”19“/></CBS><I Code=”ZONE20_CNS“><KeyValuePair V=”452” K=”PUNTEGGIO“/><KeyValuePair V=”PF05” K=”FASCIA“/><KeyValuePair V=”A3” K=”CODAREA“/><KeyValuePair V=”RISCHIO MEDIO” K=”AREA“/>
Spesso, il risultato di questa complessa analisi arriva agli schermi degli operatori dell’istituto di credito sotto forma di semplici valutazioni qualitative: “affidabile”, “affidabile con riserva”, “inaffidabile” – di solito accompagnate da colori: verde, giallo, rosso.
Ciò che rileva, è che la persona dall’altra parte del monitor non compie alcuna attività, se non quella di verifica ulteriore delle persone “affidabili con riserva”. In questi casi, è solitamente la policy aziendale a dettare il risultato della decisione. In alcuni casi la richiesta sarà negata; in altri, il cliente avrà la possibilità di accettare condizioni contrattuali diverse rispetto a clienti con un profilo migliore, come una rata più elevata o una cauzione.
Credit scoring non solo per gli istituti di credito
Non sono solo gli istituti di credito che possono accedere ai SIC, ma anche alcuni soggetti specificatamente indicati dalla normativa nazionale. Tra gli insospettabili, figurano anche le società di fornitura di energia – come si evince dal combinato disposto di alcune norme di legge:
- Ai sistemi informativi di cui all’articolo 117 del codice di cui al decreto legislativo 196/2003, possono avere accesso, anche per le finalità ivi previste, i soggetti che partecipano al sistema di prevenzione di cui al comma 5 dell’articolo 30-ter del decreto legislativo 141/2010
- L’art. 30-ter, comma 5 del decreto legislativo 141/2010 (modificato dalla Legge 124/2017) recita come segue: partecipano al sistema di prevenzione delle frodi i seguenti soggetti, di seguito denominati aderenti: b-ter) i soggetti autorizzati a svolgere le attività di vendita a clienti finali di energia elettrica e di gas naturale ai sensi della normativa vigente
Ciò significa che da alcuni anni, anche le società di fornitura di energia elettrica e gas hanno a disposizione il potente strumento del credit scoring. Ogni volta che viene chiesta l’attivazione di una nuova utenza di energia elettrica o gas, questa dovrà prima passare il vaglio di un processo decisionale automatizzato di credit scoring – al pari di ciò che succede per gli istituti di credito.
I rischi per le persone: gli errori di sistema
I rischi per le persone sono molti. Come visto, il processo di credit scoring si compone di tre macro-fasi: acquisizione dei dati, profilazione, processo decisionale automatizzato. Queste tre fasi possono essere tecnicamente descritte come segue:
- Data warehousing: raccolta e memorizzazione di dati su larga scala
- Data mining: analisi automatizzata dei dati disponibili con estrazione delle informazioni rilevanti
- Data correlation: analisi delle informazioni estratte per la definizione di un profilo personale
I SIC sono responsabili della prima fase: la raccolta e memorizzazione di dati su larga scala. Dati gli interessi in gioco, la normativa (oggi anche il Codice di Condotta approvato il 12 settembre 2019 dall’Autorità Garante per la protezione dei dati personali) prevede stringenti regole per garantire l’esattezza e qualità dei dati raccolti e memorizzati. I SIC sono tenuti a mantenere aggiornato le proprie banche dati, e sono obbligati a mantenere ridotti tempi di conservazione dei dati, per assicurare da un lato il rispetto del principio di minimizzazione, e dall’altro la qualità dei dati disponibili – che decade man mano che passa il tempo. Mantenere dati inesatti o non aggiornati nelle banche dati dei SIC significa viziare tutto il processo che segue.
La seconda fase, il data mining, dipende dagli accordi contrattuali tra operatore e SIC. Le informazioni estratte saranno infatti soltanto quelle ritenute rilevanti per le finalità dell’operatore. Anche in questa fase è fondamentale accertarsi che le informazioni estratte siano effettivamente rilevanti e non eccedenti – pena un risultato non ottimale della fase successiva, forse la più importante.
La data correlation è ciò che generalmente viene chiamata profilazione: l’analisi delle informazioni disponibili per la creazione di un profilo personale con lo scopo di avere un’indicazione il più possibile precisa della realtà o per prevedere possibili avvenimenti futuri. Tuttavia, la profilazione è un’attività soggetta per sua natura ad errori. Gli errori potrebbero derivare dalle fasi precedenti, ma potrebbero anche dipendere dalla bontà dell’algoritmo di profilazione – che di fatto è responsabile del processo decisionale automatizzato da cui deriva l’accettazione o rifiuto della richiesta di credito (o di somministrazione di energia).
Molte persone non sono consapevoli di ciò che succede dietro le quinte, e la legge non prevede obblighi specifici di comunicazione delle motivazioni del rifiuto di una richiesta sulla base di un processo decisionale automatizzato di credit scoring. È sufficiente indicare nella comunicazione di rifiuto che per valutare la richiesta si è fatto ricorso a Sistemi di Informazione Creditizia.
In realtà, spesso neanche i dipendenti di queste organizzazioni hanno idea di cosa succeda dietro le quinte. Chiedere al customer service la motivazione per cui la richiesta di carta di credito è stata negata è semplicemente inutile. Non hanno modo di saperlo.
C’è di più. I rischi per le persone non derivano soltanto da errori di sistema.
Il rischio discriminazione
Il credit scoring consente alle organizzazioni che ne fanno uso di valutare il profilo di rischio della singola persona, e prendere decisioni informate. Questo può tradursi, ad esempio, in discriminazione del prezzo. Qualsiasi organizzazione con scopo di lucro al mondo vorrebbe essere in grado di offrire prezzi personalizzati per ogni singolo cliente.
Ma non è solo questione di prezzo. L’uso di dati personali di qualità elevata e algoritmi efficienti di profilazione consentono di determinare con grande precisione il profilo di rischio di ogni singola persona. Un profilo che viene calcolato anche attraverso informazioni non riferibili direttamente all’ambito economico, come il profilo di rischio del quartiere di residenza, l’età, il sesso, il livello di educazione, e così via.
L’uso di queste informazioni per attività di profilazione può comportare anche discriminazioni di tipo contrattuale, ad esempio nel caso di assicurazioni o per l’accesso a istituti scolastici privati.
Non sempre l’uso di queste informazioni nell’ambito del credit scoring è lecito.
In un recente provvedimento (aprile 2019) l’Autorità per la protezione dei dati personali finlandese ha sanzionato un istituto di credito per aver discriminato un cliente, con processo decisionale automatizzato, in ragione della sua età. Il soggetto interessato in questione era semplicemente troppo vecchio per l’algoritmo utilizzato dall’istituto di credito. L’Autorità nel provvedimento non solo afferma che tale discriminazione è ingiustificata ed illecita, ma intima l’istituto di credito a rendere note al soggetto le esatte logiche di profilazione, per consentirgli di comprendere esattamente le motivazioni della decisione automatizzata.
O ancora, il recentissimo caso Apple Pay. Il New York State Department of Financial Services ha intrapreso un’indagine sui criteri di profilazione degli algoritmi utilizzati da Apple Pay per concedere la linea di credito ai clienti. Da alcune segnalazioni di clienti risulterebbe infatti un’evidente e ampia discriminazione nei confronti delle donne. L’algoritmo assegnerebbe ai clienti di sesso femminile limiti massimi di credito anche di 20 volte inferiori rispetto ai clienti di sesso maschile – pur presentando lo stesso background economico, sociale e finanziario.
Quali sono le tutele per le persone?
L’intelligenza artificiale, la profilazione ed i processi decisionali automatizzati, faranno sempre più parte delle nostre vite. Giusto o sbagliato che sia, è il nostro presente e certamente il nostro futuro.
Il rapporto tra leggi e tecnologia non è mai stato facile. La storia insegna che il legislatore è sempre almeno dieci passi indietro rispetto agli avanzamenti tecnologici. Nel 2016, però, abbiamo forse assistito ad uno dei rari momenti in cui il legislatore è riuscito in qualche modo a cogliere per tempo i rischi derivanti dall’uso massivo di queste nuove tecnologie, concependo una singola – ma fondamentale – misura di tutela per le persone.
Un singolo articolo all’interno del Regolamento UE 2016/679 (General Data Protection Regulation – GDPR) si pone come baluardo per la tutela delle persone contro i processi decisionali automatizzati, e stabilisce le basi per quello che sarà il futuro, almeno nell’Unione Europea, della legislazione in materia di intelligenza artificiale.
L’art. 22 del GDPR recita: “l’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona.”
Ci sono delle eccezioni a questo diritto, che consentono l’uso di processi decisionali automatizzati nei seguenti casi:
- La decisione è necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento;
- La decisione è autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato;
- La decisione si basa sul consenso esplicito dell’interessato.
Nel primo e terzo caso, è obbligo del titolare del trattamento attuare misure adeguate a tutelare i diritti, le libertà e i legittimi interessi delle persone e – almeno – il diritto di ottenere l’intervento umano, di esprimere la propria opinione e di contestare la decisione.
L’art. 22 prosegue indicando anche dei limiti all’uso di categorie particolari di dati personali (es. dati relativi alla salute, alle preferenze sessuali o biometrici).
Ciò che interessa, però, è il diritto di poter richiedere l’intervento umano e contestare la decisione. Questa singola previsione di legge è l’unica difesa che attualmente protegge i cittadini dell’Unione Europea dalla “dittatura dell’algoritmo”. Una previsione normativa di sostanziale democrazia, che permette alle persone di far valere i propri diritti di fronte al titolare e alle Autorità competenti – contro le decisioni prese da un software.
Il futuro sicuramente riserverà numerosi interventi legislativi in materia di intelligenza artificiale, processi decisionali automatizzati e profilazione, ma la speranza è che la direzione sia quella indicata dall’art. 22 del GDPR. Le ultime dichiarazioni di Ursula Von der Leyen, neopresidente della Commissione Europea, sembrano confermare e fanno ben sperare.
