GDPR e Direttiva e-privacy (che c’è da augurarsi diventi presto un Regolamento) offrono un consolidato quadro di tutele nei confronti della cosiddetta “profilazione da accumulo” e indicano alcune vie da seguire per un uso virtuoso di nuove forme di profilazione basate sulla varietà dei dati.
Ma si avverte, di fronte ai rischi ancora poco conosciuti di nuovi tipi di profilazione, la necessità di un quadro di regole più ampio. E’ per questa ragione che il Consiglio d’Europa invoca nuove forme di tutela per i dati inferred (categoria che può ricomprendere dati personali) e la Commissione europea ha da tempo promosso un dibattito sui temi etici legati all’uso dei dati, su cui molto si è già discusso, fino alla pubblicazione lo scorso 8 aprile della Comunicazione Building Trust in Human-Centric Artificial Intelligence, che ribadisce il ruolo centrale della protezione dei dati personali e del principio di accountability nelle previsioni, ma che allo stesso tempo promuove un coinvolgimento di tutti gli stakeholder per individuare nuovi principi etici, che dovranno tradursi in concreti strumenti giuridici.
Ed è anche per questo che sembra già di essere nel pieno dibattito per una espansione del Gdpr, che pure è entrato nella piena applicabilità da meno di un anno.
Esaminiamo allora di seguito le caratteristiche e i rischi dei nuovi modelli di profilazione.
Il valore della profilazione
Perché osservare sistematicamente una persona e farne un profilo? È verosimile uno scenario in cui persone comuni siano spiate nei comportamenti che assumono nella vita di tutti i giorni? Quale è il beneficio che l’osservatore potrebbe ricavare dall’accumulo di tutti questi dati[1]? Mi sia permesso partire da un esempio molto semplice. Se qualcuno dopo avere osservato, magari a lungo, il modo in cui ci rechiamo al lavoro e averci profilato, ci suggerisse di salire sull’autobus che prendiamo già tutte le mattine per andare in ufficio, che valore daremmo a questo suggerimento?
Di certo non ne trarremmo alcun vantaggio, né in termini di risparmio di tempo, né di maggiore comodità, né di nuova conoscenza del contesto in cui viviamo. Non è dunque nella semplice classificazione di un comportamento ricorrente (quello di essere un utilizzatore abituale di mezzi pubblici), noto all’osservatore attraverso un monitoraggio sistematico, il valore della profilazione. Se però intervenisse un fatto nuovo, se una mattina fossimo in grave ritardo per una riunione importante e in questa nuova situazione qualcuno ci offrisse una corsa in taxi ad un buon prezzo allora forse, una volta valutati i costi e i benefici della decisione, potremmo accettare l’offerta e considerare vantaggioso il suggerimento.
L’esempio, come detto, è molto semplice (ugualmente, senza alterare il quadro generale, potremmo considerare il caso di beni complementari e non sostitutivi) ma presenta tutti gli elementi che servono per restituire alla profilazione un’interpretazione che sia rispettosa dei fondamenti delle più semplici leggi dell’economia (un’azione è intrapresa se conviene) e della teoria dell’informazione (il valore dell’informazione è nella novità), senza i quali la discussione sulla profilazione diventerebbe ideologica e scivolerebbe verso scenari distopici e da spy story di scarso interesse concreto, che peraltro non metterebbero a fuoco i complessi problemi e i rischi a cui invece sarebbe bene dedicare maggiore attenzione.
Vediamo questi elementi: c’è l’accumulo di dati su una persona (l’osservazione sistematica dei suoi comportamenti), c’è l’evento nuovo (la persona deve valutare delle alternative), c’è la scelta (acquistare il bene, sostitutivo o complementare, oppure no).
Guida pratica per IT Manager all’Operational Risk Framework, clicca qui e scarica il White Paper
La profilazione da accumulo
A cosa serve dunque accumulare dati sui comportamenti ricorrenti di una persona? A null’altro se non a ridurre il rischio della previsione sulla reiterazione futura dei suoi comportamenti consueti. Se ho ripetuto la stessa azione (prendere l’autobus) soltanto negli ultimi due giorni (magari perché ho temporaneamente l’automobile dal meccanico) o tutti i giorni negli ultimi 3 anni (anche sotto il diluvio), è chiaro che il livello di verosimiglianza della previsione della reiterazione di quell’azione in futuro è molto diverso. Nel secondo caso è infatti molto verosimile (formalmente, oltre che intuitivamente) assumere che domani difficilmente cambierò idea (e continuerò a prendere l’autobus). Ma cosa mi dice l’accumulo di dati su uno specifico comportamento osservato in passato riguardo alla possibilità che io assuma in futuro un comportamento diverso? Poco. Forse nulla. La profilazione da accumulo sistematico non genera conoscenza nuova sulla persona. Serve soltanto a confermare sempre di più uno stereotipo. Dopo un po’ il beneficio marginale che deriva dall’accumulo di nuovi dati diventa trascurabile. Oltre una certa quantità di dati accumulati può essere infatti persino più elevato il costo del trattamento che il beneficio che si ottiene dalla conferma dello stereotipo (per tornare all’esempio dell’autobus, se la persona osservata ha preso sempre l’autobus tutti i giorni negli ultimi 3 anni, la probabilità che lo prenderà anche domani è all’incirca del 99,9%. Per essere certi al 99,99%, con un modestissimo incremento di verosimiglianza dello 0,09% appena, dovremmo osservare invariabilmente quello stesso comportamento per 30 anni!).
La profilazione del contesto
Passiamo ora a ciò che è senza dubbio più interessante per l’osservatore: la previsione di un comportamento nuovo della persona, che potrà verificarsi in futuro (dire sì all’offerta della corsa in taxi dopo essere stato profilato come un utente abituale di autobus): questo tipo di previsione è un atto creativo che non ha niente a che vedere con la profilazione da accumulo. Chi fa questa previsione si assume il rischio di sbagliare e di vanificare la sua “strategia di marketing”. Rischio che vorrà ridurre con ogni mezzo. Come può fare? Non c’è modo più efficace e razionale di ridurre questo rischio nel prevedere un mio comportamento nuovo se non osservando gli altri: la prossima mossa che in me è inconsueta in altri, in situazioni simili alla mia, può essere invece la norma rendendo verosimile la previsione. Qui entra in gioco un’altra dimensione della profilazione, non più basata sull’accumulo, o sul volume, ma sulla varietà dei dati. L’osservatore per ridurre i rischi deve osservare quanti più caratteri di quante più persone possibile, in modo da integrare profili parziali dell’uno con altri profili parziali dell’altro, ma molto sovrapponibili, e ipotizzare che il comportamento consueto nell’altro e in me mancante sia effettivamente la mia prossima mossa. In questo senso, anche l’osservazione del comportamento più insignificante è preziosa, perché può essere l’aggancio che rende il mio profilo simile a quello di altri, e che consente questa estensione. Per questo tipo di profilazione non serve l’accumulo di dati su una sola persona. Siamo lontani dall’idea naïf di spionaggio.
È la varietà dell’osservazione che conta, non la sua sistematicità: i tanti modi in cui un prodotto può essere impiegato nei più svariati contesti, le nostre tante manifestazioni digitali, in apparenza disparate, anche mostrate una sola volta. Tutto può servire alla profilazione di un contesto (più che di una specifica persona) che l’osservatore confronterà con il comportamento contingente, anche il più eccentrico, che di volta in volta assumeremo, per provare a prevedere la nostra prossima mossa. Messe da parte tutte le considerazioni tecniche su quali caratteri siano più idonei a consentire questo schema di profilazione del contesto (caratteri indipendenti? caratteri correlati?)[2] e sulla sua efficacia (peraltro altissima[3]), è evidente che questa profilazione, congegnata come una riduzione dell’incertezza sulla previsione di comportamenti mai prima osservati, genera dei rischi per le persone su cui è bene soffermarsi. E si tratta di rischi ben concreti che riguardano tutti e non solo i presunti spiati.
I rischi del trattamento dati a fini predittivi
Il primo rischio è legato al fatto che una profilazione basata sulla varietà è un trattamento passivo: si osservano gli altri, il contesto in cui si muovono, e si desume un mio comportamento, senza che io me ne accorga o possa fare nulla per oppormi. La persona diventa oggetto di una decisione di un terzo e non soggetto di una scelta compiuta in autonomia. In lessico economico, potremmo dire che la profilazione diventa una esternalità, ossia una decisione presa sul mio conto dall’osservatore, che può essere anche benefica, ma che non lascia spazio a un mio intervento.
Possiamo pensare che questa asimmetria informativa sia uno degli elementi costituitivi della futura economia digitale? Non sarebbe certo il modo migliore per costruire fiducia nell’operato dei tanti mediatori digitali a cui ci rivolgiamo ormai quotidianamente (oggi i motori di ricerca, domani le automobili a guida autonoma giusto per citare alcuni esempi). In molti altri ambiti, più tradizionali, si è storicamente reso necessario l’intervento di mediatori (le banche per la gestione dei risparmi, le telecomunicazioni) e molti regolamenti di settore sono stati introdotti proprio per innalzare il livello di fiducia degli utenti in questi mediatori.
Un simile percorso deve ancora essere avviato in questa frontiera dei trattamenti di dati personali a fini predittivi, per dare concretamente forma al nuovo principio di accountability. Sarebbe un errore molto grave se nel lungo termine queste forme di trattamento passivo venissero lasciate a sé stesse, senza essere regolamentate e sottoposte a uno scrutinio.
Il secondo rischio che viene in mente è che il comportamento di un altro non mi rappresenti così bene. In altri termini, che la previsione sul mio conto sia sbagliata. Se guardiamo a questa eventualità da un punto di vista economico, questo tipo di errore non conviene a nessuno: non al titolare, che sostiene dei costi per la previsione (il trattamento dei dati, l’azione di marketing) senza un ritorno, non all’interessato, che viene disturbato da offerte di scarso valore. Questo rischio è tutto sommato facile da mitigare: nel tempo possiamo infatti aspettarci che esso si ridurrà progressivamente, essendovi l’interesse congiunto dell’osservatore e dell’osservato a non subire i costi dell’errore.
È bene precisare che si tratta comunque di un rischio ineliminabile: prevedere un comportamento nuovo, come detto, è un atto creativo e in assenza di osservazioni anche la previsione a massima verosimiglianza può fallire. Si parla molto di bias degli algoritmi[4], ossia di pregiudizi nei processi decisionali automatizzati, che deriverebbero dai pregiudizi dell’autore dell’algoritmo, ma a ben vedere è l’assenza di osservazioni pregresse la causa dell’errore, che porta il previsore a prendere decisioni che possono apparire discriminatorie, assai più che le sue effettive intenzioni discriminatorie.
La questione non va sottovalutata e deve essere ben compresa per sfuggire a possibili interpretazioni ideologiche. Se mancano informazioni sulla mia prossima mossa e si deve ricorrere all’osservazione degli altri per intuirla, il modo più razionale di procedere è guardare a cosa ha fatto la maggioranza degli altri in situazioni simili alla mia e pensare che io mi comporterò allo stesso modo. Ma io potrei sempre appartenere alla minoranza e dunque la previsione sarebbe per me sbagliata e le conseguenze della decisione discriminatorie. Il problema non è dunque l’intenzione malevola o il pregiudizio di chi profila, che si può contrastare in molti modi, sia culturalmente sia attingendo agli strumenti giuridici esistenti, anche diversi da quelli data protection (dalla tutela del consumatore fino all’illecito penale), ma la composizione del campione. Così, se il campione è costituito prevalentemente da uomini, la previsione penalizzerà le donne. Ma è anche vero il contrario. Se il campione è costituito in massima parte da adulti, la previsione sarà sbagliata per i giovani.
Ma è vero anche il contrario. Basta appartenere a una minoranza perché potenziali effetti discriminatori si manifestino.
È un fenomeno ineliminabile ma, come detto, destinato a ridursi: la crescente disponibilità di dati ci consentirà di essere sempre di più in una “maggioranza di eccentrici” con preferenze molto specifiche e rare (è un’apparente antinomia, ma in uno scenario in cui i dati raddoppiano ogni tre anni e la capacità di calcolo cresce con la legge di Moore si tratta di una concreta possibilità).
Il fenomeno delle long tail e il principio di esattezza
Alcuni chiamano questo il fenomeno delle long tail[5]. Se in futuro ancora apparterremo a una minoranza di eccentrici ciò succederà perché non è stata ancora trovata la long tail, cioè la maggioranza di eccentrici, a cui apparteniamo volta per volta. Bisogna essere ottimisti: una profilazione con intenti volutamente discriminatori è antieconomica (chi offre un bene ha interesse a includere quanti più acquirenti possibile, intervenendo sulla differenza di prodotto o di prezzo) e, sia per effetto della trasparenza e della crescente disponibilità di dati sia per l’interesse congiunto dell’osservatore e dell’osservato a non patire l’effetto di decisioni indesiderate, sarà sempre più residuale.
Naturalmente ci vorrà del tempo e regole che guidino il processo verso questo scenario di lungo termine che oggi possiamo solo intuire. D’altro canto, la presenza di una regolamentazione è una necessità, non una semplice opzione, dal momento che se il fenomeno del bias discriminatorio “da maggioranza” allarma per i suoi potenziali effetti discriminatori, non meno deve preoccuparci il suo opposto, ovvero il fenomeno delle long tail: trovare solo i nostri simili ugualmente eccentrici genererebbe una sorta di iperprofilazione, una attrazione in un gorgo di persone tutte uguali che si dicono sempre le stesse cose, senza possibilità di slanci verso il nuovo. L’equilibrio è dunque da ricercare nel mezzo. Una piccola nota sia consentita a margine di questo esercizio: uno dei cardini della protezione di dati personali è il principio di esattezza, in osservanza del quale il dato, in estrema sintesi, può essere impiegato solo se è corretto e aggiornato.
L’applicazione di questo principio non offrirebbe spazio alla presenza di alcun tipo di bias discriminatorio da maggioranza, dal momento che solo dati inequivocamente certi dovrebbero essere impiegati. Ma sarebbe una finta tutela ricavata da una lettura puramente compilativa del principio: come girare la testa da un’altra parte rispetto al fenomeno delle previsioni comportamentali, pretendendo che questo nostro gesto le faccia sparire. Il fenomeno dei “dati inferiti” esiste ed è destinato a durare, come ben rileva la recente Dichiarazione del Consiglio d’Europa “Declaration by the Commitee of Ministers on the manipulative capabilities of algorithmic processes”[6].
La conciliazione tra fenomeno e principio può forse oggi trovarsi nella constatazione che il GDPR offre ampio spazio a un approccio risk based all’interpretazione di principi, che consente una gradazione nella loro applicazione[7]. Allora, se l’esattezza del dato poteva certamente considerarsi un presupposto in un mondo Small Data, molto lento, in cui i dati personali tradizionali (ad esempio, il nome o l’indirizzo di casa) preesistevano ai trattamenti, essa diventa una necessaria conquista in un mondo Big Data, molto più dinamico, in cui il trattamento preesiste al dato e c’è ampio margine per la scoperta di nuovi caratteri della persona proprio attraverso profilazioni di questo tipo.
D’altro canto, è nello spirito del concetto di privacy by design concentrarsi sull’effetto del principio. È dunque possibile pensare di potere progressivamente pervenire all’esattezza del dato, offrendo spazio alla scoperta (ma anche inevitabilmente all’errore), ossia al vero valore del dato personale, perso il quale il dato personale diventerebbe una vera e propria commodity priva di qualsiasi valore informativo[8]. Sono spunti di riflessione che si rimettono al lettore più speculativo.
I rischi da non neutralità
Ho lasciato per ultimo il rischio di gran lunga più delicato, ossia che la previsione sul nostro conto sia corretta. Può sembrare un paradosso, ma il rischio più grave per le persone si materializza quando la previsione della prossima mossa verosimile è corretta.
È questo il caso di maggiore interesse economico per l’osservatore: cogliere, un istante prima che ciò accada, l’azione che siamo sul punto di intraprendere. Se ciò accade, una buona azione di marketing può dare un grande vantaggio competitivo a chi arriva per primo alla scoperta. Il momento in cui decidiamo di “cambiare stato” (ad esempio, passare dallo stato di non acquirenti a quello di consumatore) è una fase di estrema vulnerabilità per la persona (“stiamo per” ma non siamo ancora passati alla decisione). Lì si gioca tutto: se superiamo l’incertezza avremo speso il nostro denaro per quel bene, o il nostro tempo per quell’azione, o la nostra attenzione per quella notizia. Se avremo sbagliato (noi, non la previsione) sarà molto difficile tornare indietro: avremo meno denaro, o meno tempo, o meno attenzione a nostra disposizione.
Lasciare questa fase nelle mani di un mediatore espone tutti a questo genere di rischi da non neutralità. In altri termini, è forte la tentazione per il mediatore di sfruttare la previsione verosimile della nostra prossima mossa per indurla a proprio vantaggio (sarebbe molto interessante potere ascoltare il parere degli economisti sull’effetto di questa mediazione, offerta prevalentemente da soggetti che proliferano nelle economie più dinamiche, rispetto alle economie europee in termini di ridistribuzione della ricchezza, tassazione e welfare).
Oggi si usa il termine di nudging (letteralmente, un piccolo incentivo) per indicare il piccolo tornaconto che può essere offerto alla persona per indurne questo cambio di stato. Non c’è nulla di nuovo in quest’analisi.
Micromotives e macrobehaviors
Già negli anni ’60 e ’70, Thomas Schelling (premio Nobel per l’economia nel 2005 per questi studi) aveva intuito il valore dei “micromotives” individuali che possono dare luogo a “macrobehaviors” collettivi [9]. È molto celebre un suo esperimento in cui usando delle monete di diverso colore sparse su un tavolo spiegò all’America di allora come era possibile superare il pregiudizio razziale: se ogni moneta “accettava” di farsi circondare da alcune (poche) monete dell’altro colore, allora era possibile ottenere un mescolamento delle monete sul tavolo, se però ogni moneta non accettava questo piccolo sforzo, allora l’unica distribuzione possibile delle monete sul tavolo era mettere tutte quelle di un colore da una parte e tutte le altre dall’altra. Con queste argomentazioni egli iniziò a superare i pregiudizi all’origine della discriminazione razziale.
C’era già in questa grande intuizione tutto il meglio e tutto il peggio che ci si può aspettare dai Big Data: la prospettiva di costruire una società più dinamica e aperta al nuovo, grazie a piccoli incentivi in grado di rimuovere grandi barriere culturali, ma anche il rischio di indirizzare il piccolo incentivo nella direzione opposta e costruire una società più rigida e statica. Oggi la novità rispetto al discorso di Schelling è nella velocità dei fenomeni: per effetto dell’abbondanza di dati e della presenza di mediatori, in ogni momento e per ognuno di noi c’è un cambio di stato da effettuare, e dunque un’occasione per esercitare una libertà o per essere eterodiretti. Purtroppo non è possibile spezzare in due queste tecnologie predittive: ciò che ci darà il meglio (ad esempio, molto ci si potrà aspettare in termini di prevenzione e cura di patologie) è anche ciò che ci potrà dare il peggio.
In questo scenario bisogna calibrare bene gli interventi regolatori per tirare fuori il meglio da queste capacità predittive (il beneficio per le persone ci può essere, e questo è innegabile), evitando il peggio (ossia le manipulative capabilities of algorithmic processes di cui parla la Dichiarazione).
E sembra già, per effetto della velocità dell’evoluzione tecnologica, di essere nel pieno del dibattito che ci porterà ad una estensione del GDPR, al quale tutti dobbiamo essere grati per avere dissodato il terreno e averci indotto ad affrontare questi ragionamenti. La realtà, se solo volessimo guardarla, presenta dunque sfide in termini di policy sull’uso dei dati estremamente difficili da affrontare, rispetto alle quali talune schematizzazioni semplicistiche appaiono fuorvianti.
_________________________________________________________________
- https://www.theguardian.com/technology/2019/apr/11/amazon-staff-listen-to-customers-alexa-recordings-report-says ↑
- E Junqué de Fortuny, D Martens, F Provost, Predictive Modeling with Big Data: Is Bigger Really Better?,Big Data 2013 ↑
- I Rish, An empirical study of the naive Bayes classifier, IJCAI 2001 workshop on empirical methods in artificial intelligence ↑
- https://www.agendadigitale.eu/cultura-digitale/pregiudizi-dellintelligenza-artificiale-cose-il-redress-e-perche-riguarda-tutti/ ↑
- Anderson, Chris (2006). The Long Tail: Why the Future of Business Is Selling Less of More. New York: Hyperion. ↑
- Council of Europe, Declaration by the Committee of Ministers on the manipulative capabilities of algorithmic processes , Adopted by the Committee of Ministers on 13 February 2019 ↑
- Article 29 Data Protection Working Party, Statement on the role of a risk-based approach in data protection legal frameworks, Adopted on 30 May 2014 ↑
- European Union Agency for Network and Information Security (ENISA), Privacy by design in big data, 2015 ↑
- Thomas C. Schelling (1978) Micromotives and Macrobehavior, Norton ↑
