Se l’algoritmo dietro i nostri servizi cloud, per le foto, è una spia che gioca contro il nostro interesse. E anche contro l’interesse della verità. È la storia di due padri che negli Usa sono stati accusati ingiustamente di pedofilia, dagli algoritmi di Google e quindi finiti nel mirino delle forze dell’ordine.
La storia dei due padri accusati di pedofilia da Google, per errore
Questi due padri – come riportato ad agosto dal New York Times – avevano scattato delle fotografie alle parti intime dei figli, su richiesta del loro pediatra e con lo scopo di condividere con quest’ultimo le immagini al fine di verificare la presenza di sintomi di malattie.
L’algoritmo di Google ha subito individuato quelle fotografie, una volta caricate su Google Photos, come potenziali prove di abusi su minori. Quindi i dipendenti di Google incaricati di rivedere queste verifiche hanno ritenuto (senza avvertire gli utenti) di segnalare il fatto alle forze dell’ordine.
L’intero account Google dei due padri è stato quindi trasferito alle forze di polizia come atto di cooperazione alle indagini e i dipendenti di Google hanno condotto un’indagine interna esaminando l’album fotografico online degli utenti ormai marchiati a fuoco dall’algoritmo detective.
Già, perché quando si ha a che fare con degli algoritmi (strumenti che sono programmaticamente costruiti per ottenere risultati ottimi ma non perfetti e che pertanto fisiologicamente commettono errori) è però possibile incorrere in “falsi positivi” con conseguenze che, a seconda del contenuto e dell’errore, possono essere davvero gravi per l’utente.
Fortunatamente in entrambi i casi la polizia ha chiuso i casi in tempi rapidi (diversamente da quanto accadrebbe in Italia in una situazione del genere) consentendo così ai due padri di cercare di riottenere i loro dati, ai quali nel frattempo avevano perso ogni accesso.
La perdita dell’account Google e le conseguenze
Su questo punto è opportuno soffermarsi, in quanto perdere l’accesso al proprio account Google oggi vuol dire perdere un pezzo significativo della propria vita digitale, con conseguente perdita di ricordi, ma anche documenti rilevanti come contratti, documenti inerenti il nostro lavoro, etc…
Inquadrato il problema, si può ben comprendere la disperazione di uno dei due padri quando ha ricevuto la notizia che Google, semplicemente, non intendeva proseguire con lui nel rapporto contrattuale e che non gli avrebbe restituito i dati, nonostante la prova dell’errore in cui il colosso di Mountain View era incorso.
Messo di fronte alla prospettiva di un contenzioso costoso e incerto (Google è libera di contrattare con chi vuole, anche senza addurre motivazioni di sorta), il padre ha deciso di soprassedere e ora la sua unica speranza è ora quella di ottenere la copia di backup dei suoi dati in mano alla polizia.
Non bisogna pensare che questi siano casi isolati, infatti Google nel 2021 ha inoltrato oltre 600.000 segnalazioni di potenziali abusi su minori al National Center for Missing & Exploited Children statunitense.
La precisazione di Google
Da Google arriva ad agendadigitale.eu la seguente precisazione:
“Il materiale pedopornografico (CSAM) è ripugnante e siamo impegnati per prevenire ogni sua diffusione sulle nostre piattaforme. Seguiamo la legge statunitense nel definire cosa costituisce CSAM e utilizziamo una combinazione di tecnologia di hash matching e di intelligenza artificiale per identificarlo e rimuoverlo. Inoltre, il nostro team dedicato alla sicurezza dei minori esamina l’accuratezza dei contenuti segnalati e si consulta con esperti pediatri per garantire la possibilità di identificare i casi in cui gli utenti potrebbero richiedere un consiglio medico”.
In Europa potrebbe accadere lo stesso, con qualche differenza
La domanda che sorge spontanea è se quello che è accaduto in USA a questi due padri potrebbe accadere anche in Europa.
La risposta breve è sì, anche se dobbiamo fare dei distinguo.
Le condizioni di Google Drive
Se guardiamo alle condizioni contrattuali dei servizi di archiviazione di contenuti offerti da Google vediamo che anche i file di cittadini europei vengono controllati da Google, che infatti precisa:
“Google Drive non deve essere utilizzato in modo improprio. È possibile utilizzare Google Drive solo nei modi consentiti dalla legge, incluse le leggi e le normative vigenti in materia di controllo delle esportazioni e delle riesportazioni. L’utente è responsabile della propria condotta e dei contenuti memorizzati in Google Drive ed è tenuto a rispettare le nostre Norme del programma. Possiamo esaminare la condotta e i contenuti dell’utente in Google Drive per verificare il rispetto dei Termini e delle nostre Norme del programma”.
Più criptica è la disposizione successiva (tesa, si ritiene, ad evitare potenziali responsabilità derivanti dal non aver identificato reati), in cui Google dice:
“Possiamo esaminare i contenuti per determinare se sono illegali o violano le nostre Norme del programma e possiamo rimuovere o rifiutarci di mostrare i contenuti se riteniamo ragionevolmente che violino le nostre norme o la legge. Ciò non significa necessariamente che esaminiamo i contenuti, né lo si potrà presumere”.
Il concetto è ribadito nella privacy policy del servizio:
“Utilizziamo sistemi automatizzati che analizzano i tuoi contenuti per fornirti ad esempio i risultati di ricerca su misura per te, gli annunci personalizzati o altre funzionalità modellate in base a come utilizzi i nostri servizi. Inoltre, analizziamo i tuoi contenuti per riuscire a rilevare i comportamenti illeciti quali spam, malware e contenuti illegali”.
Quando rileviamo spam, malware, contenuti illegali e altre forme di comportamento illecito nel sistema che violano le nostre norme, potremmo disattivare il tuo account o intraprendere altre azioni appropriate. In alcune circostanze, potremmo anche segnalare la violazione alle autorità competenti.
Quindi Google si riserva sia di effettuare analisi dei nostri contenuti con sistemi automatici, sia di effettuare analisi da parte del proprio personale. Ma perché Google fa questo?
Non siamo infatti di fronte ad un obbligo di legge che obbliga Google a scandagliare i contenuti che ospita e che potrebbero dimostrare la commissione di specifici reati, come invece accade in USA, e ciò è dimostrato dal fatto che la base giuridica di questo trattamento di dati, secondo la stessa informativa di Google, è il legittimo interesse, che consiste in particolare nell’interesse di Google a:
“Rilevare, impedire o altrimenti gestire attività fraudolente, comportamenti illeciti o problemi relativi alla sicurezza o di natura tecnica in relazione ai nostri servizi”.
Il fatto che Google faccia affidamento sul proprio legittimo interesse per compiere questa analisi potrebbe comportare il diritto dell’utente ad opporsi al trattamento, ma l’opposizione può essere validamente proposta solo laddove la lesione dei diritti e delle libertà del cittadino non trovi un contraltare nel più significativo interesse del titolare o di un terzo. Nel caso se l’interesse di Google non appare sufficiente a legittimare questo controllo invasivo (specie considerando gli effetti dirompenti che può avere), è difficile pensare che soccomba rispetto all’interesse alla riservatezza dell’utente l’interesse dei terzi, ovvero delle vittime dei gravi crimini che si propone di studiare Google con i suoi algoritmi.
Il Gdpr e i servizi cloud
Di sicuro però va applicata al caso di specie la disposizione di cui all’art. 22 del GDPR in tema di decisioni automatizzate, secondo cui:
- “L’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona.
- Il paragrafo 1 non si applica nel caso in cui la decisione:
- sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento;
- sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell’interessato;
- si basi sul consenso esplicito dell’interessato.
- Nei casi di cui al paragrafo 2, lettere a) e c), il titolare del trattamento attua misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione”.
Nel caso, quindi, è dubbio che Google possa sottoporre l’utente ad una decisione basata unicamente sul trattamento automatizzato, anche se possono porsi tre ordini di questioni, a favore del colosso USA, ovvero:
- La norma, secondo una interpretazione letterale, potrebbe riferirsi al solo caso di trattamento automatizzato che comprende la profilazione, e nel caso di cui stiamo discutendo la profilazione dell’utente non viene effettuata;
- Google potrebbe affermare che l’attività di indagine automatizzata è necessaria per l’esecuzione del contratto (ovvero della clausola che impegna l’utente a non caricare contenuti contra legem);
- Google potrebbe anche affermare che nel caso non stiamo parlando di decisione basata unicamente su un trattamento di dati automatizzato, in quanto è prevista ab origine una revisione umana della decisione della macchina.
In ogni caso la garanzia minima del diritto all’intervento umano, ad essere ascoltati e a contestare la decisione sembra introdurre una serie di diritti in capo all’utente che difficilmente potrebbe portare alla cancellazione volontaria ed unilaterale dei dati dell’account (diritti che peraltro saranno rafforzati dall’entrata in vigore del Digital Services Act, atto che però al contempo aumenterà le responsabilità dei fornitori di servizi di data-hosting “condivisibile” dando quindi maggiori spiragli ai fornitori per legittimare pratiche di controllo dei contenuti).
Infine, ad “aiutare” Google e gli altri grandi player del settore, in alcuni contesti specifici tra cui proprio quello dell’abuso di minori, sono le stesse autorità europee.
L’UE e la tecnologia nella lotta agli abusi sui minori
L’Unione Europea, infatti, proprio nel settore dell’abuso sui minori, sembra calarsi nel solco della legislazione statunitense e di voler cogliere al volo le nuove opportunità fornite dalla tecnologia per contrastare questo orribile fenomeno.
Il problema è che, di nuovo, l’idea dei falsi positivi, ovvero di soggetti che sarebbero fisiologicamente accusati infondatamente di aver commesso crimini disgustosi e che dovrebbero subire una ingiusta trafila burocratico/giuridica a discolpa, è connaturale all’idea di adottare un algoritmo che individui queste presunte prove di reato.
Sul punto basta leggere le dichiarazioni del Commissario europeo per gli affari interni Ylva Johansson, diffuse lo scorso 7 agosto, secondo cui ci sono sistemi di AI finalizzati all’individuazione di abusi su minori dall’analisi di contenuti informatici che garantiscono una precisione “significativamente sopra il 90%”.
Se il dato può apparire confortante, non lo è più quando iniziamo a rapportarlo al numero di segnalazioni fatto l’anno scorso dalla sola Google all’autorità statunitense (oltre 600.000). Il 10% delle segnalazioni corrisponde a ben 60.000 casi e lo 0,1% (indicato dalla Commissaria come best case scenario di adeguatezza) è di 600 casi identificati erroneamente.
Una recente proposta della Commissione Europea è in ogni caso indirizzata a introdurre una normativa sul punto, che comprenda obblighi per gli host di proporre e implementare “strumenti di mitigazione del rischio” che i loro servizi siano utilizzati per ospitare contenuti relativi ad abusi su minori, obblighi di denuncia nel caso di loro individuazione e obblighi di mettere a disposizione, su richiesta delle autorità, strumenti automatizzati per verificare il verificarsi di violazioni. La preoccupazione della Commissione di richiedere che questi strumenti siano il meno possibile “privacy-intrusive” sembra una scarna salvaguardia rispetto ad uno strumento di indagine per sua stessa natura estremamente pervasivo.
Il problema di queste misure è l’introduzione di un principio (i file sul cloud sono liberamente esaminabili da algoritmi dei fornitori) potenzialmente suscettibile di estensione (è facile immaginare una possibile estensione di questi controlli per altri reati -es. Tributari- e comunque un falso positivo che dovesse essere identificato come tale ma risultare comunque non “gradito” al fornitore potrebbe comunque comportare la cessazione del servizio, con le conseguenze che abbiamo già visto).
Apple, Microsoft e Dropbox e la lotta alla pedofilia
Alcuni potrebbero pensare di poter evitare questo intrusivo scandaglio dei propri file rivolgendosi ad altri operatori, tradizionalmente più attenti alla privacy degli utenti, ma in realtà è difficile trovare un operatore che non si riservi il diritto di “vedere” i contenuti ospitati.
Anche Apple, ad esempio, ricalca quanto affermato da Google e nei termini di servizio di iCloud precisa che: “L’Utente prende atto che Apple non è responsabile in alcun modo dei Contenuti forniti da altri e non ha alcun dovere di controllarli. Tuttavia, Apple si riserva sempre il diritto di decidere se i Contenuti sono adeguati e conformi al presente Contratto e può controllare, spostare, rifiutare, modificare e/o rimuovere i Contenuti in qualsiasi momento, senza preavviso e a sua sola discrezione, laddove accerti che violino il presente Contratto o siano discutibili in altro modo.”
Non solo, a fine 2021 Apple ha anche proposto di andare oltre ed implementare un CSS (client-side scanning) dei propri utenti USA per individuare contenuti che potrebbero ricondurre ad abusi su minori, questa tipologia di controllo, nei programmi di Apple, non sarebbe avvenuta sul loro cloud, ma si sarebbe spinta direttamente sugli smartphone della casa di Cupertino, impiegando per la scansione il medesimo algoritmo neuralMatch, che questa già utilizza per scansionare il suo iCloud (Apple, se non altro, si impegna anche con i propri clienti USA ad una revisione da parte di un essere umano del materiale “sospetto”).
Microsoft invece ha sviluppato un algoritmo proprietario per individuare immagini di abusi (PhotoDNA) e lo utilizza sui suoi servizi (tra cui Xbox e OneDrive). La reportistica inviata da Microsoft all’autorità USA che si occupa di tutelare i minori è stata di 36.000 casi nel secondo semestre 2021. Microsoft dice che solo lo 0,04% degli account segnalati è stato ripristinato dopo che l’utente aveva presentato reclamo (un dato di per sé però molto poco significativo, sarebbe più interessante sapere quale percentuale di segnalazioni ha portato ad un’azione criminale).
Nemmeno Dropbox si comporta diversamente ed infatti prevede, nelle proprie condizioni, quanto segue:
“Ci riserviamo il diritto di esaminare la tua condotta e i tuoi contenuti affinché siano conformi ai presenti Termini e alle nostre Norme sull’uso accettabile. Non siamo responsabili dei contenuti pubblicati e condivisi dagli utenti tramite i Servizi”.
E i contenuti criptati?
Le clausole introdotte nelle condizioni e nella policy di Google, Apple, Microsoft, Dropbox e numerosi altri player di rilievo comportano anche un diverso approccio alla crittografia dei contenuti da parte dell’utente.
Se la crittografia “promessa” dai fornitori non confligge sicuramente con le loro policy (e, del resto, verosimilmente gli stessi fornitori sono in grado di “romperla” al bisogno per ottenere visibilità dei dati in chiaro) è evidente che ad esempio caricare su Google Drive file criptati (es. un file zip protetto da password conosciuta solamente dall’utente), potrebbe essere inteso come una violazione delle condizioni contrattuali perché impedisce quel controllo dei file cui l’utente consente accedendo al servizio e consente di caricare contenuti illeciti all’insaputa del fornitore.
Al contrario, se la crittografia dei contenuti caricati è permessa (e finora non vi è stata ragione alcuna per dubitarne, anzi la crittografia dei dati è consigliata come buona prassi nel caso di condivisione di dati appartenenti a categorie particolari), viene meno (quantomeno in parte) il significato del controllo da parte dell’algoritmo dell’host, in quanto allo stesso risultano “invisibili” alcuni file (ed è verosimile pensare che, accanto alla grande massa di contenuti leciti criptati condivisi in tale formato per ragioni normative o di prudenza, si nasconda sotto una copertura crittografica anche materiale illecito che Google, secondo le proprie policy, non vuole ospitare).
Come tenere i propri dati al sicuro e “privati”
Abbiamo visto che i nostri dati, versati nei più comuni ed “affidabili” servizi di backup cloud in realtà non sono così sicuri, in quanto vengono scandagliati quotidianamente alla ricerca di contenuti illeciti e il loro rinvenimento (che sia o meno confermato) può comportare l’interruzione dei rapporti con il fornitore del servizio (anche se in Europa siamo ben più garantiti di fronte a simili comportamenti ingiustificati).
Ancora, questi servizi sono erogati as is e i fornitori non si assumono responsabilità in caso di perdita di dati.
Cosa fare allora per proteggere i nostri contenuti digitali, partendo dal presupposto dell’assoluta comodità e dei profili di sicurezza ulteriori che offrono i servizi cloud rispetto a mantenere una singola copia dei nostri file in locale?
Innanzitutto, possiamo continuare ad utilizzare i nostri servizi Google, Apple, Microsoft, Dropbox, e di altri fornitori primari assicurandoci però di non affidare al solo cloud i nostri dati, utilizzando ove possibile i servizi con funzionalità di mirroring (che conservano una copia dei nostri dati anche sul nostro dispositivo), oppure possiamo estrarre con frequenza i dati dai nostri account così da assicurarci di averne una copia locale (es. attraverso il servizio Google Takeout).
In questo modo anche una improvvisa cessazione del servizio o perdita di dati non ci faranno trovare impreparati.
Se invece il nostro intento è quello di essere sicuri di rivolgerci ad un servizio cloud rispettoso della nostra privacy non resta che optare per un sistema c.d. a zero-knowledge, dove i nostri dati in cloud sono crittografati di modo che nemmeno il fornitore del servizio conosca le credenziali per bypassare la crittografia e quindi di sicuro non può quest’ultimo non può scandagliarli né con intervento umano, né con strumenti automatizzati. Questi servizi sono ad esempio Proton Drive, Spider Oak e Tresorit.
In conclusione
La mole dei nostri dati digitali nel tempo aumenta in modo quasi esponenziale, al “carico” dei contenuti prodotti nel corso degli anni e che vogliamo conservare sui nostri nuovi dispositivi si somma la sempre maggior dimensione di alcune tipologie di formati (pensiamo a fotografie e video sempre più dettagliati). Questo fatto, unito alla sempre più grande rilevanza di questi contenuti nelle nostre vite, ci porta, in modo quasi obbligato, a optare per una soluzione tanto semplice quanto efficace, ovvero l’upload di questi contenuti sul cloud, che comodamente ci viene offerto dai produttori e che ci consente di evitare di riempire le memorie dei nostri smartphone e soprattutto di affrontare con maggior serenità furti, smarrimenti o malfunzionamenti hardware.
Non è però tutt’oro quello che luccica e chiaramente anche questi servizi online non risolvono tutti i problemi degli utenti, anzi, rischiano di crearne di nuovi.
Basti pensare al fatto che il nostro backup in certi casi può esporre i nostri dati ad elaborazioni finalizzate a personalizzare gli annunci pubblicitari che ci vengono proposti, o al fatto che questi servizi generalmente comportano l’adesione a termini di servizio contenenti amplissime manleve a favore del fornitore di servizio in casi di perdita o corruzione dei dati, o ancora al fatto che nell’aderire a questi sistemi la nostra controparte (a cui affidiamo i nostri dati più preziosi) si riserva il diritto di sospendere o cessare unilateralmente il servizio senza nemmeno restituirci quanto da noi versato sulla piattaforma.
Ma se tutto quanto sopra è ormai sempre più noto, molto meno lo è un altro fato: quando affidiamo i suoi dati a Google, Apple o altri servizi di memorizzazione di contenuti online è che quegli stessi dati sono quotidianamente esaminati da un “poliziotto algoritmico”, un software che esamina i nostri contenuti e può segnalare al fornitore del servizio potenziali violazioni di legge e/o dei termini contrattuali.
Si spera che le disavventure accadute ai due padri aiutino ad aumentare questa consapevolezza.
