I nuovi sistemi operativi di Apple avranno alcune funzionalità pensate per tutelare i minori e limitare la diffusione di “Child Sexual Abuse Material” (CSAM) – cioè materiale pedopornografico.
Le misure di tutela dei minori saranno implementate su tre sistemi diversi: iMessages, iCloud e Siri.
Per ora è previsto che le nuove funzionalità siano implementate entro fine dell’anno soltanto negli Stati Uniti, ma non ci sono dubbi sul fatto che possano arrivare anche nell’Unione Europea.
Per quanto le intenzioni di Apple possano sembrare virtuose, ci sono molti rischi connessi all’uso delle tecnologie proposte, e per questo motivo ritengo che la loro implementazione debba essere immediatamente fermata.
Regolamento Chatcontrol: così la Ue vira verso il monitoraggio di massa
Cosa preoccupa della sorveglianza Apple-iPhone anti pedo-pornografia
La misura più preoccupante è probabilmente quella che riguarda iCloud. L’intenzione di Apple è di introdurre una funzionalità per la scansione automatizzata delle foto presenti nei dispositivi (iPhone e iPad), alla ricerca di CSAM (materiale pedopornografico).
Come avviene la scansione
La scansione segue due fasi distinte. La prima fase è esclusivamente in locale, cioè direttamente sul dispositivo della persona. Attraverso un algoritmo chiamato NeuralHash le fotografie presenti in memoria sono scansionate per la creazione di un “hash digest” (una stringa alfanumerica identificativa), che poi viene confrontato in tempo reale con un database scaricato sui dispositivi contenente “hash digest” di contenuti pedopornografici. In caso di match positivo il sistema crea un “safety voucher” che viene poi legato alla fotografia.
Una volta che la fotografia viene caricata su iCloud parte la seconda fase della scansione. Superato un certo limite di match positivi i sistemi di Apple sono in grado di decifrare il “safety voucher” e recepire tutte le informazioni necessarie. A quel punto la fotografia incriminata viene esaminata da una squadra di persone che deciderà se effettivamente si tratta di materiale pedopornografico o meno. In caso positivo, saranno avvertite le autorità.
Questa tecnologia, anche se promossa per tutelare i bambini e combattere la diffusione di materiale pedopornografico, si presta ad abusi che finirebbero per compromettere la privacy e sicurezza di ogni utente Apple, compresi i bambini che si vogliono tutelare.
Le rassicurazioni Apple dopo le polemiche
(aggiornamento 11 agosto)
Apple questa settimana ha pubblicato un documento che spiega che il nuovo sistema non scansionerà le librerie fotografiche private degli iPhone.
Inoltre, la tecnologia di corrispondenza cesserà di funzionare se le persone disattivano la libreria fotografica del loro iPhone dal backup delle immagini su iCloud, ha detto un portavoce della società.
Ma in realtà questa precisazione non cambia nulla. Vero che lo scan per il matching non funziona senza icloud ma le foto nell’iphone sono comunque confrontate con gli hash scaricati sul dispositivo.
Il rischio di attacco
I motivi sono diversi. Per prima cosa, non c’è alcun modo per limitare l’uso di questi strumenti. Una volta implementato un tale sistema di scansione “client-side” chiunque sia in possesso delle blacklist e degli algoritmi di scansione e matching ha il potere di ampliare a volontà il contenuto e l’estensione di questi controlli. È sufficiente inserire un determinato contenuto nel database della blacklist per far sì che ogni iterazione di quel contenuto venga immediatamente identificata e censurata sui dispositivi di ogni persona – anche se offline. Oggi è un database di materiale pedopornografico, domani potrebbe essere un database di contenuti “terroristici” (come già accade in alcuni casi), o un database contenente “materiale illegale” non meglio definito.
Come se questo non bastasse, bisogna poi riflettere sulla natura “closed source” di questi sistemi. È impossibile per le persone verificare il contenuto di questa blacklist, così come è impossibile verificare il funzionamento degli algoritmi adibiti alla scansione dei contenuti sul dispositivo.
Infine, ci sono anche rischi di attacco esterno. Esistono tecnologie di machine learning (GANs – Generative Adversarial Networks) in grado di attaccare gli algoritmi di hashing come quelli che sarebbero usati da Apple. Gli attacchi possibili sono diversi, come:
- hash collision: una tecnica che permette la creazione di un hash digest uguale a un altro partendo da un input diverso. Questo significherebbe che due foto diverse potrebbero avere un “hash” uguale, con tutte le conseguenze che ne derivano. Una foto potrebbe essere identificata come pedopornografica pur senza esserlo.
- hash poisoning: una tecnica che permetterebbe di inserire un hash in blacklist pur senza essere materiale pedopornografico, bypassando anche il controllo umano
Rischio di sorveglianza e censura
Ma al di là dei rischi di attacco, il rischio più grave è che questo diventi uno strumento di sorveglianza e censura in tempo reale al servizio dei governi di tutto il mondo.
Apple è storicamente succube di pressioni politiche da parte degli Stati Uniti, come anche della Cina o Arabia Saudita. Ad esempio, dopo pressioni da parte del governo degli Stati Uniti Apple ha deciso di non cifrare i backup su iCloud, per permettere l’accesso ai dati alle autorità. Allo stesso modo, sono recenti alcune inchieste che hanno svelato dei pericolosi compromessi fatti da Apple in Cina per quanto riguarda la crittografia dei suoi servizi di comunicazione e hosting. In pratica, il governo cinese ad oggi ha accesso ad ogni comunicazione, foto, documento, contatti e localizzazione di ogni cittadino cinese che usa dispositivi Apple. Per finire, Apple è tra le aziende coinvolte nella sorveglianza di massa globale della NSA, scoperta da Edward Snowden nel 2013. Insomma, nulla lascia presumere che un sistema così potente non possa venire abusato negli anni a venire.
Una lunga battaglia contro la crittografia, per la sorveglianza
La proposta di Apple non è però un fulmine a ciel sereno. Da tempo ormai il governo statunitense, insieme a quelli dei Five Eyes (UK, Australia, Canada, Nuova Zelanda) cerca di limitare la diffusione della crittografia end-to-end, che rende pressoché impossibile intercettare le comunicazioni.
La crittografia end-to-end è però sempre più diffusa e alla portata di tutti, e per questo motivo da alcuni anni l’obiettivo primario è sviluppare tecnologie per bypassare del tutto la crittografia forte. I sistemi di scansione client-side (cioè direttamente sul dispositivo), come quello proposto da Apple, sono tra le misure più ricorrenti e apprezzate. Essere in grado di scansionare direttamente la memoria del dispositivo permette di accedere ai contenuti prima che questi vengano cifrati e poi trasmessi al destinatario.
All’inizio ho scritto che non ho dubbi sul fatto che questa funzionalità possa arrivare anche in UE. Il motivo è che a luglio è stato approvato il Regolamento “chatcontrol”, che ha come obiettivo esattamente quello perseguito da Apple. Un regolamento, di cui scrivo da diverso tempo ma che per qualche motivo è passato in sordina. Prevede una deroga alla direttiva ePrivacy per permettere ai provider di servizi di comunicazione di scansionare i contenuti dei messaggi alla ricerca di materiale pedopornografico. Il problema è sempre lo stesso: le comunicazioni crittografate end-to-end non sono scansionabili da nessuno. Quindi come fare in questo caso? La soluzione migliore è proprio quella proposta da Apple.
Come si può allora avere fiducia in un sistema inaccessibile nato espressamente per bypassare la crittografia end-to-end e per agevolare l’intercettazione delle comunicazioni da parte dei governi di tutto il mondo? Lo scopo è lodevole, ma questo non giustifica la sorveglianza di massa di centinaia di milioni di persone.
La sorveglianza deve essere sempre giustificata da gravi indizi di reato. Viceversa, sorvegliare in massa le persone alla ricerca di indizi di reato è un ingiustificabile ribaltamento dei nostri principi fondamentali. Nessun crimine, per quanto odioso, può rendere ragionevole un’ipotesi del genere. Anche la Corte di Giustizia Europea a più riprese ha affermato la violazione dei diritti fondamentali da parte di qualsiasi attività indiscriminata di sorveglianza delle comunicazioni, che deve essere invece limitata nel tempo e giustificata da specifiche esigenze di sicurezza nazionale. Per quanto orribile, la pedopornografia non rientra tra le questioni relative alla sicurezza nazionale. E in ogni caso, la sorveglianza non potrebbe essere sistematicamente applicata ad ogni persona (compresi i bambini che si vogliono tutelare) a tempo indeterminato.
