La scuola è vista sempre più come un banco di prova per testare le nuove tecnologie, come se tutto ciò che è innovazione fosse necessariamente anche giusto e utile per tutelare gli studenti, ma questo utilizzo irresponsabile di sistemi invasivi in realtà può comportare grandi rischi per i diritti degli studenti. Cerchiamo di capire quali.
È di pochi giorni fa la notizia dell’avvio da parte del Garante della Privacy di un’istruttoria contro una piattaforma focalizzata sul social rating degli studenti, ma questo è solo un tassello del problema.
Riconoscimento facciale anche nelle scuole: ecco com’è usato e i problemi di privacy
Riconoscimento facciale per frenare le stragi nelle scuole Usa
Negli Stati Uniti, ad esempio, Clearview – società già sanzionata anche in Italia – si sta preparando a installare telecamere di riconoscimento facciale nelle scuole.
In questo caso, la scintilla per accendere la miccia è stata l’ennesima strage di ragazzini a scuola per mano di un loro compagno munito di armi da fuoco. Si noti, in particolare come, tale sistema non apporti sensibili vantaggi in termini di diminuzione dei casi, consentendo al più di identificare con maggiore velocità chi, ormai, è già entrato nella scuola sparando ai propri compagni.
Un effetto realmente tangibile si avrebbe se, anziché dotare le scuole di riconoscimento facciale, si facesse una vera campagna contro le armi da fuoco, volta a disciplinarne meglio la vendita e la detenzione. Installare telecamere con riconoscimento facciale, oltre a un apparente maggiore sicurezza, avrà solo due effetti: arricchire Clearview, le cui azioni sono state dichiarate illegittime ormai quasi ovunque; obbligare bambini e insegnanti a subire trattamenti biometrici dei loro dati, con conseguente creazione di database che verranno poi condivisi con le forze di polizia di tutto il mondo (è questo il core business di Cleraview) andando a contribuire a quella società della sorveglianza di massa delineata egregiamente da Shoshana Zuboff.
L’intelligenza predittiva per orientare il percorso di studi
Purtroppo, però i problemi per gli alunni non finiscono qui in quanto un terzo sistema invasivo si sta affacciando al mondo della scuola; stiamo parlando dell’intelligenza predittiva volta a orientare il ragazzino nel suo percorso di studi.
Sul punto occorre essere chiari, finché questi sistemi di orientamento predittivo vengono utilizzati in autonomia dagli studenti, senza alcun tipo di intervento delle scuole, allora si tratta di un qualcosa di eticamente e giuridicamente accettabile a parere di chi scrive. Tutto però cambia radicalmente quando in questo processo interviene, anche solo per un breve momento la scuola o quando questi risultati vengono condivisi, ad esempio, con potenziali datori di lavoro. Questo perché, come vedremo anche infra, i sistemi di intelligenza artificiale troppo spesso hanno dimostrato malfunzionamenti dovuti a bias di diverso tipo e, quindi, affidare a questi sistemi, ad esempio, la decisione in merito all’ammissione di un ragazzo in un’università o la sua assunzione in un posto di lavoro è un qualcosa di assolutamente sbagliato, capace di portare a conseguenze irreparabili per le vite di questi ragazzi.
La (poco plausibile) giustificazione
Ma perché queste tecnologie si stanno concentrando tanto sulla scuola?
Chi si occupa di diritto del digitale da prima del 25 maggio 2018, ricorderà come la storia del rapporto tra minori e tecnologia sia da sempre stata caratterizzata da un legame quantomeno tossico, dove una parte (i minori) subisce e l’altra parte si approfitta di una situazione di vantaggio per raggiungere interessi secondari.
Mi spiego meglio: quando negli Stati Uniti i conservatori vollero censurare volgarità e contenuti espliciti, lo fecero dicendo che era solo per i bambini. Quando l’UE ha deciso di mettersi a lavoro su una normativa che consentisse di leggere il contenuto dei messaggi (tipo sms) di tutti gli europei, lo ha fatto dicendo che era per tutelare i bambini dai pedofili, e così via…
Il punto è che in molte occasioni, in Europa come negli Stati Uniti, i bambini sono stati usati come scusa per far passare normative restrittive per la libertà fondamentali. Questo perché, tendenzialmente, spostando il piano del discorso da quello degli adulti a quello dei minori, chiunque cerchi di spiegare i motivi per cui è sconsigliabile l’uso di una tecnologia liberticida, rischia di passare per poco sensibile ai diritti dei più piccoli. Si tratterebbe di un suicidio sociale, per questo difficilmente qualcuno contrasta chi propone l’adozione di tecnologie a favore della presunta sicurezza dei ragazzi o, comunque a favore del loro futuro inserimento nel mondo dei grandi.
In tal senso non è quindi una cosa nuova il tentativo di talune società di vendere alla scuola sistemi altamente invasivi, capaci di incidere negativamente sui diritti dei ragazzi.
Certo, se parlerete con uno di questi produttori vi dirà che tali sistemi sono impeccabili, ma così non è.
Il precedente
Qualcosa ne sanno i ragazzi di una scuola inglese che, non essendo riusciti a completare regolarmente l’anno scolastico a causa della prima ondata di covid, sono stati assoggettati a una decisione di un algoritmo che ha quindi deciso chi promuovere e chi bocciare.
Peccato che pochi giorni dopo gli studenti si sono accorti di come stranamente fossero stati promossi solo o figli di famiglie di ceti abbienti, di contro, bocciando i figli delle famiglie meno facoltose. Questo bias era dovuto al fatto che l’algoritmo era stato allenato con dati del passato per predire il futuro; ma il passato è sempre diverso dal futuro, a maggior ragione quando si parla di scuola, ove negli scorsi decenni solo le famiglie abbienti si potevano permettere di far completare il corso di studi ai propri figli. Da qui il dato deviato secondo cui solo i ricchi completano la scuola, che poi ha portato a bocciare tutti i figli delle famiglie povere.
Problemi come questo sono all’ordine del giorno quando si utilizzano gli algoritmi, per questo è molto importante sensibilizzare le persone e, soprattutto, il personale della scuola in quanto, un semplice sbaglio potrebbe rovinare la vita di un giovane studente in modo irrimediabile. La tecnologia non è impeccabile.
L’assenza di basi giuridiche
Non è quindi un caso se il Garante della Privacy abbia inteso colpire il problema sul nascere, avviando indagini contro i soggetti che si occupano di social scoring tra i muri della scuola.
Sul punto, tralasciando per il momento la questione etica, a parere di chi scrive è da evidenziare la totale mancanza di basi giuridiche idonee a supportare un simile trattamento. Sicuramente, in queste scuole, qualcuno avrà sottoposto ai genitori un’informativa con una bella richiesta di consenso, senza però ricordare che, in base al GDPR e alle Linee Guida sul Consenso di EDPB, questa base giuridica non è spendibile quando si parla di Pubblica Amministrazione. Questo perché il cittadino (nel nostro caso uno studente) non è davvero in grado di far sentire il proprio peso contrattuale contro la PA la quale agisce quindi in una situazione di potere rispetto alla persona comune. Per questo motivo è da ritenere che un eventuale consenso sia da dirsi viziato.
Non è quindi il consenso, ma nemmeno l’interesse pubblico e, men che meno, un obbligo di legge a giustificare tale trattamento di dati il quale dovrà quindi ritenersi assolutamente illegittimo.
Ma anche solo dal punto di vista etico, questo genere di trattamenti evidenzia enormi problemi. Parlando di social rating, si tratta di fatto di giudicare le azioni del ragazzino per capire che tipo di adulto sarà e per precluderli determinate strade professionali/scelte di vita, sulla base di azioni compiute anche 20 anni prima. Ora, chi di voi lettori, in tutta onestà, può dire di non avere un amico che da ragazzino era uno di quei “casi disperati” e che poi, negli anni, si è redento ed ora magari ha conquistato una posizione sociale invidiabile? Ecco, con il social scoring questo non accadrà mai in quanto le azioni di un bambino incidono sul suo futuro. Se alle elementari un bambino è vivace tendente al violento, con il social scoring o con tecnologie predittive, potrebbe essere intrappolato in un cluster che gli impedirà di ambire a una posizione sociale migliore. Non solo, gli sarà impedito di redimersi e questo è a parere di chi scrive ancora più grave.
Del resto, anche il sistema penale si basa sul concetto di rieducazione, di superamento di eventuali problemi al fine di aiutare il criminale a redimersi diventando così nuovamente un membro della comunità in tutto e per tutto integrato. Se questo è il fine della norma penale, non si capisce come possa essere compatibile con un sistema che, anche senza che il soggetto commetta reati, giudichi i suoi comportamenti segnandolo per sempre.
Conclusioni
Le scuole, del resto, non nascono con queste finalità, bisognerebbe ricordarlo più spesso. Per questo motivo non dovrebbero prestarsi a simili esperimenti sociali e non dovrebbero cedere alla tentazione di questo “soluzionismo tecnologico” capace di portare l’istituzione scolastica su strade impervie che non gli competono.
