Senza un meccanismo di moderazione che faciliti la cooperazione e prevenga abusi, le comunità online tendono a diventare disfunzionali, vittime di spammer, vandali e troll.
Un recente documento commissionato dal Parlamento Europeo (Sartor e Loreggia 2020) di cui questo articolo è un breve excursus, descrive la tecnologia utilizzata nelle procedure automatiche di filtering per classificare ed eventualmente escludere o segnalare contenuti illeciti generati dagli utenti. Queste tecnologie, basate sull’intelligenza artificiale, sono sempre più necessarie, dato che l’enorme quantità di dati generata ogni singolo istante rende inutile o quanto meno inefficace il solo controllo manuale, ma non sono immuni da rischi. Ecco perché occorre una regolamentazione adeguata.
Dalla direttiva eCommerce al Digital services act
L’ormai ventennale direttiva europea sul commercio elettronico (Directive 2000), che pure ha giocato un ruolo fondamentale nello sviluppo di un’economia digitale e di un mercato unico, è infatti attualmente applicata ad un contesto tecnologico, economico e sociale completamente diverso: un ventaglio molto più ampio e diverso di tecnologie è oggi disponibile, spesso basate su piattaforme cloud e sistemi integrati di intelligenza artificiale (AI).
Le piccole aziende nate nei sottoscala o in angusti garage sono diventate influenti realtà globali con enormi capacità finanziarie e tecnologiche. L’ecosistema digitale si è arricchito di situazioni che hanno attratto l’interazione sociale trasformandola affinché potesse esprimersi in ambienti virtuali. Questa nuova realtà pervasa dalla tecnologia è una continua interazione tra reale e virtuale, materiale ed immateriale. Quello che oggi diventa, con un neologismo, onlife (Floridi 2015). L’economia, così come molte altre attività, sfrutta sempre più questa interazione tra risorse digitali e risorse fisiche.
Come parte del programma sulla strategia sul digitale, la Commissione Europea ha annunciato il “Digital Services Act package (DSA)”[1]. Il piano ha lo scopo di rafforzare il mercato europeo e promuovere l’innovazione e la competizione. Il piano inoltre sostituirà la vecchia direttiva, affrontando in maniera più consona questo nuovo contesto tecnologico, economico e sociale.
Perché serve un meccanismo di governance dei contenuti
Uno degli aspetti più importanti risulta la regolazione dei servizi digitali, in particolare quelli che rientrano nella categoria delle piattaforme online, cioè quei particolari servizi digitali il cui scopo è di facilitare o incentivare l’interazione tra gli utenti della piattaforma.
Il servizio permette ai propri utenti di esprimersi, creare, trasmettere e accedere a informazioni attraverso l’interazione sociale. Questa interazione abilita l’esercizio dei diritti fondamentali (quali per esempio la libertà di espressione e associazione), supportando e permettendo la realizzazione di valori sociali (come l’informazione della cittadinanza, formazione e il dialogo democratico). Ciononostante, fioriscono anche opportunità per comportamenti scorretti, potenzialmente dannosi o nocivi: inciviltà, aggressività, disinformazione, polarizzazione, illegalità, manipolazione, e molte altre forme di comportamenti illeciti.
Al fine di prevenire comportamenti pericolosi, dannosi e illeciti o quanto meno per mitigare l’esposizione a questi rischi, nasce la necessità di un meccanismo di moderazione: un meccanismo di governance dei contenuti che vengono veicolati dalle piattaforme, inteso ad assicurare, nei limiti del possibile, interazioni sociali che possano essere produttive e costruttive.
 |  |
Figura 1. Cosa succede in un minuto in Internet
L’utilizzo di strumenti di AI per l’automazione del processo di filtering non è però immune a rischi. Lo strumento stesso potrebbe trasformarsi in un filtro che lede gli stessi diritti fondamentali poc’anzi descritti. Escludendo in modo automatico materiale lecito il filtro andrebbe a ledere la libertà di espressione, l’accesso all’informazione e il dialogo democratico.
La regolazione di queste tecnologie dovrebbe mirare a raggiungere due obiettivi:
- prevenire, limitare e mitigare il più possibile il danno sociale derivante da contenuti illeciti,
- permettere e facilitare la distribuzione di contenuti che beneficiano l’interazione civile.
La tecnologia utilizzata
La quantità di dati che transita nella rete ogni singolo minuto cresce ad una velocità inimmaginabile. In Figura 1 vengono riportati alcuni dei canali più utilizzati e la rispettiva mole di traffico gestita negli ultimi anni. Alcuni esempi: nel 2019 Facebook analizzava un milione di login al minuto, mentre lo stesso dato è cresciuto in un anno del 20%; il numero di messaggi inviati in un minuto utilizzando Messenger o WhatsApp è passato da 41 milioni nel 2019 a quasi 60 milioni nel 2020.
Questa enorme quantità di informazioni trasmesse rende la moderazione manuale impraticabile e suscettibile di errori. Per questo motivo sempre più spesso vengono adottati strumenti informatici che permettono di automatizzare questo processo. Le due modalità (la moderazione manuale e quella automatica) possono cooperare per migliorare il risultato dell’analisi: dopo aver applicato un filtro automatico, un successivo intervento umano può servire per confermare la decisione su tutto il materiale classificato come inappropriato, oppure applicare il filtro solo a parte di dati la cui classificazione risulti incerta.
Questo è lo scenario che possiamo trovare nei social network (come per esempio Facebook, LinkedIn, Twitter o Reddit), nei servizi di streaming (come Netflix o YouTube), nella messaggistica (come WhatsApp, Messenger, Hangout), e nei motori di ricerca (come Google).
In base ai media che devono essere analizzati cambia anche la tecnologia applicata. In particolare, possiamo identificare quattro principali canali di condivisione: il testo, l’audio, le immagini e i video. Particolare attenzione deve essere prestata a situazioni che utilizzano soluzioni miste, come per esempio l’utilizzo di testo nelle immagini, come nei meme. Il significato di un messaggio di questo tipo risulta strettamente legato alla natura gergale e culturale a cui il messaggio è indirizzato e per questo molto difficile da identificare con strumenti automatici.
La tecnologia utilizzata per il filtro dei contenuti dipende quindi dal media che deve essere analizzato. Il livello di complessità varia da approcci semplici – come quello di confrontare il dato che si vuole verificare con un insieme di contenuti riconosciuti illeciti – all’utilizzo di tecniche molto complesse di intelligenza artificiale. Queste ultime in genere si affidano a strumenti sviluppati utilizzando tecniche di machine learning (o apprendimento automatico).
Quest’ultimo è l’approccio diventato ormai predominante nella sfera dell’intelligenza artificiale, grazie soprattutto alle performance incredibili raggiunte in molti contesti. In genere riconosciamo 3 principali categorie di apprendimento automatico:
- apprendimento supervisionato: l’algoritmo viene allenato a riconoscere e ad associare ai dati di input un etichetta/classe/categoria di output, che in fase di allenamento è conosciuta e quindi verificabile. In questo modo l’algoritmo impara, se esiste, la relazione che sussiste tra i dati inseriti e la loro classe di appartenenza. Equivale ad insegnare attraverso l’uso di esempi. Se l’algoritmo è progettato correttamente e i dati rappresentano la realtà che si vuole studiare, allora l’algoritmo generalizza e impara a gestire anche situazioni nuove. In genere questi sistemi sono utilizzati per task di classificazione o regressione;
- apprendimento non-supervisionato: l’algoritmo di apprendimento è allenato a riconoscere nei dati in input degli schemi ricorrenti utili a classificare e raggruppare i dati in sottoinsiemi che in qualche modo descrivono delle strutture comuni;
- apprendimento con rinforzo: l’algoritmo è sviluppato per massimizzare una funzione obiettivo progettata per descrivere lo scenario. L’idea di base è che l’agente artificiale esplora l’ambiente e riceve delle ricompense o delle penalità a seconda delle azioni che vengono intraprese. La continua esplorazione del dominio di studio permette all’agente di imparare, attraverso i rinforzi positivi o negativi (ricompense o penalità), quale comportamento adottare.
La moderazione automatica utilizza spesso combinazioni delle tecniche elencate al fine di individuare contenuti pericolosi o illeciti. Vediamone alcuni esempi: per verificare il contenuto dei messaggi di testo o dei post di un social network, spesso le parole vengono confrontate con il contenuto di un dizionario che elenca le locuzioni che non possono essere utilizzate e che rappresentano in genere insulti o forme gergali offensive. Quando una di queste viene identificata il testo viene segnalato, oppure offuscato o la locuzione semplicemente rimossa. In altri casi invece lo stesso utente che ha inviato il messaggio viene segnalato e sospeso. Questa forma di filtro è molto semplice da raggirare usando per esempio storpiature nella scrittura. Per affrontare situazioni più complesse, vengono impiegate forme di analisi del linguaggio che vengono modellate con reti neurali o altre tecniche di intelligenza artificiale. Tecniche simili vengono applicate per l’analisi delle immagini, dei suoni e dei video. L’idea di verificare se il contenuto dell’immagine, o del suono o del video corrisponde ad una voce di un database di contenuti riconosciuti illeciti è simile a quella appena vista per il testo, la sua realizzazione risulta però più complessa sul piano tecnico.
Fallibilità e accuratezza
Le tecniche utilizzate per l’automatizzazione dei filtri e l’implementazione della moderazione permettono di raggiungere livelli molto alti di accuratezza. Ciononostante, spesso, si cerca di evitare o di limitare i cosiddetti falsi positivi o falsi negativi. Mentre i primi codificano come potenzialmente dannoso un contenuto che in verità non lo è, i secondi al contrario codificano come non dannoso un contenuto che invece dovrebbe essere filtrato.
Tali comportamenti anomali dello strumento possono dipendere da diversi fattori: in primis, l’algoritmo potrebbe essere stato allenato con dati non rappresentativi o sbilanciati, che introducono nell’algoritmo dei pregiudizi verso alcuni tipi di contenuti. In altri casi invece, il messaggio veicolato dal contenuto potrebbe venir catalogato scorrettamente perché troppo complesso. Anche in questo caso un paio di esempi potrebbero aiutare a capire la complessità che tali strumenti devono affrontare: in molte piattaforme ormai è attiva una forma di filtro automatico per la rimozione di contenuti pornografici, nel tempo alcune di queste piattaforme hanno rimosso immagini di statue famose (come la sirenetta a Copenhagen[2] o la statua di Nettuno a Bologna[3]) perché ritenute offensive. Di tutt’altra natura invece il filtro applicato ai video che negli ultimi anni hanno caratterizzato alcuni attacchi terroristici o azioni di guerra, e che sono stati resi disponibili sui social. Come si può analizzare in modo automatico e lasciare ad un algoritmo il compito di decidere dove e quando eliminare tali contenuti? Come si può differenziare il contenuto del video dell’attacco terroristico alla moschea di Christchurch dal video delle atrocità commesse in scenari di guerra come quello siriano? Il primo è chiaramente un esempio di contenuto che dovrebbe essere identificato e filtrato, mentre invece è diventato virale e visibile per diverse ore[4]. Il secondo invece dovrebbe rappresentare una testimonianza dei crimini di guerra perpetrati e quindi mantenuto come strumento per identificare i persecutori, ma migliaia di questi video invece sono stati inavvertitamente rimossi[5].
Trasparenza e affidabilità
La tecnologia, così come la componente umana, è fallace e per questo motivo è fondamentale attuare e rendere disponibili dei meccanismi utili ad appellarsi contro una decisione considerata scorretta e recuperare contenuto e reputazione digitale. I Santa Clara Principles[6] sono un primo approccio alla trasparenza e suggeriscono alle aziende che fanno uso di sistemi automatici di moderazione quali informazioni rendere pubbliche al fine di mantenere una corretta relazione e comunicazione con l’utenza, tra i vari suggerimenti vi sono per esempio:
- pubblicare il numero di post rimossi e di account temporaneamente sospesi a causa di violazioni del contenuto;
- assicurare un meccanismo di notifica che avvisi gli utenti di tali infrazioni e della relativa azione correttiva intrapresa nei loro confronti o del loro contenuto;
- fornire in ogni caso un meccanismo per appellarsi contro l’azione intrapresa e permettere una seconda analisi.
L’iniziativa dell’Elettronic Frontier Foundation[7] analizza il comportamento delle principali aziende e piattaforme, riportando quali di queste aderiscono o meno ai Santa Clara Principles e le eventuali ingerenze governative segnalate e riguardanti decisioni sulle moderazioni.
Le più virtuose pubblicano un report periodico di trasparenza che descrive dal punto di vista quantitativo le azioni intraprese. Twitter, per esempio, pubblica un report periodico[8] dal quale si evince che nel secondo semestre 2019 sono stati rimossi quasi 3 milioni di tweet e oltre ottocento mila account sono stati sospesi.
Costo aziendale e costo sociale
La tecnologia non può attualmente soppiantare la componente umana. In molte situazioni la decisione finale viene infatti demandata a impiegati incaricati di verificare che la decisione automatica sia corretta. La moderazione non è solo un servizio, ma un costo per le aziende che la devono adottare. È un investimento tecnologico di cui non è chiaro in molti casi il ritorno economico. Un investimento che spesso molte aziende – specie di piccole/medie dimensioni – non possono permettersi o non possono sostenere, tecnologie che non possono o non riescono a sviluppare in autonomia.
Spesso quindi la soluzione viene demandata a terzi, attraverso contratti di servizi o consulenza, ma che celano precariato e insicurezza contrattuale.
Situazioni nelle quali il costo sociale è altissimo, spesso dovuto a lavoratori costretti a erogare un servizio considerato essenziale anche in situazioni di emergenza[9], a causa anche del fatto che la forza lavoro non è sufficiente a sostenere la mole di dati che devono essere analizzati e senza contare l’enorme stress psicologico al quali i moderatori sono sottoposti (Barrett 2020).
Conclusioni
Come abbiamo visto, la moderazione è diventata ormai un meccanismo imprescindibile per instaurare un ecosistema digitale che sia vivibile e condivisibile dagli utenti delle piattaforme, per questo non deve essere scoraggiata o invisa. Allo stesso tempo è necessario ricordare i limiti e i difetti di tale metodologia che potrebbe essere applicata anche a contenuti che non sono necessariamente illeciti ma risultare poco appropriati in un particolare contesto. La regolamentazione diventa fondamentale per evitare situazioni estreme nelle quali riscontriamo l’applicazione di troppa moderazione o al contrario dove i filtri risultano invece insufficienti.
_________________________________________________________________________
Bibliografia
Barrett, Paul M. 2020. “Who Moderates the Social Media Giants?” New York Universtiy – Center for Business and Human Rights.
Directive, E-Commerce. 2000. “Directive 2000/31/EC of the European Parliament and of the Council of 8 June 2000 on Certain Legal Aspects of Information Society Services, in particular Electronic Commerce, in the Internal Market (” Directive on Electronic Commerce”).” Official Journal.
Floridi, Luciano. 2015. The onlife manifesto: Being human in a hyperconnected era. Springer Nature.
Sartor, Giovanni, and Andrea Loreggia. 2020. “The impact of algorithms for online content filtering or moderation – Upload filters.” European Parliament.
- https://ec.europa.eu/digital-single-market/en/digital-services-act-package ↑
- https://www.bbc.com/news/blogs-news-from-elsewhere-35221329 ↑
- https://edition.cnn.com/travel/article/facebook-neptune-statue-photo-ban/index.html ↑
- https://www.wired.com/story/new-zealand-shooting-video-social-media/ ↑
- https://www.nytimes.com/2017/08/22/world/middleeast/syria-youtube-videos-isis.html ↑
- https://santaclaraprinciples.org/ ↑
- https://www.eff.org/wp/who-has-your-back-2019 ↑
- https://transparency.twitter.com/en/twitter-rules-enforcement.html ↑
- https://www.theguardian.com/technology/2020/oct/23/facebook-moderators-forced-to-work-in-dublin-office-despite-high-tier-lockdown ↑
