Grazie ai recenti progressi nella generazione di dati sintetici, è ormai possibile manipolare automaticamente immagini e video con un elevato livello di realismo, soprattutto se si tratta di volti.
I video così manipolati, noti anche come deepfake, possono essere usati per confezionare fake news particolarmente credibili, e rappresentano quindi una seria minaccia.
Per contrastare l’uso improprio di questi contenuti multimediali sono stati sviluppati diversi algoritmi. I più moderni ed efficaci si basano sul deep learning, in particolare sulle reti neurali convoluzionali, proprio come le tecniche per la generazione dei deepfake.
Grazie alla disponibilità di grandi dataset di video con volti manipolati, questi detector imparano a riconoscere nuove immagini contraffatte.
Tuttavia, riescono a riconoscere solo i tipi di manipolazione che hanno già incontrato nel dataset di addestramento o “training set”, mentre risultano poco o per nulla efficaci nei confronti di nuovi attacchi.
Come ti scovo il deepfake: le contromisure, con l’analisi forense
Per esempio, un detector che è stato addestrato a rivelare manipolazioni in cui tutto il volto è stato sostituito con un altro (face swapping) avrà difficoltà a rivelare manipolazioni che modificano solo l’espressione del soggetto e ne preservano l’identità (facial reenactment). Questo problema assume sempre maggiore importanza, considerato che nuove tecniche di manipolazione vengono sviluppate di continuo.
Così, un deepfake pericoloso, realizzato con una tecnica nuova, potrebbe essere considerato autentico da tutti i detector esistenti, guadagnandosi anche una sorta di bollino blu che ne aumenta ulteriormente la credibilità. La principale sfida tecnologica attuale, quindi, non è tanto sviluppare detector più affidabili, ma detector efficaci anche nei confronti di attacchi nuovi.
Esaminiamo di seguito un nuovo promettente approccio per la rivelazione dei deepfake che assicura un’elevata capacità di generalizzazione. Anche questa tecnica si basa sul deep learning, ma viene addestrata esclusivamente su video reali (one-class scenario) e quindi non dipende dalla specifica tecnica di manipolazione adottata.
Deepfake: non solo face swapping
I deepfake più diffusi sono quelli in cui il volto di un soggetto è sostituito con quello di un altro. Di conseguenza, questi deepfake sono anche la maggioranza nei dataset attualmente disponibili per l’addestramento di nuovi detector [1]. Recentemente, però, si stanno diffondendo altri tipi di attacchi, in cui l’identità del soggetto non viene modificata, ma si cambia solo la sua espressione oppure il discorso che sta pronunciando, facendo attenzione a ritoccare coerentemente anche il movimento delle labbra (Fig. 1).
Figura 1. Da sinistra a destra: immagine sorgente, immagine target, immagine target in cui viene applicato il volto dell’immagine sorgente (face swapping) e immagine target in cui viene modificata l’espressione (facial reenactment).
Per esempio, il MIT Center for Advanced Virtuality ha creato un deepfake in cui l’ex presidente Nixon tiene un discorso annunciando che gli astronauti dell’Apollo 11 non sarebbero mai più mai tornati dalla luna.
I ricercatori del MIT hanno preso un attore per recitare il discorso e hanno riprodotto la voce di Nixon e i suoi movimenti con tecnologie di deep learning molto avanzate. Il progetto è stato pensato per educare l’opinione pubblica al fatto che i deepfake possono essere molto convincenti. Il risultato finale è impressionante e mostra l’importanza di sviluppare approcci di rilevamento della contraffazione che possano operare diversi tipi di manipolazioni facciali, anche mai incontrati finora.
Riconoscere un deepfake con la biometria
Quando si realizza un deepfake di un volto si desidera che il video risultante sia attribuito chiaramente a un ben preciso soggetto. Ad esempio, se si altera una scena di Shining in modo che l’attore sembri Jim Carrey e non Jack Nicholson, è importante che il protagonista sia riconosciuto senza dubbio come Carrey.
Analogamente, se si manipola un video di Nixon e se ne modifica il messaggio, l’identità di Nixon deve restare riconoscibile. Se invece i protagonisti del video risultano dubbi, cioè presentano chiare differenze da Jim Carrey o Richard Nixon, rispettivamente, il video diventa subito sospetto.
L’idea base delle tecniche basate sull’identità è quella di verificare se i soggetti dei video sono proprio le persone che si pretende siano.
Naturalmente, questa analisi non si ferma a somiglianze superficiali, ma guarda invece a caratteristiche biometriche dei soggetti, altamente specifici dell’individuo, ma difficilmente riproducibili da un generatore.
Se il protagonista del video ha tratti somatici, oppure atteggiamenti o movimenti diversi da quelli tipici del preteso soggetto, si può sospettare che il video sia un deepfake.
Ovviamente, in questa analisi è necessario avere a disposizione degli altri video reali del soggetto per poter misurare quanto il video risulti “distante” da quelli originali (Fig. 2). D’altra parte, si prescinde da qualsiasi video fake e non si è quindi legati ad alcuna particolare tecnica di manipolazione. Qualunque tecnica alteri i tratti biometrici del soggetto diventa rilevabile.
Figura 2. Tecnica basata sull’identità: il video sotto analisi viene elaborato per estrarre caratteristiche biometriche 3D del volto e analizzarle lungo la direzione temporale. Si valuta poi la distanza tra le caratteristiche estratte da tale video con quelle che provengono da alcuni video reali del soggetto coinvolto (https://arxiv.org/abs/2012.02512).
I primi lavori che si sono basati sulle caratteristiche biometriche si sono concentrati sui tratti distintivi del volto e dei movimenti della testa che sono difficili da imitare perfettamente [2].
È anche possibile focalizzarsi sulle inconsistenze tra i movimenti della bocca e il discorso che viene pronunciato, in particolare tener conto che se un deepfake non è realizzato perfettamente le labbra si muovono in maniera non sincrona con i fonemi emessi [3].
Queste inconsistenze riescono a rivelare anche manipolazioni che coinvolgono solo una parte del video e quindi possono essere estremamente utili, visto che basta cambiare anche solo una parte del discorso per cambiarne totalmente il senso.
Lavori più recenti riescono a trarre vantaggio non solo dalle biometrie del viso, anche con modelli tridimensionali, ma anche dai movimenti che caratterizzano temporalmente uno specifico individuo e che sono legati a tutte le parti del volto [4].
La coerenza temporale delle biometrie facciali risulta essere estremamente discriminante e anche robusta a possibili elaborazioni del video, come la compressione e il ridimensionamento, che spesso vengono applicati automaticamente quando si carica un video su un social network.
Particolarmente interessante è la possibilità di introdurre nell’approccio un gioco avversario mediante le GAN (Generative Adversarial Network): il rivelatore dell’identità di un soggetto viene messo alla prova da un generatore di volti falsi durante la fase di addestramento allo scopo di migliorare la capacità del discriminatore di riconoscere i tratti biometrici di una specifica identità. È importante sottolineare che l’adozione di una strategia GAN permette di identificare con una maggiore precisione anche modifiche della sola espressione del volto, come accade nel facial reenactment [4].
Riconoscere un deepfake dalle emozioni
Attualmente si sta sperimentando l’uso di caratteristiche legate al modo in cui un soggetto esprime le proprie emozioni [5], che sembrano essere particolarmente adatte a distinguere un’identità vera da una falsa soprattutto se si affianca l’analisi facciale con quella dell’audio.
Infatti, le emozioni espresse dalle varie parti del volto dovrebbero essere consistenti con quelle relative alla voce. Queste ricerche sono motivate da numerosi studi che hanno mostrato la capacità di sistemi di intelligenza artificiale a riconoscere le emozioni in un individuo soprattutto se si analizzano congiuntamente le caratteristiche percettive legate per esempio al movimento della bocca o degli occhi con il tono della voce.
Visto che attualmente le tecniche per realizzare un deepfake non sono in grado di portare in conto queste specifiche correlazioni legate alle emozioni, questa direzione di ricerca sembra essere molto promettente.
Un altro aspetto interessante di questi approcci è la possibilità di interpretare i risultati, cosa molto difficile con la maggior parte delle tecniche di rivelazione pubblicate recentemente.
Infatti, quando una rete neurale prende una decisione o fornisce un sintetico punteggio di verosimiglianza del video, questo non aiuta a capire come la rete abbia “ragionato”. La rete stessa è vista come una black-box, i cui meccanismi interni restano ignoti e impredicibili. I metodi basati sull’identità, invece, non basano la propria decisione su possibili imperfezioni nei video, ma rispondono ad una domanda chiara sull’identità della persona ritratta nel video. La manipolazione è rivelata se e solo se ci sono chiare distorsioni dei tratti biometrici caratteristici del soggetto.
Sfide future: nuovi dati per smascherare i deepfake
Con il continuo miglioramento dei deepfake, è evidente che sarà sempre più importante considerare il contesto in cui il video appare e quindi analizzare non solo il video stesso, ma tutte le fonti multimediali ad esso collegate: testo, voce, immagini, informazioni accessibili in database.
Una foto o un video utilizzato per diffondere una fake news non dovrebbe essere studiato in isolamento, ma insieme al testo che lo accompagna, l’audio e tutte le informazioni contestuali disponibili.
Di conseguenza, l’approccio può essere modificato in base alla disponibilità di ulteriori informazioni, ad esempio metadati o versioni quasi identiche del immagine/video sotto analisi. Le analisi dovrebbero sempre più concentrarsi su livelli semantici, piuttosto che sintattici, come previsto dalla recente iniziativa lanciata da DARPA sul progetto Semantic Forensics.
Bibliografia
[1] L. Verdoliva, “Media Forensics and Deepfakes: an overview” IEEE Journal of Selected Topics in Signal Processing, 2020.
[2] S. Agarwal and H. Farid, “Protecting World Leaders Against Deep Fakes”, IEEE CVPR Workshops 2019.
[3] S. Agarwal et al. “Detecting Deep-Fake Videos from Phoneme-Viseme Mismatches”, IEEE CVPR Workshops 2020.
[4] D. Cozzolino et al., “ID-Reveal: Identity-aware DeepFake Video Detection”, arXiv preprint arXiv:2012.02512, 2020.
[5] T. Mittal et al. “Emotions Don’t Lie: An Audio-Visual Deepfake Detection Method using Affective Cues”, ACM Multimedia 2020.
