Le GAN, Generative Adversarial Networks o reti generative avversarie, rappresentano una delle idee più innovative proposte nell’ultimo decennio: vengono comunemente utilizzate per generare foto/video o file audio da file simili pre-esistenti ma potrebbero essere utilizzate anche in medicina, nella diagnostica per immagini. Un campo di ricerca che in futuro potrebbe rivoluzionare alcuni aspetti della pratica clinica: vediamo come.
L’Intelligenza Artificiale migliora la diagnostica per immagini: l’esperienza dell’Humanitas
Le applicazioni delle GAN nella diagnostica per immagini
Le GAN sono oggetto di studio per l’utilizzo nella diagnostica per immagini. Tra le applicazioni possibili: trasformare un’immagine radiologica in un’altra immagine appartenente alla stessa metodica o ad una metodica diversa; creare immagini radiologiche verosimili; migliorare la qualità delle immagini acquisite; segmentare le immagini radiologiche o sintetizzarle fino a prevedere l’andamento della malattia.
Image to image traslation e cross-modality synthesis
Si tratta di un’applicazione per la quale un’immagine radiologica può essere trasformata in un’immagine diversa ma appartenente alla stessa metodica (image to image translation) oppure ad una metodica diversa (cross-modality synthesis).
Alla prima categoria appartengono quei casi in cui, data una certa immagine di risonanza magnetica, si genera una nuova immagine di una diversa sequenza (ad esempio, da una immagine T1w si ottiene una T2w/DWI). Nella seconda categoria rientrano quei casi in cui, partendo da un’immagine di una determinata modalità (ad esempio una TC), si ottiene una immagine appartenente ad un’altra modalità (ad esempio RM oppure PET).
I vantaggi di questo tipo di applicazione sono molteplici: ridurre i tempi di tempi di acquisizione degli esami radiologici o della dose di radiazioni somministrate ai pazienti, evitare ai pazienti di sottoporsi a esami aggiuntivi.
Image synthesis e data augmentation
In questo caso, le GAN vengono utilizzate per creare nuove immagini radiologiche, non vere ma molto verosimili e praticamente quasi indistinguibili da quelle reali.
Tra i vantaggi: la risoluzione di molti problemi di privacy, di anonimizzazione e di scarsità di dati recuperabili (come, ad esempio, nel caso di malattie rare). Tuttavia, per allenare una GAN a questo risultato è necessaria una enorme quantità di immagini.
Generative Adversarial Network: cosa sono e come sono nate
Le Generative Adversarial Network, o reti generative avversarie, sono modelli di intelligenza artificiale non-supervisionati che generano dati molto realistici partendo da un dataset di addestramento.
Una sera del 2014, Ian Goodfellow, l’inventore di queste reti neurali innovative, andò in un locale a bere per festeggiare un avvenimento importante con un suo compagno di dottorato. Lì, alcuni amici gli raccontarono del progetto che stavano seguendo: un computer in grado di creare foto da solo.
A tal proposito, stavano utilizzando delle reti neurali come modelli “generativi”, con risultati abbastanza scarsi. Il loro piano per ovviare al problema prevedeva di utilizzare complesse analisi statistiche che avrebbero richiesto un’enorme quantità di calcoli numerici. Goodfellow però era convinto che tutto ciò non avrebbe funzionato. E mentre rifletteva sul problema di fronte al suo drink, gli venne un’idea brillante: usare due reti neurali e metterle l’una contro l’altra. Così, tornato a casa, Goodfellow decise di tentare questo nuovo approccio sviluppando il suo nuovo software, che funzionò al primo colpo!
Come funzionano le GAN
Una GAN consiste in due reti neurali generative antagoniste: il generatore ed il discriminatore. Il generatore crea nuovi dati che vengono poi analizzati dal discriminatore, che stabilisce se i dati che gli arrivano sono dal generatore oppure sono dati reali. Infatti, il discriminatore viene dapprima allenato a riconoscere dati “veri”, in quanto viene addestrato su un dataset di dati reali di partenza.
Il compito del generatore è quello di produrre dei dati che siamo molto simili ai dati reali senza vedere il dataset di partenza, ma sulla base dei feedback del discriminatore. A sua volta, il discriminatore imparerà sempre meglio a discernere i dati generati da quelli falsi analizzando le immagini prodotte dal generatore.
In questo modo, essendo messi l’uno contro l’altro, entrambi i modelli aumentano le loro performance con un meccanismo minimax game, il cui fine ultimo è quello di generare dei dati indistinguibili da quelli reali.
GAN nel post-processing
Le GAN sono molto utili anche per migliorare la qualità delle immagini acquisite, quindi nel post-processing. Infatti, possono essere applicate per rimuovere gli artefatti di vario genere (da movimento, da protesi metalliche) oppure per aumentare la risoluzione delle immagini. Un esempio? Per migliorare la risoluzione di immagini acquisite a bassa dose di radiazione e renderle come se fossero state acquisite ad alta dose.
Anche in questo caso, i vantaggi sono notevoli ed includono la possibilità di migliorare la qualità delle immagini riducendo la dose di radiazioni somministrate oppure evitare che il paziente si sottoponga ad esami aggiuntivi.
Image segmentation
Soprattutto quando associate ad altre reti neurali, le GAN possono aiutare in un task molto utile per il training di algoritmi di intelligenza artificiale: la segmentazione delle immagini radiologiche. Ovvero, la contornazione su varie immagini dei reperti che l’algoritmo viene allenato a riconoscere.
Un task che di solito viene effettuato da professionisti (radiologi) manualmente: è facilmente intuibile il risparmio di tempo e risorse.
Brain decoding
Alcuni scienziati hanno pubblicato degli studi in cui, a partire dai segnali di risonanza magnetica funzionale (fMRI) del cervello, le GAN riuscivano a sintetizzare delle immagini.
Nello specifico, nei loro esperimenti, ai pazienti veniva chiesto di guardare un oggetto. Una volta sottoposti alla fMRI, veniva loro chiesto di ricordare l’oggetto visto in precedenza, così da attivare la corteccia visiva. I segnali fMRI ricavati da questo processo, venivano introdotti in una GAN per sintetizzare l’oggetto visto dal Paziente. Quasi fantascienza!
Disease progression modelling
Un’ultima applicazione delle GAN è quella di generare immagini che possano prevedere l’andamento della malattia. Ad esempio, dato un esame radiologico a tempo 0, le GAN possono essere addestrate per prevedere l’aspetto della malattia al tempo 1. Questo permetterebbe un approccio terapeutico molto più “personalizzato”, in un’ottica di medicina di precisione.
Perché le GAN non sono ancora entrate nella pratica clinica
Nonostante le applicazioni siano molto entusiasmanti, le GAN sono ancora oggetto di ricerca e non sono ancora entrate nella pratica clinica. Infatti, purtroppo risentono di alcune limitazioni che ne impediscono il loro utilizzo quotidiano.
Tra le principali limitazioni ci sono: l’enorme quantità di dati necessaria per l’addestramento a risultati affidabili; la dipendenza ai dataset di partenza (se addestrate su immagini di esami di adulti, non generano immagini di esami di bambini); il problema dell’hallucination. Infatti, le GAN possono rimuovere o aggiungere reperti medici (noduli, devices, malattie) in maniera imprevedibile sulla base di come sono state trainate e del dataset di partenza.
Conclusioni
Le GANs sono attualmente oggetto di studio attivo e dinamico nel settore dell’intelligenza artificiale e rappresentano degli strumenti molto innovativi che potrebbero apportare notevoli benefici in diagnostica per immagini. Tuttavia, per la loro validazione in campo clinico sono necessari ulteriori studi.
____________________________________________________________________
Bibliografia
Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in neural information processing systems 27 (2014)
Wolterink, Jelmer M., et al. “Generative Adversarial Networks: A Primer for Radiologists.” RadioGraphics 41.3 (2021): 840-857
Sorin, Vera, et al. “Creating artificial images for radiology applications using generative adversarial networks (GANs)–a systematic review.” Academic radiology 27.8 (2020): 1175-1185
Osuala, Richard, et al. “A Review of Generative Adversarial Networks in Cancer Imaging: New Applications, New Solutions.” arXiv preprint arXiv:2107.09543 (2021)
Huang, Wei, et al. “Deep Natural Image Reconstruction from Human Brain Activity Based on Conditional Progressively Growing Generative Adversarial Networks.” Neuroscience Bulletin 37.3 (2021): 369-379
Ren, Ziqi, et al. “Reconstructing seen image from brain activity by visually-guided cognitive representation and adversarial learning.” NeuroImage 228 (2021): 117602
