La seconda decade del nuovo millennio è stata caratterizzata da nuovi e complessi problemi che interessano ed intersecano molteplici campi della nostra società. Metodologie di calcolo scientifico integrate con approcci di Intelligenza artificiale rappresentano un importante passo in avanti nella soluzione di problemi della scienza e della tecnica che richiedono sistemi High performance computing (HPC).
Intelligenza artificiale, tutto il potere della generazione automatica
Scientific Machine Learning
Negli ultimi anni nuove sfide che vanno dalla sostenibilità ambientale, alla Green economy con l’ottimizzazione delle risorse, dalle previsioni di crisi finanziarie alla Medicina di precisione possono essere affrontate con successo attraverso soluzioni innovative e alla frontiera. Sono generalmente descritte da sistemi complessi, da leggi fisiche fortemente non lineari e da dinamiche multi scala. Il terreno su cui ci si muove è insidioso ed è contraddistinto dalla consapevolezza che:
- I dati a nostra disposizione possono essere in alcuni casi insufficienti e costosi da acquisire, in altri casi, corrotti e ridondanti,
- I modelli possono avere componenti fortemente non lineari e/o essere soggetti a regimi di incertezza. Per tali motivi, al mondo dell’industria e della ricerca scientifica viene richiesto uno sforzo sempre maggiore nella direzione dello sviluppo di algoritmi intelligenti, approcci innovativi e modellistica predittiva, che abbiano effetti importanti sull’economia e un impatto diretto sulla società.
Figura 1. Impatto dell’Intelligenza artificiale nella relazione dati-modelli al fine di sviluppare nuovi e potenti algoritmi predittivi
Una possibile soluzione è quella di pensare e sperimentare nuovi paradigmi computazionali che richiedano competenze interdisciplinari, ovvero nuove metodologie basate sulla cooperazione tra il Calcolo scientifico, la Computer science e, più in generale, l’Intelligenza artificiale (AI). In questo scenario, negli ultimi anni nasce lo Scientific Machine learning (SciML), disciplina scientifica che consiste nell’integrare ed ibridare i classici approcci di Calcolo scientifico con le pervasive metodologie di AI, al fine di affrontare in modo efficiente ed efficace le difficili sfide appena descritte.
HPC nell’ambito dello Scientific Machine Learning
Forti investimenti finanziari sono stati indirizzati allo sviluppo di sistemi di HPC. Queste risorse hanno consentito non solo l’applicazione su larga scala dello SciML ma hanno anche contribuito al miglioramento dell’intera area di ricerca sull’AI.
Secondo la compagnia di indagini di mercato Business Wire per quanto riguarda le connessioni tra HPC e l’AI si può pensare che:
- il mercato di riferimento raggiungerà 23,7 miliardi di dollari a livello globale entro il 2026 e sarà guidato in gran parte da simulazioni, soluzioni e prodotti di SciML,
- l’AI impatterà nello sviluppo diretto di soluzioni Hpc, aumentando la scalabilità e l’efficienza delle infrastrutture,
- le bioscienze saranno il settore HPC con la maggiore crescita seguito da finanza, sostenibilità ambientale e ottimizzazione della produzione e dei servizi.
Figura 2. Trend del mercato legato alle applicazioni di HPC per l’AI
I sistemi HPC rappresentano una tecnologia abilitante per la comunità scientifica nello scenario descritto poiché consentono il calcolo efficiente e su larga scala di fondamentali task di AI come, ad esempio, l’addestramento di Reti neurali profonde (Deep learning Neural networks), la simulazione di sistemi di apprendimento rinforzato (Deep reinforcement learning) oppure approcci di classificazione e predizione basati su Reti generative avversarie (Generative adversarial networks).
Figura 3. L’impatto dell’HPC nello SciML
È da osservare che una soluzione vantaggiosa in termini di tempi di esecuzione e di efficacia relativamente ad approcci di SciML basati su AI potrebbe essere quella fornita dal Quantum computing, che sfortunatamente, ad oggi, non rappresenta ancora una tecnologia matura ed implementabile a basso costo per una vasta platea di utenti.
L’HPC rappresenta, dunque, l’unica alternativa che consente di accorciare il “time to solution” in ambito SciML dove alcuni problemi, come ad esempio quelli previsionali nella finanza, richiedono soluzioni accurate in tempi prossimi al real-time. Approcci modellistici data-driven e quelli basati sulla conoscenza di leggi fisiche possono dunque cooperare in maniera proattiva per la risoluzione di problemi complessi, in un framework computazionale che è quello dell’HPC. In questa cornice, lo SciML sta attualmente potenziando l’efficacia dei classici solutori numerici in termini di accuratezza e efficienza, mettendo a disposizione innovative metodologie computazionali capaci di migliorare sia il potere predittivo dei modelli che l’interpretabilità dei risultati.
Comunità accademiche e di scienziati condividono esperienze, competenze ed infrastrutture per lo sviluppo di queste tematiche di fondamentale interesse nell’ambito dell’Industria 4.0. È questo, ad esempio, il caso del HPC4AI infrastruttura del Politecnico di Torino che offre servizi per Simulazioni ed elaborazioni tramite l’ausilio di Gpu e Cpu e Training di algoritmi per l’AI e il Deep learning, Applicazioni di predictive maintenance, anomaly detection, time-series prediction.
Physics-Informed Neural Networks
Le metodologie di AI sono utilizzate in maniera pervasiva per la risoluzione di problemi descritti da complessi modelli matematici. La disponibilità di dati aperti ha permesso all’AI di sviluppare nuovi paradigmi computazionali di SciML per risolvere problemi modellati da equazioni differenziali alle derivate parziali (PDE) in applicazioni scientifiche e di carattere ingegneristico.
Aspetti di natura architetturale e di apprendimento profondo (Deep learning) stanno avendo un forte impatto sulle metodologie computazionali per la risoluzione di PDE, fornendo approcci alternativi e ad alta efficienza rispetto alle classiche griglie strutturate e/o ai classici schemi di Galerkin. In tale framework, le Physics-informed Neural networks (PINNs) rappresentano una recente novità metodologica in cui il calcolo di una soluzione di una PDE avviene attraverso il Deep learning e viene guidato da leggi fisiche, condizioni al contorno e/o dati sperimentali.
Le PINNs integrano le informazioni provenienti da misure dirette o indirette in applicazioni reali con le equazioni fisiche che ne descrivono una dinamica, attraverso un processo di apprendimento ottenuto minimizzando opportune funzioni di costo.
Gli elementi che caratterizzano una PINN sono:
- Reti neurali per approssimare la soluzione di un fissato problema,
- Le leggi fisiche che ne descrivono la dinamica,
- Una funzione di costo che è alla base del processo di apprendimento.
Figura 4. Schema computazionale di una PINN. Credits [5]
Le Reti neurali (Neural network, NN) approssimano la soluzione di un problema determinando gli (iper)parametri θ che lo descrivono, mediante l’ottimizzazione di una funzione di costo che dipende da: condizioni al contorno, equazione differenziale e, se presenti, informazioni note a priori sulla soluzione, ciascuna di esse opportunamente pesata:
Per capire il funzionamento di una PINN consideriamo un modello matematico per la distribuzione di un isolante termico attorno ad un corpo. Questo modello è noto con il nome di problema a frontiera libera di Bernoulli ed è un problema alle derivate parziali dove una funzione armonica sconosciuta deve soddisfare sia i valori al contorno che le derivate normali al contorno.
Figura 5. Problema frontiera libera di Bernoulli. Credits [5]
Una soluzione a tale problema è ottenuta mediante la sua formulazione variazionale, ovvero mediante la minimizzazione del tasso di dispersione termica. Si cerca quindi un minimo del funzionale mediante l’utilizzo di una Rete neurale.
Figura 6. Soluzione ottenuta con una PINN mediante diverse forme di Ω. Quando Λ cresce, Σ si restringe, lo strato isolante è più sottile vicino agli angoli convessi e più spesso vicino agli angoli intrusi (regione di non convessità). Queste ultime sono infatti le regioni di massima perdita di calore per unità di superficie e quindi le Reti Neurali risolvono il problema aggiungendo più isolante in queste zone. Credits [5]
PINNs, applicazioni industriali
Le PINNs stanno rivoluzionando non solo il mondo accademico ma anche quello industriale, come riportato in una recente collezione di articoli scientifici su questa tematica [3]. Una applicazione interessante è presentata nell’articolo [7] che tratta la modellazione di dati generati dell’elettroencefalogramma (EEG), spesso utilizzati nello sviluppo di una interfaccia neurale, nota anche con il termine Brain-computer interface. Gli autori propongono una PINN basata su una rete convoluzionale temporale per la classificazione delle immagini motorie basata sull’EEG. Altro esempio è fornito da [6] dove gli autori sviluppano un modello basato su impronte digitali per il rilevamento delle intrusioni in ambito Industriale nello scenario dell’Internet delle cose (Industrial Internet of Things, IioT).
L’intelligenza artificiale in aiuto alla Sanità regionale: il progetto AIEHEM
PINNs, librerie software in ambito HPC
Diversi pacchetti software, tra cui DeepXDE, NVIDIA Modulus (in precedenza SimNet) [61], PyDEns e NeuroDiffEq sono stati rilasciati a partire dal 2019 per rendere l’uso PINN più facile e veloce. Nella seguente figura vengono riportati i principali pacchetti utilizzati da ingegneri, scienziati ed industrie per la risoluzione di problemi attraverso questa metodologia.
Figura 7. Principali librerie di software per le PINNs in ambienti HPC. Credits [4]
Tutte le librerie utilizzano NN feed-forward e il meccanismo di differenziazione automatica per calcolare le derivate analitiche necessarie per determinare la funzione di perdita. Il modo in cui i pacchetti gestiscono le condizioni al contorno fa una differenza significativa tra i pacchetti.
Prospettive future e problemi aperti
L’AI rappresenta un nuovo paradigma per affrontare difficile e complesse sfide della nostra società. Per quanto riguarda il loro effettivo utilizzo, fino a pochi anni fa tali metodologie venivano viste come delle magiche “scatole nere” adottate per fornire soluzioni per cui però non esistevano solidi formalismi matematici e principi rigorosamente spiegabili.
Nonostante queste considerazioni scettiche iniziali, i ricercatori hanno fatto negli ultimi anni un grande sforzo per inquadrare questo nuovo paradigma di indagine in una cornice che consente di potenziare in termini di accuratezza ed efficienza gli approcci del classico Calcolo scientifico con l’AI.
Le sfide che ci si propone nello SciML consistono nell’affrontare questioni cruciali e affascinanti ancora aperte. Tra queste, ad esempio, come integrare metodologie note della matematica computazionale, con modelli di apprendimento automatico; in quale modo metodologie di Machine e Deep learning hanno contribuito all’avanzamento della conoscenza nell’ambito della ricerca nell’analisi numerica; in che modo ML e DL influenzano la scelta di adottare complessi modelli matematici complessi e/o approcci data-driven per la risoluzione dei problemi.
Stiamo assistendo ad un nuovo modo di modellare e risolvere problemi complessi. Così come il motore a scoppio sta per essere sostituito con un motore elettrico meno complicato e più efficiente così l’AI sta fornendo un nuovo “motore” al Calcolo scientifico e più in generale alle Scienze matematiche.
Ringraziamenti
Si ringraziano i colleghi Prof. Carlo Nitsch e Prof.ssa Cristina Trombetti, i collaboratori ed amici del gruppo di ricerca M.O.D.A.L. (Mathematical MOdelling and Data AnaLisys research group) del Dipartimento di Matematica e Applicazioni “Renato Caccioppoli” – Università degli Studi di Napoli Federico II per le stimolanti discussioni sull’argomento trattato.
Bibliografia
[1] Raissi, M., Perdikaris, P., & Karniadakis, G. E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, 686-707
[2] Karniadakis, G. E., Kevrekidis, I. G., Lu, L., Perdikaris, P., Wang, S., & Yang, L. (2021). Physics-informed machine learning. Nature Reviews Physics, 3(6), 422-440
[3] Piccialli, F., Giampaolo, F., Camacho, D., & Mei, G. (2022). Scientific and Physics-Informed Machine Learning for Industrial Applications. IEEE Transactions on Industrial Informatics, DOI: 10.1109/TII.2022.3215432
[4] Cuomo, S., Di Cola, V. S., Giampaolo, F., Rozza, G., Raissi, M., & Piccialli, F. (2022). Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What’s next. Journal of Scientific Computing, Vol. 92
[5] Cuomo, S., Giampaolo, F., Izzo, S., Nitsch, C., Piccialli, F., & Trombetti, C. (2022). A physics-informed learning approach to Bernoulli-type free boundary problems. Computers & Mathematics with Applications, 128, 34-43
[6] Tingting Wang, Kai Fang, Wei Wei, Jinyu Tian, Yuanyuan Pan, Jianqing Li, Microcontroller Unit Chip Temperature Fingerprint Informed Machine Learning for IIoT Intrusion Detection, IEEE Transactions on Industrial Informatics, 2022
[7] Hamdi Altaheri, Ghulam Muhammad, and Mansour Alsulaiman, Physics-inform attention temporal convolutional network for EEG-based motor imagery classification, IEEE Transactions on Industrial Informatics, 2022
