La social engineering rappresenta la migliore strategia di attacco a disposizione del cybercrime. La quasi totalità degli attacchi informatici andati a segno ha infatti in origine un problema legato all’errore umano e l’avvento dell’IA generativa ha reso il quadro ancora più complesso, aprendo la strada a nuove tecniche di attacco e nuovi sistemi di difesa.
Quel che sembra ormai assodato è che occorre introdurre una nuova dimensione della sicurezza informatica, che a differenza di quella classica, che si occupa dei sistemi tecnologici, si concentri sull’elemento umano.
E per farlo occorre riformulare una serie di attività perché l’ipotesi alla base è radicalmente differente: il soggetto dei sistemi di difesa sono le persone e non le macchine. Le persone non sono tutte uguali, non sono sistemi informatici, il loro comportamento cambia nel tempo e le scienze coinvolte sono quelle umanistiche e non quelle informatiche o elettroniche. La fonte del rischio cyber non è un sistema informatico, ma una persona o un gruppo di persone in carne ed ossa. Occorre ripensare quindi la sicurezza partendo dall’elemento umano. Questa riflessione passa per 7 temi, secondo la vision del Cefriel.
Indice degli argomenti
Utilizzi della AI per la mitigazione delle minacce legate all’uomo
Dopo aver affrontato i primi cinque argomenti (primo, secondo, terzo, quarto e quinto) è ora il momento di guardare agli utilizzi della AI per la mitigazione delle minacce legate all’uomo.
Le principali applicazioni delle AI nel caso della social engineering sono due, una per l’attacco e l’altra per la difesa:
- Automatizzare gli attacchi SE contro gli esseri umani e migliorare la portata degli attacchi, allo scopo di migliorare le tecniche di Red Teaming.
- Difendere, assistere e supportare la resilienza degli esseri umani tramite sistemi di AI
Il tema della AI si applica comunque trasversalmente, a tutti gli argomenti precedentemente trattati: il training inteso come strumento di riduzione del rischio cyber gode dei benefici della AI, ad esempio, per la People Analytics, il threat intelligence dell’elemento umano viene migliorato dall’uso di sistemi AI per l’analisi delle informazioni recuperate tramite OSINT etc.
Automatizzare gli attacchi SE contro gli esseri umani e migliorare la portata degli attacchi
Sfortunatamente, a differenza dei sistemi informatici, gli umani sono mutevoli nel tempo, si adattano male a seguire regole comportamentali precise e spesso commettono inconsapevoli errori. Approcciare questo specifico ambito della sicurezza come l’n-esimo sistema di cui doversi occupare con policy, restrizioni o programmi formativi, come se fossero delle patch di sistema, è profondamente errato, oltre che insufficiente alla prova dei fatti.
L’inganno è un’abilità complessa che fa parte delle interazioni sociali umane e può essere ottenuta con diversi canali di comunicazione. Secondo Mahon (2016) l’atto di mentire può essere definito come l’atto di nascondere la verità usando una falsa affermazione con l’intenzione di farla credere a qualcun altro.
La mutevolezza degli umani, la loro unicità ma allo stesso tempo la presenza di comportamenti comuni[1], spesso invariati per geografia e cultura[2], e la grandissima disponibilità di dati machine-readable tramite OSINT, rende la social engineering un ambito ideale per l’uso di tecniche di intelligenza artificiale, sia per la difesa che per l’attacco. Se per la difesa i limiti sono soprattutto di tipo etico e giuslavorista (ad esempio si consideri il problema della fairness delle AI, anche in merito al fatto che accedono ad informazioni regolamentate dalla GDPR) per l’attacco non ci sono limiti di sorta. Quindi al momento il settore che è più sviluppato è proprio quello dell’uso delle AI per compiere attacchi di social engineering automatizzata.
L’arrivo delle AI generative ha comportato una rivoluzione radicale. In precedenza, gli attacchi di social engineering scarsamente contestualizzati erano preparati tramite sistemi di AI, ma il loro utilizzo era limitato ad un grado di contestualizzazione relativamente basso, per via delle capacità dei modelli precedenti a chatGPT. Gli attacchi di social engineering creati con AI pre-chatGPT erano limitatamente efficaci. Vale la pena citare ad esempio SNAP_R una rete neurale sviluppata nel 2016, per twittare post di phishing rivolti a utenti specifici. In quel caso la rete era addestrata dinamicamente con argomenti estratti dai post della timeline sia del target che degli utenti che lo ritwittano o seguono. In quel caso il successo (misurato come numero di interazioni con i link postati) era buono, fra il 30% e il 66%, merito anche la concisione dei tweet.
Dal 2016 la situazione è cambiata. DarkTrace riporta per il 2023 un aumento del 135% degli attacchi di ingegneria sociale che utilizzano l’intelligenza artificiale generativa. Queste e-mail sono fatte così bene che l’82% degli intervistati ha riferito di essere preoccupato che gli hacker possano utilizzare l’intelligenza artificiale generativa per creare e-mail truffa indistinguibili dalla comunicazione genuina. Questa nuova forma di social engineering utilizza tecniche linguistiche generative che elevano la qualità del testo generato. I parametri che possono essere usati per generare i testi sono relativamente intangibili come la chiarezza del testo, la concisione, il tono, la confidenzialità etc.
Il risultato è confermato sperimentalmente anche dal sottoscritto: in un test due simulazioni di spear phishing, una creata “manualmente” con tecniche consolidate, ed una generata da un sistema GPT addestrato localmente, hanno ottenuto efficace analoghe.
Per meglio spiegarmi, in riferimento alla figura sotto, posiziono le varie forme di phishing su un piano composto dalla variabile Volumi (i.e. volume della campagna di phishing, cioè il numero di mail inviate) in ascisse e Coerenza semantica di un messaggio in ordinata (intendendo per messaggio un qualsiasi messaggio, senza distinguere il canale di comunicazione usato sia esso e-mail testo, social media, piattaforma di IM oppure voce).
Questo piano cartesiano può essere diviso in due zone: quella degli attacchi di social engineering di massa in basso a destra (che coinvolgono un largo numero di vittime) e quelli degli attacchi ad-hoc, in alto a sinistra, che coinvolgono un numero minore di vittime (fino ad arrivare al limite di attacchi ad-hoc con una mail spedita ad una sola vittima).
In questo caso lo SPAM classico si posiziona in basso a destra ed è caratterizzato da un invio massivo di e-mail a numerose vittime. Questo metodo di attacco comporta quello che possiamo chiamare malware 1.0 (caratterizzato dalla necessità di scalare i diritti della macchina, infezioni system wide ed attacchi automatizzati). Le contromisure in questo caso sono quelle indicate in figura (caccia ai bug, contrasto alle infezioni di massa, CVE etc.).
In alto a sinistra invece troviamo la “zona” del phishing e delle sue specializzazioni (spear, context aware, whaling etc). In questo caso le tecniche di attacco sono il cosiddetto malware 2.0[3], le infezioni in userland (poiché ho già colpito la vittima che gestisce l’asset di mio interesse non ho bisogno di scalare i diritti di sistema), piccoli volumi di mailing (fino ad arrivare a campagne 1:1) e minima distanza semantica fra le mail reali e quelle fasulle.
Fino al 2022 svolgere campagne di attacco altamente specializzate (i.e., volumi piccoli, alta contestualizzazione) richiedeva l’intervento manuale dell’attaccante. Dal 2022 questa tendenza è cambiata e tramite la AI si è riusciti a creare campagne con elevata contestualizzazione e grossi volumi (cioè, campagne di phishing vaste con livelli di contestualizzazione elevati). Un approccio simile a quello delle principali piattaforme di social che usano una strategia di glocalizazion (i.e. termine che deriva dalla crasi di global e local, cioè algoritmo globale e contestualizzazione locale). I risultati, in termini di efficacia degli attacchi, sono notevolmente superiori!
Difendere, assistere e supportare la resilienza degli esseri umani tramite sistemi di AI
Come detto precedentemente, in questo caso i principali limiti consistono nel creare sistemi AI che siano di assistenza per gli umani, ma anche eticamente e giuridicamente validi. Per prevenire attacchi di social engineering molto contestualizzati, che non si fanno scrupoli ad accedere alle informazioni personali, occorre adottare un simile livello di invasività. Ad esempio, l’attaccante può accedere alle informazioni condivise sui social network dalle vittime, mentre una ditta giuridicamente non può.
In questo caso ci sono tre principali aree di applicazione:
- Automazione degli attacchi di social engineering allo scopo di difesa
- Anti-Deception Detection Systems
- Reti di sensori umani
Automazione degli attacchi di social engineering
Con *shing si intende un termine che racchiude le varie forme di Phishing, Vishing, SMSshing, Angler Phishing, Whaling etc. Tutte le forme di *shing possono essere automatizzate tramite AI, sia a scopo di attacco che di difesa.
Nel caso del phishing, le versioni evolute sono composte da forme altamente sofisticate di grafica, testo, contesto e semantica ingannevoli (i.e., deceptive). La combinazione di sistemi verticali di intelligenza artificiale (e.g., sistemi generativi di img2txt, txt2txt, font, loghi e semantica) permette di comporre questo tipo di attacchi in modo semi-automatico. Una strada che il Cefriel ha iniziato ad esplorare e che ha recentemente portato ad una pubblicazione scientifica (Towards The Automation Of Highly Targeted Phishing Attacks With Adversarial Artificial Intelligence, DeepSec 2022)[4]. Lo scopo in questo caso era l’uso dei sistemi di AI per creare velocemente campagna di phishing simulate ad uso dei Red Team. L’avvento di chatGPT ha reso il problema evidente per tutti (es. qui e qui).
Nel caso di attacchi di Vishing, sono già comuni i primi sistemi che emulano una voce fidata. Esistono app (es. Resemble) per cambiare la voce in realtime durante le videochiamate (qui una demo ed il link al prototipo). Altro servizio interessante, Fakeyou che tramite un modello GAN proprietario (HiFi-GAN) genera voci a partire da pochi minuti di registrato. È disponibile anche l’opzione lip-sync per i video. Recentemente anche iOS 17 ha annunciato funzionalità di sintesi della propria voce (nonostante l’uso dichiarato sia in questo caso estraneo alla cybersecurity, è un segno della maturità delle tecnologie sottostanti).
Nel caso dell’Angler Phishing (la pratica di mascherarsi da account del servizio clienti sui social media, sperando di raggiungere un consumatore scontento), sistemi come SNAP_R funzionano ancora molto bene.
Anti-Deception Detection Systems
Un’alternativa per assistere gli umani, da affiancare ad una costante formazione è quella di “affiancargli” soluzioni che li assistano per evitare errori. Questi sistemi prendono il nome di Automated Deception-Detection Systems (ADDS)[5].
La tecnologia ha fatto notevoli progressi in molti campi della vita umana, compreso il rilevamento dei raggiri. I sistemi automatici di rilevamento dei raggiri (Deception Detection Systems, DDS) sono ampiamente utilizzati in diversi campi, soprattutto per scopi di sicurezza.
Il sistema DDS è composto da più fasi, ognuna delle quali deve essere costruita/addestrata per funzionare in modo intelligente, in modo che l’intero sistema possa decidere se la persona coinvolta sta dicendo la verità o meno. Per questo motivo, negli ultimi anni i ricercatori hanno utilizzato diversi algoritmi di intelligenza artificiale (AI). Inoltre, sono stati presi in considerazione diversi spunti per il DDS, sia verbali che non verbali.
Esistono diverse tecniche per rilevare i tentativi di inganno, tra cui l’analisi della voce, l’analisi delle espressioni facciali, il movimento del corpo, lo sguardo degli occhi e la dilatazione della pupilla. Tuttavia, le caratteristiche non verbali sono più utilizzate delle caratteristiche verbali per la loro semplicità e per la loro capacità di fornire un’alta precisione di rilevamento. Diversi studi hanno utilizzato queste tecniche, con livelli di rilevamento compresi tra il 58,25% e il 91,66%. Esistono anche alcuni prodotti sul mercato in grado di analizzare i tentativi di vishing e instant messaging[6]. Recentemente si sta cercando di estendere l’uso dei DDS alle mail di phishing. Queste ultime rappresentano un problema a sé stante perché non sono interattive: tutto quello di cui il sistema dispone è il contenuto della e-mail. Questi sistemi, inoltre, rappresentano un problema in termini di privacy, specialmente se i sistemi AI sono as-a-service, poiché comportano la condivisione di informazioni potenzialmente sensibili. L’evoluzione dei modelli stile chatGPT on premise potrebbe essere l’elemento di svolta[7].
Reti di sensori umani
Recentemente il Cefriel ha messo a punto un sistema di reti di sensori umani per l’analisi del phishing. Il concept è descritto in un recente articolo, ma in sintesi questo approccio vede gli esseri umani come sensori. Gli esseri umani sono di fatto veri e propri “sensori” che giudicano, spesso inconsciamente, il livello di minaccia rappresentato da ogni e-mail che ricevono e possono quindi, teoricamente, segnalare quelle che a loro giudizio sono ingannevoli. Come avviene per le funzionalità di “report junk email”, ma con una logica differente. Questo paradigma, che prende il nome di Human-as-a-Security-Sensor (HaaSS), sfrutta la capacità umana di individuare elementi ingannevoli, specialmente di tipo semantico. Il risultato migliora la protezione dei sistemi di difesa della comunità, bloccando gli attacchi elusivi mentre si verificano. La differenza è che una rete di sensori umani adotta i principi della Citizen Science per garantire una migliore qualità delle segnalazioni.
Il modello HSN è particolarmente vantaggioso per gli attacchi avanzati di Social Engineering che non sono normalmente individuati dai sistemi tradizionali. Numerosi articoli[8] riportano un’efficacia superiore rispetto alle tradizionali piattaforme di difesa contro gli attacchi di phishing e social engineering. In particolare, i partecipanti che agiscono come sensori HaaSS in media identificano la maggior parte degli attacchi di social engineering, mentre le piattaforme di difesa tecnica hanno percentuali di successo inferiori. Inoltre, l’utilizzo di HaaSS permette di prioritizzare i report degli utenti più affidabili, riducendo il tempo di esposizione agli attacchi di social engineering e migliorando la mitigazione delle minacce.
Le AI in questo caso possono aiutare per incrementare l’efficacia dei sensori ed in generale la qualità della rete di cui fanno parte. Si rimanda per ulteriori dettagli al seguente articolo su Medium.
Conclusioni
Le applicazioni dei sistemi di AI sono innumerevoli anche quando al centro del cybercrime e della cybersecurity ci sono gli umani. L’unicità di ognuno di noi, la nostra variabilità e la generale difficoltà per le macchine di capirci rappresentano una sfida per la cybersecurity moderna. I sistemi di AI, sviluppati con i cosiddetti Large Language Models sono un punto di svolta che apre la strada a nuove tecniche di attacco e nuovi sistemi di difesa. Dal punto di vista del cybercrime si parla sempre più frequentemente di Semantic Social Engineering altamente targettizzato e su larga scala come la prossima grande evoluzione della Social Engineering. Il Social Engineering oggi si serve di automazioni che riducono i costi di esecuzione e, se ben realizzati, possono anche aumentare la probabilità di successo dell’attacco. Ad esempio, l’emulazione della voce umana (fake voice) è un ambito di Artificial Intelligence in rapida evoluzione che mostra continui progressi in termini di fedeltà.
Nonostante questo, le applicazioni delle AI per la difesa sono numerose e promettenti. In generale l’approccio è quello di affiancare alle persone sistemi in grado di fornire una second opinion che possa aiutarli a decidere se compiere o meno una azione.
Il Cefriel da qualche anno sta portando avanti numerose ricerche nel settore (es. i progetti CyberRoad, DOGANA, HERMENEUT, CYRUS) per rispondere alle domande che le ditte si pongono su come possano affrontare questa situazione.
Note
- H. Glaspie and W. Karwowski, “Human Factors in Information Security Culture: A Literature Review,” ResearchGate, Jul. 2018, http://dx.doi.org/10.1007/978-3-319-60585-2_25. ↑
- Si veda ad esempio Steinmetz, K. F., & Holt, T. J. (2023). Falling for Social Engineering: A Qualitative Analysis of Social Engineering Policy Recommendations. Social Science Computer Review, 41(2), 592–607. https://doi.org/10.1177/08944393221117501 ↑
- Si veda la pubblicazione Frumento, E. et al. (2016). The role of Social Engineering in evolution of attacks. 10.6084/m9.figshare.12369248.v1, Figure 7 ↑
- Si veda, E. Frumento and F. Morano, “Towards the automation of highly targeted phishing attacks with Adversarial Artificial Intelligence,” DeepSec In-Depth Security Conference, Nov. 2022, doi: 10.13140/RG.2.2.28717.26085. ↑
- Si veda ad esempio https://ijs.uobaghdad.edu.iq/index.php/eijs/article/view/3018 ↑
- Ad esempio, si veda Armstrong, M. E., Jones, K. S., & Namin, A. S. (2021). How Perceptions of Caller Honesty Vary During Vishing Attacks That Include Highly Sensitive or Seemingly Innocuous Requests. Human Factors. https://doi.org/10.1177_00187208211012818 ↑
- Ad esempio, si veda Aroyo, A. M., Tonelli, A., Pasquali, D., Sciutti, A., Gori, M., Sandini, G., & Rea, F. (2019). Can a Robot Catch You Lying? A Machine Learning System to Detect Lies During Interactions. Frontiers in Robotics and AI, 6, 456136. https://doi.org/10.3389/frobt.2019.00064 ↑
- Ad esempio, si veda R. Heartfield, G. Loukas and D. Gan, “An eye for deception: A case study in utilizing the human-as-a-security-sensor paradigm to detect zero-day semantic social engineering attacks,” 2017 IEEE 15th International Conference on Software Engineering Research, Management and Applications (SERA), London, UK, 2017, pp. 371-378, doi: 10.1109/SERA.2017.7965754. ↑
