AI autonoma: il ruolo degli agenti intelligenti e dei sistemi multi-agente

Cosa sono gli Agenti, e in particolare gli Agenti Intelligenti, di cui si sente molto parlare? Gli agenti sono moduli software con una particolare caratteristica: sono autonomi, ossia, una volta attivati, a meno che non vengano fermati, continuano a funzionare portando avanti le loro attività.

Agenti intelligenti: cosa sono, cosa possono fare

Come il nome suggerisce, sono capaci di agire sul loro ambiente, mediante opportuni “attuatori”, e dunque devono innanzitutto essere in grado di percepire l’ambiente stesso, mediante “sensori”. Gli agenti possono essere intelligenti se basati su tecniche di Intelligenza Artificiale (“Artificial Intelligence”, o AI, e dunque “Agenti AI”) e opportunamente programmati. Gli agenti sono “situati” in un ambiente, che può essere puramente software oppure fisico. Gli agenti possono costituire la mente pensante dei robot, ossia disporre di un corpo fisico.

Le capacità principali di un agente sono:

• Reattività, ossia la capacità di reagire opportunamente ad eventi esterni (cioè provenienti dall’ambiente in cui l’agente è situato) mettendo in atto una o più azioni.
• Proattività, ossia la capacità di intraprendere attività ed effettuare azioni per perseguire i propri obiettivi.

Infatti, gli agenti possono essere programmati per avere intenzioni, perseguire obiettivi ed eseguire compiti. Per perseguire i propri obiettivi, gli agenti devono essere capaci di costruire un piano (quindi devono avere capacità di pianificazione) ed eseguirlo, e, nel caso, riadattarlo se qualcosa va storto.

La capacità di pianificare è indubbiamente una componente fondamentale dell’intelligenza, e presuppone la capacità di costruire un modello interno del mondo esterno (o almeno del frammento di mondo a cui si è al momento interessati) e delle azioni su di esso possibili da parte dell’agente, date le sue capacità e le risorse disponibili. Sulla base di questa descrizione, un processo di pianificazione identifica, per un dato obiettivo, una o più sequenze di azioni che possano condurre dallo stato attuale del mondo ad uno stato in cui l’obiettivo sarà stato raggiunto.

Agenti intelligenti e Sistemi Multi-Agente

Gli agenti possono costituire “Sistemi Multi-Agente” (Multi-Agent Systems, o MAS). Gli agenti componenti possono essere cooperativi, ed in tal caso eventualmente possono perseguire intenzioni e obiettivi condivisi. Agenti competitivi possono invece eventualmente negoziare per suddividere fra loro le risorse disponibili. Per far parte di MAS, gli agenti devono possedere “abilità sociali”, ossia devono essere in grado di comunicare. A tale scopo sono stati sviluppati i cosiddetti Agent Communication Languages (ACL) che prevedono vari tipi di messaggi, con la propria sintassi e semantica. Ad esempio, un agente può informare un altro agente in merito a qualcosa, o può avanzare una richiesta, o può accettare una richiesta e inviare una risposta, ecc.

Agenti intelligenti e sistemi multi-agente: i principali vantaggi e casi pratici

L’uso di agenti intelligenti e sistemi multi-agente può offrire, già oggi o in prospettiva, numerosi vantaggi agli utenti umani in diversi contesti. Ecco alcuni dei principali potenziali benefici:

Assistenza personale

Un agente intelligente può assistere l’utente umano nei suoi compiti quotidiani fornendo compagnia, supporto e sicurezza.

• Esempio: Un agente personale può monitorare il “suo” utente durante lo svolgimento di compiti tediosi o rischiosi come guida dell’auto; rilevando (anche mediane opportuni dispositivi indossabili, come ad esempio uno “smatwatch”, condizioni di ansia o stanchezza, può fornire rassicurazione e consigli.Esempio: Un agente personale può monitorare il “suo” utente anziano con problemi di vuoti di memoria o lieve demenza, fornendo compagnia e informazioni, ricordandogli i compiti necessari (come prendere le medicine), e sollecitandolo a svolgere attività utili (come una passeggiata).

• Esempio: Un agente personale può monitorare il “suo” utente malato o disabile monitorando i parametri vitali, e restando in costante contatto con i familiari, i medici e l’ospedale, per fornire informazioni aggiornate e se necessario ottenere supporto o soccorso.

Automazione di compiti complessi e ripetitivi

Gli agenti intelligenti possono gestire attività ripetitive e complesse in modo efficiente, riducendo il carico di lavoro umano.

• Esempio: Un assistente AI può automatizzare l’elaborazione di e-mail, l’organizzazione di riunioni o la gestione della documentazione.

Decisioni più rapide e informate

Gli agenti AI sono in grado di analizzare rapidamente grandi quantità di dati per supportare decisioni più accurate e tempestive.

• Esempio: Nel settore sanitario, un sistema multi-agente può analizzare referti medici e suggerire diagnosi ai medici, migliorando l’efficacia delle cure.

Personalizzazione dell’esperienza utente

Gli agenti AI possono adattarsi alle preferenze individuali, offrendo risposte e servizi su misura.

• Esempio: Un agente AI su un e-commerce può suggerire prodotti in base agli acquisti precedenti e ai comportamenti di navigazione.

Collaborazione e coordinamento tra più sistemi

I sistemi multi-agente migliorano la comunicazione e la sincronizzazione tra diversi processi o dispositivi, favorendo l’efficienza operativa.

• Esempio: In una smart city, diversi agenti AI possono gestire il traffico, ottimizzare i consumi energetici e migliorare la sicurezza urbana.

Maggiore sicurezza e protezione dei dati

Gli agenti AI possono monitorare costantemente le reti informatiche per individuare minacce alla sicurezza e reagire automaticamente a tentativi di attacco.

• Esempio: Un agente di “cybersecurity” può rilevare e bloccare attività sospette in tempo reale, prevenendo frodi o accessi non autorizzati.

Accessibilità e assistenza inclusiva

Gli agenti AI possono migliorare l’accessibilità per persone con disabilità, fornendo supporto vocale, traduzioni automatiche e interfacce intuitive.

• Esempio: Un assistente vocale può aiutare persone con disabilità motorie a controllare dispositivi smart home.

Efficienza nelle interazioni umane e nel servizio clienti

Gli agenti AI basati su LLM possono gestire interazioni avanzate, migliorando il servizio clienti e riducendo i tempi di risposta.

Esempio: Un chatbot AI può risolvere in tempo reale richieste di assistenza tecnica, evitando lunghe attese per gli utenti.

Innovazione e creatività assistita

Gli agenti AI possono supportare il processo creativo, suggerendo idee, generando contenuti o collaborando nella progettazione di soluzioni innovative.

• Esempio: Un AI co-pilot per programmatori può suggerire miglioramenti al codice o generare automaticamente parti di software.

Assistenza in compiti rischiosi

• Esempio: Agenti robotici possono svolgere lavori rischiosi nelle aziende, oppure portare avanti missioni di soccorso o di esplorazione in ambienti ostili o sconosciuti.

Agenti e Sistemi Multi-Agente: un pò di storia

La prospettiva originale sugli agenti nell’Intelligenza Artificiale era focalizzata sul processo di ragionamento degli agenti, identificando quindi l’“intelligenza” con la razionalità e trascurando le interazioni degli agenti con l’ambiente e con altri agenti. Questa visione è stata fortemente criticata, ad esempio in [1,2], che adotta in modo estremo il punto di vista opposto, sostenendo che il comportamento “intelligente” derivi esclusivamente dalla capacità di un agente di reagire in modo appropriato ai cambiamenti del proprio ambiente. Tuttavia, la costruzione di agenti puramente reattivi si è rivelata adatta solo ad applicazioni molto semplici, alcune delle quali però di grande successo, come il robot aspirapolvere.

Logica BDI (Belief, Desires, Intention) per la modellazione degli agenti

Il ragionamento che un agente effettua sulle proprie conoscenze iniziali e su quelle acquisite in seguito (tutte chiamate “beliefs”, o “credenze”, perchè nessun agente, noi inclusi, conosce davvero il mondo esterno), ma anche su ciò che un agente intende e sceglie di fare, è alla base dell’approccio fondamentale della logica BDI (Belief, Desires, Intention) per la modellazione degli agenti, proposto in [3].

Questo approccio ha portato alla definizione del linguaggio di programmazione logico orientato agli agenti AgentSpeak [4]. Nel BDI, ogni agente parte dai propri Belief per sviluppare Desires, ossia obbiettivi che l’agente vorrebbe perseguire, ed Intention, ossia obiettivi che l’agente si impegna a perseguire costruendo ed eseguendo piani. Parallelamente, nell’approccio di [5], gli agenti erano considerati teorie (programmi logici), ognuna con il proprio nome, e in grado di comunicare tra loro tramite due primitive di comunicazione (tell/told).

Una visione degli agenti logici capaci di essere sia razionali che reattivi, ovvero non solo in grado di ragionare e comunicare, ma anche di rispondere tempestivamente agli eventi esterni, è stata introdotta per la prima volta in [6,7].

Dopo questi approcci pionieristici, sia la nozione di “agency” sia la sua interpretazione si sono evolute significativamente. Nel tempo, infatti, sono stati definiti numerosi linguaggi e ambienti basati sulla logica computazionale per la specifica di agenti e MAS. Per una panoramica su questi linguaggi e architetture, si può fare riferimento, tra gli altri, a [8,9,10]. Il loro valore aggiunto rispetto agli approcci non basati sulla logica risiede nella possibilità di fornire una semantica chiara, leggibilità e verificabilità, nonché trasparenza e spiegabilità “by design” (o quasi), poiché le regole logiche possono essere facilmente tradotte in spiegazioni in linguaggio naturale.

AgentSpeak

AgentSpeak, introdotto in [11,12], è un linguaggio popolare nella comunità della programmazione logica, in cui il comportamento di un agente è definito attraverso un insieme di piani eseguibili, che vengono selezionati in base all’obiettivo corrente. AgentSpeak è caratterizzato come un linguaggio astratto per agenti, basato sull’architettura BDI. Esso incorpora le credenze, i desideri e le intenzioni di un agente, costituendo la base per lo sviluppo di agenti cognitivi e MAS da essi composti. Jason (disponibile sul sito web https://jason-lang.github.io/) è un interprete per una versione estesa di AgentSpeak.

Il linguaggio DALI

Il linguaggio DALI, documentato in [13, 14, 15, 16, 17, 18, 19, 20, 21] è un linguaggio logico progettato per consentire agli sviluppatori di specificare agenti logici. Offrendo un supporto fluido sia per comportamenti reattivi che proattivi, gestione degli eventi, manipolazione della conoscenza e pianificazione, DALI facilita la creazione di sistemi di agenti sofisticati con una flessibilità e semplicità senza precedenti. Come supporto alla pianificazione, un potente motore inferenziale dedicato (cf. [22, 23]) è stato integrato nell’implementazione di DALI. L’architettura di comunicazione di DALI [14] è stata progettata per facilitare la comunicazione basata su agenti, filtrando i messaggi in entrata e in uscita. DALI è compatibile con Docker, consentendo il deployment degli agenti all’interno di container.

Gli agenti AgentSpeak e DALI sono dotati di memoria (nel caso di DALI suddivisa in memoria a breve e lungo termine), per ricordare eventi ed azioni relativi al passato, e ricordare i piani che hanno avuto successo, e potranno, quindi, essere riutilizzati in situazioni analoghe. La capacità di ragionare sulla propria “storia” è spesso fordamentale per elaborare ragionamenti complessi.

Sia AgentSpeak che DALI sono stati utilizzati in molte applicazioni pratiche e anche industriali.

Dal 2005, è stata proposta una vasta gamma di linguaggi di programmazione e framework orientati agli agenti. Prolog, Java e JADE [24] sono emersi come le scelte più popolari, dominando l’ambiente della programmazione orientata agli agenti, come mostrato in figura. Sviluppato in Java, JADE fornisce una piattaforma robusta per creare, distribuire e gestire applicazioni distribuite basate su agenti.

Agenti basati su LLM

Gli LLM o Large Language Models (come GPT, LLaMa, Claude, Minerva, ecc.), o “modelli linguistici”, sono algoritmi avanzati di apprendimento automatico in grado di svolgere un’ampia gamma di compiti legati all’elaborazione del linguaggio naturale (NLP). Sono capaci di comprendere e generare il linguaggio umano, grazie all’addestramento di grandi reti neurali ottenuto con una grande quantità di dati, che consente di fare una previsione della parola o del simbolo successivo a quello già generato.

Gli agenti basati su LLM sono stati recentemente proposti, e utilizzano modelli linguistici avanzati come GPT per elaborare il linguaggio naturale e prendere decisioni in autonomia. Questi agenti sono progettati per interagire con gli utenti, analizzare dati testuali e generare risposte simili a quelle umane. Possono svolgere attività come il servizio clienti automatizzato, l’analisi di dati, la generazione di codice, la scrittura di contenuti e altro.

Infatti, hanno la capacità di interpretare testi complessi, e produrre risposte coerenti e contestualmente adeguate. In quanto alle capacità di ragionamento, possono simulare processi decisionali basati su dati. Gli attuali modelli linguistici sono capaci di adattamento e miglioramento nel tempo in base alle reazioni degli utenti.

Nonostante le loro capacità, gli agenti basati su LLM presentano problemi significativi, tra cui: distorsioni (“bias”) nei dati di addestramento, elevati costi computazionali, mancanza di interpretabilità e affidabilità, dubbi sulla privatezza dei dati. Linee di ricerca in corso mirano a migliorare l’efficienza, l’allineamento etico e l’applicabilità pratica di questi agenti.

Per quanto riguarda la pianificazione, gli LLM manifestano un certo grado di pianificazione implicita grazie alla loro capacità di prevedere sequenze coerenti. Tuttavia, mancano di modelli del mondo espliciti e mantenuti internamente, necessari per una pianificazione autonoma e robusta. Inoltre, manca la memoria a lungo termine, poiché la maggior parte degli LLM non conserva le interazioni passate, limitando così la capacità di pianificazione strategica su periodi prolungati.

Secondo talune recenti proposte in letteratura, secondo le quali gli LLM rappresenterebbero una base adatta per gli agenti, in grado di supportare tre componenti principali: ragionamento, percezione e azione.

Tuttavia, l’assenza di una memoria a lungo termine e la mancanza di pianificazione esplicita negli LLM costituiscono dei limiti fondamentali per il loro utilizzo come agenti autonomi, rendendo necessaria l’integrazione con altri sistemi per ottenere capacità decisionali più sofisticate. Ad esempio, per migliorare le capacità di pianificazione, gli LLM possono essere integrati con sistemi esterni, inclusi sistemi basati su regole o ragionamento simbolico.

Relativamente alla comunicazione nei MAS, gli agenti basati su LLM possono interagire tra loro in modo più naturale, ma manca completamente la semantica della comunicazione.

Prospettive future degli agenti intelligenti

Un recente focus nell’Intelligenza Artificiale è la costruzione di sistemi intelligenti in cui esseri umani ed Agenti autonomi formino ‘team’. L’obiettivo è quello di sfruttare le possibili relazioni sinergiche tra esseri umani e automazione, creando così sistemi ibridi in cui i partner cooperino per svolgere compiti complessi, eventualmente caratterizzati da un alto grado di rischio.

L’interazione tra uomo e automazione

Un esempio semplice è rappresentato da un veicolo a guida autonoma o assistita supportato dall’AI. In questo caso, la componente AI (un agente intelligente) è in grado di valutare e gestire i rischi, mentre il conducente umano può fornire all’agente informazioni preziose sulla guida in condizioni reali e, all’occorrenza, prendere il controllo per gestire eventuali situazioni critiche. L’interazione tra uomo e automazione è, infatti, uno dei temi principali dell’IA centrata sull’uomo (Human-centered AI). Questa tematica rientra anche nell’ambito della AI affidabile (Trustworthy AI), i cui requisiti includono:

• rispetto dell’autonomia umana,
• prevenzione dei danni,
• equità e spiegabilità,
• utilizzo responsabile dell’AI, il cui scopo è quello di impiegarla in modo sicuro, etico e affidabile,
• collaborazione tra esseri umani e agenti.

Come gli esseri umani possono migliorare l’efficacia e le capacità dell’automazione

Quando gli esseri umani e gli agenti AI collaborano in un team (Human-AI Teaming, HAIT), possono, infatti, ottenere risultati superiori a quelli che ciascuno potrebbe raggiungere singolarmente, in quanto sono in grado di controllarsi e migliorarsi a vicenda.

Ad esempio, un conducente umano potrebbe addestrarsi a gestire situazioni mai affrontate prima attraverso l’automazione cooperativa, lavorando in sinergia con il sistema basato su IA installato sul veicolo. Allo stesso tempo, l’agente può assistere il conducente nelle situazioni difficili e nei momenti di rischio immediato.

In questa relazione sinergica, gli esseri umani possono migliorare l’efficacia e le capacità dell’automazione, mentre l’automazione può potenziare le prestazioni umane e compensare eventuali limiti, correggendo errori di comportamento che potrebbero derivare da stanchezza, stress o altre condizioni fisiche o emotive. Inoltre, gli agenti possono fornire suggerimenti utili per ottimizzare la sicurezza e l’efficacia delle decisioni umane.

La modellazione della Teoria della Mente

Per adottare agenti in compiti cruciali, come ad esempio: il miglioramento dell’assistenza medica, l’innovazione nell’insegnamento, la costruzione di team efficaci tra esseri umani e AI, gli agenti dovrebbero essere dotati di moduli avanzati di riconoscimento e gestione delle emozioni, capaci di empatia e di simulare alcuni aspetti della Teoria della Mente (Theory of Mind, ToM).

Questo vuol dire che gli agenti dovrebbero essere in grado di ricostruire ciò che una persona sta pensando o provando, in modo da adattare il proprio comportamento di conseguenza. La modellazione della Teoria della Mente si basa spesso su tecniche di “Affective Computing”, ossia un insieme di metodi volti a rilevare lo stato emotivo umano attraverso segnali fisici (come espressioni facciali, tono della voce o battito cardiaco) per permettere all’agente di rispondere in modo intelligente al feedback emotivo umano.

Inoltre, gli agenti dovrebbero adattarsi ai loro utenti umani, anche in termini delle loro preferenze etiche [25].

Agenti intelligenti: bilanciare automazione e controllo umano

L’adozione di agenti intelligenti e sistemi multi-agente può portare efficienza, sicurezza, personalizzazione e innovazione in diversi ambiti. Tuttavia, è fondamentale bilanciare automazione e controllo umano per garantire un utilizzo responsabile e sicuro di queste tecnologie.

Vantaggi e rischi dell’AI autonoma

Infatti, man mano che gli agenti AI diventano più autonomi, ai vantaggi si accoppiano purtroppo in rischi. Innanzitutto, è fondamentale monitorare il processo decisionale degli agenti per prevenire conseguenze indesiderate. Infatti, come discusso in [26] e nel recente libro di Stuart Russel “Human Compatible: Artificial Intelligence and the Problem of Control” (Viking ed., 2019, ISBN 978-0-525-55861-3), lo sviluppo, il perfezionamento, l’implementazione e l’integrazione di metodi per la realizzazione e la certificazione di Agenti Intelligenti, in modo da garantire un comportamento trasparente, spiegabile, affidabile ed etico, sono fortemente necessari. Questo perché i sistemi basati su agenti vengono o verranno ampiamente adottati in numerose applicazioni autonome di grande rilevanza, dalle quali possono dipendere la vita e il benessere degli esseri viventi, nonché funzioni sociali essenziali.

Affidabilità e trasparenza degli agenti intelligenti

Di conseguenza, gli agenti dovrebbero essere affidabili, nel senso che si possa contare su di loro affinché svolgano ciò che ci si aspetta, evitando al contempo comportamenti indesiderati. In particolare, non dovrebbero agire in modi impropri, proibiti o non etici, in relazione al contesto attuale, né dovrebbero elaborare nuovi comportamenti in contrasto con le loro specifiche o, più in generale, con le aspettative dell’utente. Ciò può rivelarsi possibile perchè gli agenti, interagendo con l’ambiente, potrebbero elaborare nuovi obiettivi (o nuovi piani per obiettivi esistenti)non necessariamente in linea con le intenzioni ed i valori etici dei loro progettisti.

Gli agenti dovrebbero essere trasparenti, ossia capaci di spiegare le proprie azioni e scelte quando richiesto: infatti, dovrebbe sempre essere possibile comprendere come e perché un agente (o, più in generale, un sistema autonomo) abbia preso una determinata decisione. Tuttavia, queste proprietà non sono garantite in modo semplice, ma potranno derivare da appropriate metodologie di progettazione. Il comportamento degli agenti dovrà essere verificato in modo rigoroso, possibilmente integrando diversi metodi di verifica, con l’obiettivo di garantire che il funzionamento degli agenti sia conforme alle loro specifiche. Tale verifica dovrebbe avvenire, almeno in parte, in tempo reale, in modo da monitorare i comportamenti dinamici dell’agente.

Rischi di sicurezza degli agenti intelligenti e possibili contromisure

Anche nel caso di agenti nel complesso affidabili, come per ogni altro modulo software errori o carenze nella programmazione sono sempre in agguato. Per questo, un’eccessiva autonomia senza supervisione potrebbe portare a violazioni della sicurezza, perdita di dati o danni fisici. Bilanciare l’automazione con l’intervento umano dovrebbe garantire che i compiti critici rimangano sotto controllo, riducendo al minimo il rischio di errori o azioni dannose. Infatti, integrare la supervisione umana nei punti chiave delle decisioni è essenziale. Ad esempio, nel settore sanitario, un agente AI dovrebbe sottoporre le diagnosi alla revisione umana anziché prendere decisioni in modo indipendente, evitando così potenziali errori irreversibili. L’implementazione di controlli di accesso rigorosi potrà garantire che gli agenti operino entro limiti definiti. Questo per ridurre il rischio di azioni non autorizzate o modifiche accidentali ai sistemi. Senza adeguate salvaguardie, gli agenti potrebbero infatti esporre dati personali, violare normative o facilitare attacchi informatici.

Conclusioni

In conclusione, combinando la supervisione umana, i controlli tecnici e rigorosi protocolli di verifica e certificazione che i ricercatori stanno sviluppando, è possibile mitigare i rischi legati all’utilizzo degli agenti, favorendo al contempo un’implementazione responsabile degli agenti stessi, in modo da bilanciare l’automazione con la sicurezza, garantendo che gli agenti AI aumentino la produttività e l’efficienza senza compromettere la sicurezza o gli standard etici. In definitiva, gli attuali sforzi dei ricercatori guideranno l’integrazione sicura ed efficace dei sistemi autonomi nelle applicazioni del mondo reale.

Bibliografia

[1] R. A. Brooks, Intelligence without reason, in: J. Mylopoulos, R. Reiter (Eds.), Proceedings of the 12th International Joint Conference on Artificial Intelligence. Sydney, Australia, August 24-30, 1991, Morgan Kaufmann, 1991, pp. 569–595.

[2] R. A. Brooks, Intelligence without representation, Artif. Intell. 47 (1991) 139–159.

[3] A. S. Rao, M. Georgeff, Modeling rational agents within a BDI-architecture, in: Proc. of the Second Int. Conf. on Principles of Knowledge Representation and Reasoning (KR’91), Morgan Kaufmann, 1991, pp. 473–484.

[4] A. S. Rao, AgentSpeak (L): BDI agents speak out in a logical computable language, in: Agents Breaking Away, 7th European Workshop on Modelling Autonomous Agents in a Multi-Agent World, Eind- hoven, The Netherlands, January 22-25, 1996, Proceedings, Springer, 1996, pp. 42–55. doi:10.1007/ BFb0031845.

[5] S. Costantini, P. Dell’Acqua, G. A. Lanzarone, Reflective agents in metalogic programming, in: A. Pettorossi (Ed.), Meta-Programming in Logic, 3rd International Workshop, META-92, Proceedings, volume 649 of Lecture Notes in Computer Science, Springer, 1992, pp. 135–147. doi:10.1007/3-540-56282-6_9.

[6] R. A. Kowalski, F. Sadri, Towards a unified agent architecture that combines rationality with reactivity, in: D. Pedreschi, C. Zaniolo (Eds.), Logic in Databases, International Workshop LID’96, Pro- ceedings, volume 1154 of Lecture Notes in Computer Science, Springer, 1996, pp. 137–149. doi:10.1007/ BFb0031739.

[7] P. Dell’Acqua, F. Sadri, F. Toni, Combining introspection and communication with rationality and reactivity in agents, in: J. Dix, L. F. del Cerro, U. Fur- bach (Eds.), Logics in Artificial Intelligence, European Workshop, JELIA ’98, Dagstuhl, Germany, Oc- tober 12-15, 1998, Proceedings, volume 1489 of Lecture Notes in Computer Science, Springer, 1998, pp. 17–32. doi:10.1007/3-540-49545-2\_2.

[8] R. H. Bordini, L. Braubach, M. Dastani, A. E. F. Seghrouchni, J. J. Gómez-Sanz, J. Leite, G. M. P. O’Hare, A. Pokahr, A. Ricci, A survey of program- ming languages and platforms for multi-agent systems, Informatica (Slovenia) 30 (2006) 33–44.

[9] A. Garro, M. Mühlhäuser, A. Tundis, M. Baldoni, C. Baroglio, F. Bergenti, P. Torroni, Intelligent agents: Multi-agent systems, in: S. Ranganathan, M. Gribskov, K. Nakai, C. Schönbach (Eds.), En- cyclopedia of Bioinformatics and Computational Biology – Volume 1, Elsevier, 2019, pp. 315–320. doi:10.1016/b978-0-12-809633-8.20328-2.

[10] R. Calegari, G. Ciatto, V. Mascardi, A. Omicini, Logic-based technologies for multi-agent systems: a systematic literature review, Auton. Agents Multi Agent Syst. 35 (2021) 1. doi:10.1007/ s10458-020-09478-3.

[11] A. S. Rao, M. Georgeff, Modeling rational agents within a BDI architecture, in: J. F. Allen, R. Fikes, E. Sandewall (Eds.), Proc. of the 2nd Int. Conf. on Principles of Knowledge Representation and Reasoning (KR’91), Morgan Kaufmann, 1991, pp. 473–484.

[12] R. H. Bordini, J. F. Hübner, Semantics for the ja- son variant of agentspeak (plan failure and some internal actions), in: H. Coelho, R. Studer, M. J. Wooldridge (Eds.), ECAI 2010 – 19th European Conference on Artificial Intelligence, Lisbon, Portugal, August 16-20, 2010, Proceedings, volume 215 of Frontiers in Artificial Intelligence and Applications, IOS Press, 2010, pp. 635–640. doi:10.3233/ 978-1-60750-606-5-635.

[13] S. Costantini, A. Tocchio, A logic programming lan- guage for multi-agent systems, in: Logics in Artificial Intelligence, Proc. of the 8th Europ. Conf., JELIA 2002, LNAI 2424, Springer-Verlag, Berlin, 2002, pp. 1–13.

[14] S. Costantini, A. Tocchio, The DALI logic program- ming agent-oriented language, in: J. J. Alferes, J. A. Leite (Eds.), Logics in Artificial Intelligence, 9th European Conference, JELIA 2004, Lisbon, Portugal, September 27-30, 2004, Proceedings, volume 3229 of Lecture Notes in Computer Science, Springer, 2004, pp. 685–688. doi:10.1007/978-3-540-30227-8_ 57.

[15] S. Costantini, A. Tocchio, A. Verticchio, Communication and trust in the DALI logic programming agent-oriented language, Intelligenza Artificiale 2 (2005) 39–46. Journal of the Italian Association AI*IA.

[16] S. Costantini, A. Tocchio, About declarative semantics of logic-based agent languages, in: M. Bal- doni, U. Endriss, A. Omicini, P. Torroni (Eds.), Declarative Agent Languages and Technologies III, Third International Workshop, DALT 2005, Selected and Revised Papers, volume 3904 of Lecture Notes in Computer Science, Springer, 2005, pp. 106–123. doi:10.1007/11691792\_7.

[17] S. Costantini, P. Dell’Acqua, L. M. Pereira, A multi-layer framework for evolving and learning agents, in: A. R. M. T. Cox (Ed.), Proceedings of Metareasoning: Thinking about thinking workshop at AAAI 2008, Chicago, USA, 2008.

[18] S. Costantini, A. Tocchio, DALI: An architecture for intelligent logical agents, in: Proceedings of the Int. Workshop on Architectures for Intelligent Theory- Based Agents (AITA08), AAAI Spring Symposium Series, 2008.

[19] S. Costantini, Self-checking logical agents, in: M. Osorio, C. Zepeda, I. Olmos, J. L. Carballido,

R. C. M. Ramírez (Eds.), Proceedings of the Eighth Latin American Workshop on Logic, Languages, Algorithms and New Methods of Reasoning LA-NMR 2012, volume 911 of CEUR Workshop Proceedings, CEUR-WS.org, 2012, pp. 3–30. Invited Paper, Extended Abstract in Proceedings of AAMAS 2013, 12th Intl. Conf. on Autonomous Agents and Multi-Agent Systems.

[20] S. Costantini, A. D’Andrea, G. De Gasperis, N. Florio, A. Tocchio, DALI logical agents into play, in: Proceedings of the AI*IA Workshop ”Popularize Artificial Intelligence” (PAI-2012), 2012.

[21] S. Costantini, G. D. Gasperis, Complex reactivity with preferences in rule-based agents, in:

A. Bikakis, A. Giurca (Eds.), Rules on the Web: Re- search and Applications – 6th International Symposium, RuleML 2012, Montpellier, France, August 27- 29, 2012. Proceedings, volume 7438 of Lecture Notes in Computer Science, Springer, 2012, pp. 167–181. doi:10.1007/978-3-642-32689-9\_13.

[22] G. Brewka, T. Eiter, M. T. (eds.), Answer set programming: Special issue, AI Magazine 37 (2016).

[23] A. Dyoub, S. Costantini, G. De Gasperis, Answer set programming and agents, Knowledge Eng. Review 33 (2018) e19. doi:10.1017/S0269888918000164.

[24] F. Bellifemine, A. Poggi, G. Rimassa, Jade–a fipa-compliant agent framework, in: Proceedings of PAAM, volume 99, London, 1999, p. 33.

[25] A. Dyoub, S. Costantini, F. A. Lisi, Learning domain ethical principles from interactions with users, Digit. Soc. 1 (2022). doi:10.1007/ S44206-022-00026-Y.

[26] S. Costantini, Ensuring trustworthy and ethical behaviour in intelligent logical agents, J. Log. Comput. 32 (2022) 443–478. doi:10.1093/LOGCOM/EXAB091.