Intelligenza artificiale e psicologia, un binomio possibile: il punto sulle ricerche

La qualità del servizio offerto dalla psicologia clinica esercita un’influenza diretta sulla salute degli utenti. Pertanto, gli psicologi non possono esimersi dall’essere costantemente al corrente degli sviluppi e delle innovazioni tecnologiche che possono migliorare la qualità del loro lavoro poiché la tecnologia è sempre più parte integrante della quotidianità.

Resistenze e dubbi permettendo, ai fini terapeutici e funzionali, l’integrazione delle nuove tecnologie nel lavoro dello psicologo non possono che aumentare la sua efficienza ed efficacia. Nondimeno, gli stessi psicologi hanno un ruolo essenziale da svolgere nel potenziamento, nella valutazione e nell’uso etico delle tecnologie, come ad esempio lo sviluppo di una intelligenza artificiale (IA).

Se lo psicanalista è un’app: il “caso” Woebot. Pro e contro dell’informatica affettiva

Psicologia e intelligenza artificiale

La psicologia e l’intelligenza artificiale sono strettamente connesse. Proposta per la prima volta nel 1963 da Dan Curtis, la psicologia artificiale studia i processi mentali di una I.A comparandoli a quelli dell’uomo. Affinché un’entità artificiale si possa definire intelligente devono venire soddisfatte tre condizioni: nella prima condizione il sistema artificiale prende tutte le decisioni in maniera autonoma senza alcuna supervisione o intervento umano. Nella seconda condizione, il sistema è in grado di evolvere, o meglio riprogrammarsi da solo, sulla base di nuove informazioni acquisite. In presenza di informazioni incomplete è capace di risolvere i propri conflitti di programmazione. Infine, nella terza condizione, le variabili 1 e 2 vengono soddisfatte dalla macchina in situazioni che esulano dalla sua programmazione originale. (Crowder, J.A, Friess, S. 2010, 2011). Non potendo essere riprogrammata ex novo, l’I.A dovrà superare la situazione irrazionale attraverso un processo di analisi ed elaborazione simile alla psicologia umana.

In che modo quindi l’intelligenza artificiale può aiutare i professionisti della salute mentale? Diversi sono stati i programmi che, nel corso della storia, han cercato di dare un contributo. Alcuni di questi non sono altro che dei sistemi esperti. Tra questi troviamo (Lazzeri. M, 2017):

Mser-Diagno

Mser-Diagno (Morgana, Pancheri, 1974) è un programma scritto in Fortran e destinato a un mainframe. Esso utilizza il Mental Status Examination Record (MSER) per valutare lo stato psichico del paziente e produrre un report narrativo che combina alcune frasi precostruite memorizzate dal computer. È disponibile anche un output in forma sintetica, che riporta i punteggi relativi a 20 scale fattoriali. Il supporto decisionale è invece costituito dal sistema DIAGNO, che, seguendo una procedura decisionale ad albero, forma una indicazione diagnostica secondo 75 categorie nosografiche derivate dal DSM.

Sciroppo

Sciroppo (Brighetti, Contento, 1986) è invece un sistema di supporto alle decisioni relative a un percorso psicoterapeutico. Dialogando con l’utente sui dati anamnestici di un soggetto, “esamina e offre come output le possibili conseguenze dei dati, i possibili obiettivi che un terapeuta può proporsi e una gamma di interventi rapportati al tipo di caso considerato”.

Sexpert

Sexpert (Binik et al., 1988) riguarda un sistema esperto per l’assessment e il trattamento di disturbi di natura sessuale. Esso è concepito come un sistema interattivo di terapia supportato dal computer e deriva le proprie tecniche sia dai sistemi di intelligenza artificiale che da quelli deputati al tutoring intelligente.

Espdq-C

Espdq-C (Zhang Chi et al, 2001) è un programma sviluppato in Visual Basic nato per supportare il lavoro del CCMD-2-R (Chinese Classification Mental Diseases, 2nd revision) sui disturbi della personalità. ESPDQ-C presenta al suo interno la sintesi del PDQ-C, ovvero del Personality Disorder Questionnaire. Le risposte formulate dal sistema presentano un buon grado di affidabilità e validità.

Un primo esempio di sistema esperto a supporto del lavoro del clinico

Nel 2004, uno studio intitolato An expert system supporting diagnosis in clinical psychology (Spiegel., R., Nenh., Y. 2004) introduce un prototipo di sistema esperto pensato per supportare il lavoro del clinico nel diagnosticare i possibili disturbi dei loro clienti. L’interfaccia del sistema, creata in codice html e PHP, è stata pensata per allacciare la connessione con il database. I disturbi elencati all’interno del sistema sono strutturati rispettando gli stessi criteri guida del DSM IV e dell’ICD 10 mentre i sintomi descritti sono raggruppati in differenti categorie.

Non appena lo psicologo clicca sopra una categoria, una lista di sintomi appare sullo schermo del computer. (Lazzeri., M. 2017). Ecco come sarebbero visualizzati sullo schermo tre sintomi appartenenti categoria “stati d’animo”.

Sentirsi depresso o infelice

Φ Si

Φ No

Perdita di interesse o piacere in attività ordinarie

Φ Si

Φ No

Fatica o perdita di energia

Φ Si

Φ No

Figure 1: Sintomi visualizzati sul display del computer

Una volta selezionato i sintomi interessati allo psicologo non rimane che inviarli al database, il quale formulerà a sua volta una diagnosi. Lo psicologo, tuttavia, dovrà ricordare che la diagnosi espressa dalla macchina è formulata in termini di rischi e non come una disamina definitiva. Inoltre, una rappresentazione grafica su scala da 1 (alto rischio) a 5 (rischio basso) è ottenuta per stimare il rischio di incidenza del disturbo.

Postgres, il database del sistema, contiene al suo interno tutte le informazioni relative a ogni possibile sintomo e disturbo. Tale database, usando i sintomi selezionati dallo psicologo, crea una query allo scopo di cercare quanti dei sintomi precedentemente indicati coincidono, anche solo parzialmente, con quelli di una qualunque patologia. Bisogna però considerare che alcuni sintomi, predittivi per una determinata patologia, possano essere validi anche per un altro tipo di disturbo. Per esempio, il sintomo “esercizio eccessivo” può essere applicato sia alla bulimia che all’anoressia nervosa. La ponderazione di ciascun sintomo è attentamente valutata dalla base di conoscenza.

La base di conoscenza si basa, nel caso di questo studio, sui resoconti clinici di colleghi specialisti che spiegano come determinati sintomi possono o meno appartenere a differenti disturbi. Un esempio di conoscenza tradotta può riguardare lo screening dei sintomi specifici della depressione in un paziente. L’elenco dei sintomi verrà poi convertito in una serie di regole predittive che verranno poi interpretate dal motore inferenziale al fine di pervenire a conclusioni valide.

Il motore inferenziale collega le regole provenienti dalla base di conoscenza con i “fatti” del database (nel nostro caso i sintomi) allo scopo di inferire un possibile risultato (la diagnosi) o formulare responsi di altro tipo. Ogni fatto è inoltre legato a delle regole ben precise nel motore inferenziale. Una possibile regola potrebbe risultare come questa: “SE l’ammontare dei sintomi associati all’anoressia nervosa è maggiore o uguale a 14 ALLORA c’è un alto rischio di incidenza del disturbo. SE l’ammontare dei sintomi è invece minore di 14, ma più grande o uguale a 10, c’è ALLORA un rischio medio di anoressia nervosa. SE l’ammontare dei sintomi è minore di 10 ma maggiore o uguale a 5, ALLORA il rischio che la patologia si manifesti è molto basso”.

Una prima IA pensata per la pratica psicologica

Dal contributo fornito dai sistemi esperti si è poi giunti nel 1966 alla creazione di una prima IA pensata per la pratica psicologica. Questo primo tentativo fu Eliza, chatbot sviluppato presso l’Artificial Intelligence Laboratory del Massachusetts Institute of Technology da Joseph Weizenbaum che simulando un terapeuta Rogersiano aveva l’obiettivo di creare un legame empatico con il paziente chiedendo all’utente di spiegare quali erano i suoi sentimenti. Un chatbot, chat bot o chatterbot, non è altro che un software progettato per simulare una conversazione con un essere umano. Eliza necessita la conoscenza di tre domini: la conoscenza sulle I.A, la conoscenza sui sistemi esperti e la conoscenza inerente all’elaborazione del linguaggio naturale (ovvero la sua comprensione e generazione). L’interazione con il paziente avveniva attraverso una modalità puramente testuale. Nonostante l’obiettivo della macchina fosse quello di dimostrare che la comunicazione tra l’I.A e l’utente fosse superficiale (Nadelson., T. 1987) il suo creatore fu tuttavia sorpreso di scoprire l’esatto contrario. Le persone che sono hanno utilizzato Eliza avevano avuto un’interazione così coinvolgente, genuina e profonda con il programma da attribuire poi alla stessa dei sentimenti e caratteristiche umane (Epstein., J., Klinkenberg, W.D., Wiley., D., McKinley., L. 2001). Eliza, attraverso la “corrispondenza del modello” e la metodologia di sostituzione (Lazzeri, M. 2020), ricercava nelle affermazioni formulate dalla persona, qualche parola chiave per poi elaborare una frase secondo una qualche regola associata a quella parola; altrimenti produceva un’osservazione acontestuale o, in altre situazioni, ripeteva una frase formulate precedentemente dall’utente. (Braccini., M. 2013) Sebbene il programma fornisca risposte molto semplici, gli utenti avevano comunque la percezione di parlare con qualcuno che capisse il loro mood interno.

Il confronto tra Eliza e uno psicoterapeuta “umano”

In uno studio esplorativo del 2013 apparso sul Journal of Cognitive and Behavioral Psychotherapies (Cristea, A., I., David., D., Sucala., M. 2013) è stato fatto un confronto tra ELIZA ed uno psicoterapeuta di formazione cognitivo-comportamentale durante una sessione di psicoterapia con un paziente. In entrambi i due casi sono stati colti gli elementi comuni e quelli specifici, i quali successivamente, sono stati poi valutati da professionisti della vita reale (Lambert, M. J., & Bergin, A. E. 1994; Oei, T. P., & Free, M. L. 1995; Oei, T. P., & Shuttlewood, G. J., 1997) mediante l’uso di un sondaggio. Eliza, agendo come un terapeuta di stampo Rogersiano, ovvero centrato sul paziente, riproponeva le risposte del “cliente” sotto forma di domande utilizzando uno schema semplice di riconoscimento e di sostituzione di parole chiave. Il terapeuta CBT era iscritto al Dottorato in Psicologia Clinica e aveva condotto l’interazione con il cliente faccia a faccia. La partecipante allo studio, ovvero una femmina di 23 anni con nessuna condizione psichiatrica pregressa e senza una precedente storia di psicoterapia, ha preso parte allo studio volendo iniziare un percorso di psicoterapia al fine di migliorare il proprio sviluppo personale. Prima di iniziare alla partecipante era stato detto che questo studio si proponeva di confrontare due terapeuti, uno di persona e un altro che invece si trovava in un luogo diverso. Quest’ultimo poteva essere contattato solo attraverso una chat. Lo svolgimento dello studio consisteva in questo: la paziente iniziava con Eliza e con lo psicoterapeuta due brevi interventi terapeutici focalizzati su un problema psicologico lieve precedentemente scelto dalla paziente, ovvero l’essere eccessivamente autocritica. Dopo aver dato il suo consenso per partecipare allo studio, è stata posta davanti a un computer dove era già stato lanciato il programma Eliza. Dopo un lasso di tempo di 15 minuti, la sessione è stata interrotta e la partecipante ha iniziato la seduta con il terapeuta faccia a faccia discutendo dello stesso problema per altri 15 minuti. Le due interazioni avute dalla paziente sono state opportunamente salvate, trascritte e tradotte in inglese. Non c’era tuttavia alcuna menzione del nome della cliente o di qualsiasi altro dettaglio personale o biografico nelle trascrizioni. Le due diverse copiature sono state entrambe valutate da 138 terapisti di origine straniera mediante un sondaggio a scala Likert. L’indagine svolta andava a indagare aspetti sia relativi alla performance, quali ad esempio come l’efficienza della discussione, il corretto approccio al problema portato dalla paziente, nonchè la qualità della relazione terapeutica. A proposito di quest’ultima sono stati inclusi nell’indagine i fattori comuni che sostengono lo sviluppo delle relazioni (Lambert, M. J., & Barley, D. E. 2002): l’empatia, l’accettazione incondizionata del cliente/paziente, la collaborazione, l’attenzione al paziente e la preoccupazione per ciò che diceva il paziente. Le conclusioni tratte dall’indagine hanno evidenziato come la maggior parte dei valutatori era d’accordo nel considerare entrambi i terapeuti persone umane, ma con competenze tra loro diverse. La sola differenza percepita tra ELIZA e il terapeuta di stampo CBT, capace di discriminare l’umano dalla macchina, sembrava risiedere nella qualità delle prestazioni della terapia e non in nessuna caratteristica intrinseca dei due. Dai trascritti risultava evidente l’iter seguito dal terapeuta cognitivo comportamentale con la paziente.

Eliza e il test di Turing

La programmazione insita di ELIZA ha permesso di verificare inoltre il test di Turing, una prova pensata con l’obiettivo di determinare se una macchina sia o meno in grado di pensare in maniera intelligente come un essere umano.

Proposto per la prima volta nel 1950, in un articolo dal titolo Computing Machinery and Intelligence, il test di Turing funziona in questo modo: un utente si trova davanti ad un computer. dove con l’ausilio di una tastiera posta davanti a lui scrive delle domande e riceve delle risposte. Un elaboratore elettronico ed un operatore umano si trovano all’altro capo del terminale e forniscono in ordine alternato le risposte alle domande poste dall’utente. Se la persona in questione non è in grado di capire quando sta interagendo con un operatore e quando con una macchina, allora il calcolatore elettronico è intelligente. In merito a questo test ELIZA ha ottenuto un discreto successo. In caso di domande molto complesse invece il test viene disatteso. Dall’apparizione di ELIZA è nato poi il cosiddetto “Effetto ELIZA“, fenomeno psicologico in cui si tende ad antropomorfizzare una macchina. In poche parole, all’elaboratore elettronico vengono riconosciuti comportamenti equivalenti ai comportamenti umani nonchè un’elevata intelligenza rispetto a quanto realmente ne possegga.

E poi arrivano Parry e SimSensei

Dopo l’apparizione ELIZA, nel 1972, fa la sua comparsa un altro famoso chatterbot. Scritto da Kenneth Colby, questo I.A prende il nome di Parry e la sua programmazione consisteva nel simulare uno schizofrenico paranoico. Successivamente a Parry nel 2011, grazie ad un lavoro pionieristico fatto dall’Institute for Creative Technologies per conto della DARPA nell’ambito del progetto DCAPS (Detenction and Computational Analysis of Psychological Signals), fa la sua comparsa l’I.A conosciuta con il nome di SimSensei. I leader a capo di questo progetto furono il Dott. Albert Rizzo e il Dott. Louis-Philippe Morency.

Lo sviluppo di SimSensei aveva richiesto una conoscenza dettagliata della letteratura presente sull’importanza che hanno l’espressione facciale e i gesti del corpo hanno all’interno della comunicazione (Ekman, P., & Rosenberg, E. L. 1997). Inoltre, un approfondimento ulteriore era stato fatto per lo studio delle caratteristiche vocali insite nel discorso, come la variazione di intonazione o la prosodia, utili per fornire informazioni aggiuntive riguardanti lo “stato” di chi comunica.Concepito come sistema Virtual Human (VH), SimSensei Kiosk presenta due funzioni: la presenza di una terapista virtuale dalle fattezze umane chiamata Ellie e un sistema di percezione multimodale che consente il live tracking. Nel dettaglio, il sistema di percezione multimodale “Multisense”, (Devault et al., 2014; Scherer et al., 2013), consente l’acquisizione, il monitoraggio nonchè la fusione di indicatori comportamentali, visivi e sonori presi in tempo reale durante l’intervista semi-strutturata con Ellie allo scopo di individuare la presenza di indicatori di disagio psicologico come la depressione, il disturbo da stress post-traumatico (PTSD) o l’ansia (DeVault et al., 2014). In particolare vengono utilizzate la cattura dinamica e la quantificazione di indicatori come l’orientamento e la posizione della testa; l’intensità, la frequenza con cui si fa uso di espressioni facciali per esprimere determinate emozioni (p. es., paura, rabbia, disgusto e gioia), la postura del corpo ed una varietà di parametri del linguaggio (la latenza di risposta, ecc…). Le informazioni carpite da questo ELLIE fanno uso di sensori standard come una webcam, un microfono e Microsoft Kinect. (Baltrusaitis et al., 2012; Morbini., F., 2014; Morency et al., 2008;).

Nello studio Clinical interviewing by a virtual human agent with automatic behavior analysis (A. Rizzo et al., 2016) una ricerca svolta usando SimSensei Kiosk ci mostra come gli utenti che interagiscono con questo sistema hanno meno paura di sentirsi valutati e di divulgare più informazioni personali rispetto a quando hanno a che fare con l’avatar gestito da una persona in carne ed ossa. (Lucas et al., 2014).

Nello specifico la ricerca scientifica riguarda due differenti campioni: il primo gruppo era composto da ventinove membri (di cui 2 donne) facenti parte della Guardia Nazionale del Colorado con un’età media di 41,46 anni. Nel secondo gruppo invece il campione era costituito da 132 soggetti, di cui 16 donne, tra membri attivi e veterani con un’età media di 44,12 anni. Se i partecipanti del primo gruppo erano stati stanziati per nove mesi in Afghanistan, i membri del secondo gruppo di studio invece erano appena tornati da una singola missione. Il presente studio suggerisce inoltre che i militari, a seguito del loro dispiegamento, in Afghanistan avevano maggiori probabilità di sviluppare sintomi di PTSD.

Nel primo studio i militari tornati dal loro dispiegamento in territorio nemico erano stati sottoposti, in ordine cronologico al PDHA ufficiale (ovvero il Post-Deployment Health Assessment), lasua versione anonima ed infine ad un colloquio, della durata di circa 20 minuti, con Ellie. I partecipanti del secondo gruppo di studio invece hanno solamente preso parte alla versione anonima del PDHA e all’intervista con la terapeuta virtuale. Dai risultati dei due campioni oggetto di studi emerge quanto segue: tutti i soldati avevano parlato liberamente dei propri sintomi con Ellie piuttosto che attraverso l’utilizzo dei due strumenti testistici. Ciò dimostra, come già affermato precedentemente, che le interviste fatte con un VH riducono l’esitazione dell’intervistato a rivelare più notizie intime e la paura di ricevere giudizi negativi o di ricevere uno stigma. Il contesto sicuro fornito dalla I.A viene facilitato dalla presenza degli atteggiamenti, posture nonché dalle espressioni facciali tipiche di un essere umano le quali permettono il manifestarsi si sentimenti di connessione sociali tra la persona intervistata e la macchina.

Il programma Woebot

A distanza di alcuni anni dall’apparizione di SimSensei Kiosk, fa la sua comparsa Woebot è uno degli ultimi chatbot in circolazione. Fondato nel 2017 questo programma è stato sviluppato da un team di Psicologi dell’Università di Stanford che, utilizzando una matrice cognitivo comportamentale, offre un supporto personalizzato per coloro che hanno depressione e/o ansia. Un anno dopo l’Università di Trento con la collaborazione di IDEGO hanno sviluppato all’interno del progetto Co-Adapt un Agente Conversazionale. Supportata dalla Comunità Europea attraverso Horizon 2020 questa I.A è stata pensata per incrementare l’efficacia e l’efficienza dei percorsi psicologici.

L’Agente Conversazionale interagendo con le persone sarà in grado di comprenderne lo stato di psicologico e insieme al lavoro degli Psicologi, aiutarle a rispondere nella maniera più efficace e aumentare le loro capacità di adattamento. (Lazzeri., M. 2020). Questo obiettivo è possibile anche grazie alla capacità dell’I.A di comprendere il sentiment di quanto espresso dalle affermazioni delle persone. Facente parte del campo dell’elaborazione del linguaggio naturale, la sentiment analysis o opinion mining è un processo di calcolo che si occupa di identificare e catalogare le emozioni espresse dall’utente in una porzione di testo attribuendone una valenza positiva, negativa o neutra. Diversi sono gli approcci utilizzati in questa tipologia di analisi, ma i più comunemente usati riguardano lo spotting di parole chiavi (Ortony., A., et al., 1988) e l’affinità lessicale (Stevenson., R., et al., 2007). L’analisi del sentiment, tuttavia, presenta un grosso limite operativo, ovvero non può andare oltre la connotazione positiva, negativa o neutra di un giudizio o di una semplice opinione. Per ovviare a ciò esiste un’altra procedura, chiamata emotion detection che riesce a riconoscere l’emozione specifica espressa nel testo, garantendo una precisione molto più accurata.

Una ricerca pubblicata sulla rivista medica BMJ Open dal titolo: Comparison of predicted psychological distress among workers between artificial intelligence and psychiatrists: a cross-sectional study in Tsukuba Science City, Japan. (Shotaro., D., Daisuke., H., Yuichi., O., et al. 2021) ci mostra come un’intelligenza artificiale, tramite apprendimento automatico, possa essere utilizzata per rilevare nelle persone i fattori di rischio che possono portare ad avere un quadro depressivo o un disturbo dell’umore. Sebbene esistano strumenti testistici appositi per diagnosticare o meno un disturbo depressivo o un disagio mentale, può capitare che chi li compila sia ancora riluttante a rispondere fedelmente a domande inerenti all’umore soggettivo.

Il motivo purtroppo dipende ancora adesso dallo stigma sociale riguardante la salute mentale. L’I.A sviluppata da Shotaro e dai suoi colleghi vuole in qualche modo cercare di ovviare a questo problema. La ricerca da loro portata avanti consisteva in questo: i ricercatori hanno chiesto a un gruppo di 19.481 lavoratori della tecnopoli di Tsukuba Science City di rispondere a un questionario online relativo alle condizioni di vita dei lavoratori.

Le domande del sondaggio facevano riferimento a tematiche quali i fattori sociodemografici, stili di vita e qualità del sonno. Dei partecipanti totali, le risposte ottenute sono state 7255 con un tasso di risposta è stato del 37,2%. Di questo numero poi si è scesi a 7.251 intervistati poiché 4 di loro sono state esclusi per incompletezza dei dati. Il campione era analizzato risultava poi composto da 4.754 maschi e 2.677 femmine. Dai dati pervenuti, i ricercatori hanno successivamente sviluppato un modello di I.A basato sul machine learning con il fine ultimo di predire, in termini di accuratezza, sensibilità e specificità, il disagio/malessere psicologico moderato e grave tra i lavoratori. Simultaneamente gli stessi dati sono stati poi analizzati da 6 psichiatri con lo stesso fine ultimo.

Infine i risultati ottenuti dalla macchina e dagli psichiatri sono stati poi messi a confronto. Per la previsione del disagio psicologico moderato e grave le stime fatte non mostravano grosse differenze significative. Nel primo caso le stime prodotte dalla I.A erano del 65,2% mentre nel secondo scenario l’accuratezza dei dati prodotti era dell’89,9%. Per contro, secondo il parere dei medici, la percentuale elaborata nel primo caso era del 64,4% e dell’85,5% nel secondo. Quanto si evince è la precisione significativamente maggiore prodotta dall’elaboratore artificiale. Nonostante alcuni evidenti limitazioni della ricerca dovute alla mancanza di parametri di interesse scelti per giungere al risultato e/o alla difficoltà di generalizzare quanto emerso (Kageyama., T., et al. 2001), si è arrivati a sviluppare con successo un modello di machine learning in grado di effettuare lo screening dei lavoratori con umore depresso e questo indipendentemente dalle loro opinioni soggettive.

Bibliografia

Ager, A. (1991). Il personal computer in psicologia clinica. Raffaello Cortina: Milano

Andrew Ortony, G Clore e A Collins, (1998). The Cognitive Structure of Emotions (PDF), Cambridge Univ. Press.

Brighetti G., Contento S. (1986), Applicazioni informatiche in psichiatria,  Medicina e Informatica, 3, pp.15-20.

Baltrusaitis, T., Robinson, P., and Morency, L.-P. (2012). 3D constrained local model for rigid and non-rigid facial tracking. In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, pages 2610– 2617. IEEE.

Binik Y. M., et al. (1988), Intelligent computer-based assessment and  psychoterapy: an expert system for sexual dysfuction, Journal of Nervous and  Mental Disease, 176, pp. 387-400.

Braccini, M. (2013). Intelligenza artificiale: test di Turing e alcune questioni filosofiche. Retrieved 18.08.2021 from https://amslaurea.unibo.it/6060/1/Braccini_Michele_tesi.pdf

Buchanan, B. G. (2005). A (Very) Brief History of Artificial Intelligence. AI Magazine, 26(4), 53. https://doi.org/10.1609/aimag.v26i4.1848

Cristea, I. A., Sucală, M., & David, D. (2013). Can you tell the difference? Comparing face-to-face versus computer-based interventions. The “Eliza” effect in psychotherapy. Journal of Cognitive and Behavioral Psychotherapies, 13(2), 291–298.

Crowder, J. A., Friess, S., Artificial Neural Emotions and Emotional Memory. International Conference on Artificial Intelligence, ICAI’10 (July 2010)

Crowder, J. A., Carbone, J, (2011) The Great Migration: Information to Knowledge using Cognition-Based Frameworks. Springer Science, New York.

DeVault, R. Artstein, G. Benn, et al., (2014). SimSensei Kiosk: A virtual human interviewer for healthcare decision support. In Proceedings of AAMAS.

Ekman, P., & Rosenberg, E. L. (Eds.). (1997). What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS) (1nd ed.). Oxford University Press.

Epstein,  J.,  Klinkenberg,  W. D.,  Wiley,  D.,  &  McKinley,  L.  (2001).  Insuring  sample equivalence across internet and paper-and-pencil assessments. Computers in Human Behavior, 17(3), 339-346.

Kageyama T, Matsuzaki I, Morita N, et al. (2001). Mental health of scientific researchers I. characteristics of job stress among scientific researchers working at a research Park in Japan. Int Arch Occup Environ Health;74:199–205.

Lambert,  M.  J., &  Bergin, A.  E. (1994).  The effectiveness  of psychotherapy.  In A.  E. Bergin & S. L. Garfield (Eds.), Handbook of psychotherapy and behavior change (4th ed., pp. 43-189). New York: John Wiley

Lambert, M. J., & Barley, D. E. (2002). Research summary on the therapeutic relationship and psychotherapy outcome. In J. C. Norcross (Ed.), Psychotherapy relationships that work: Therapist contributions and responsiveness to patients (pp. 17–32). Oxford University Press.

Lazzeri, M. (2017). L’intelligenza artificiale al servizio della psicologia, ovvero i sistemi esperti in psicologia clinica. Retrieved 15.09.2021 from https://www.stateofmind.it/2017/04/sistemi-esperti-psicologia/

Lazzeri, M. (2020). Intelligenza Artificiale e Psicologia: quale futuro? Retrieved 17.09.2021 from https://www.co-adapt.it/intelligenza-artificiale-e-psicologia-quale-futuro/

Lucas, GM, Gratch, J., King, A. and Morency, L.-P. (2014). It’s just a computer: virtual humans increase the willingness to reveal. Computers in human behavior, 37, 94 ± 100

Luxton, D. D. (2014). Artificial intelligence in psychological practice: Current and future applications and implications. Professional Psychology: Research and Practice, 45(5), 332–339. https://doi.org/10.1037/a0034559

Morbini, F., DeVault, D., Georgila, K., Artstein, R., Traum, D., & Morency, L.  (2014). A Demonstration of Dialogue Processing in SimSensei Kiosk. In Proceedings of the 2014 international conference on Autonomous agents and multi-agent systems

Morgana A., Pancheri P. (1974), Un metodo per la generazione automatica di  rapporti clinici in psichiatria, in Cassano G. B., et al., Tecniche di automazione  in psichiatria, Il Pensiero Scientifico Editore, Roma, 1974, pp. 24-50.

Morency, L.-P., Whitehill, J., and Movellan, J. (2008). Generalized adaptive view-based appearance model: Integrated framework for monocular head pose estimation. In Proc. of 8th IEEE Int’l Conf. on Automatic Face & Gesture Recognition, 2008. FG’08., pages 1– 8. IEEE

Nadelson, T. (1987). The inhuman computer/the too-human psychotherapist. American Journal of Psychotherapy, 41(4), 489–498.

Oei, T.  P., &  Free, M. L.  (1995). Do Cognitive-Behavior Therapies Validate Cognitive Models of Mood  Disorders –  a Review  of the Empirical-Evidence.  International Journal of Psychology, 30(2), 145-180.

Oei, T. P., & Shuttlewood, G. J. (1997). Comparison of specific and nonspecific factors in a group  cognitive therapy for depression.  Journal of Behavior Therapy and Experimental Psychiatry, 28(3), 221-231.

Ryan Stevenson, R., Mikels, J., James, T. (2007).Characterization of the Affective Norms for English Words by Discrete Emotional Categories (PDF), in Behavior Research Methods, vol. 39, n. 4, pp. 1020–1024.

Russell, J. S., Norvig, P.,(2003) Artificial intelligence : a modern approach/ 2nd edition, Prentice Hall, New Jersey.

Scherer, G. Stratou, M. Mahmoud, J. Boberg, J. Gratch, A. Rizzo, and L.-P. Morency. (2013). Automatic behavior descriptors for psychological disorder analysis. In Proceedings of IEEE Conference on Automatic Face and Gesture Recognition.

Shotaro., D., Daisuke., H., Yuichi., O., et al. (2021), Comparison of predicted psychological distress among workers between artificial intelligence and psychiatrists: a cross-sectional study in Tsukuba Science City, Japan, BMJ Open; 11(6): e046265.

Spiegel R., Nenh Y. P. (2004), An expert system supporting diagnosis in clinical  psychology, in K. Morgan et al, Human Perspectives in the Internet Society:  Culture, Psychology and Gender, Witpress, Southampto, pp. 145-154.

Zhang C., et al (2001), Expert system of the Personality Disorders Questionnaire  for the CCMD-2-R: IV, Chinese Mental Health Journal, 15(2), pp. 137-139.