intelligenza assuefattive

Algoritmi compiacenti e dipendenza emotiva: i rischi delle IA “mimetiche”



Indirizzo copiato

Le IA mimetiche, progettate per simulare interazioni umane, rischiano di trasformarsi in “intelligenze assuefattive”. Attraverso comportamenti accondiscendenti e risposte compiacenti, questi sistemi creano dipendenze emotive, simili a camere di risonanza digitali. Come lo specchio della regina di Biancaneve, potrebbero intrappolarci in relazioni artificiali sempre più difficili da abbandonare

Pubblicato il 24 ott 2024

Davide Bennato

professore di Sociologia dei media digitali all’Università di Catania



sicophancy (1)

L’evoluzione dell‘intelligenza artificiale sta aprendo nuovi scenari di rischio finora inesplorati. Tra questi emerge un fenomeno particolarmente insidioso: la capacità delle IA di creare forme di dipendenza attraverso interazioni sociali artificialmente perfette. Un rischio che va oltre i timori tradizionali e che merita un’attenta riflessione.

Castaway e le interazioni con un pallone

Nel film Castaway (Robert Zemeckis, USA, 2000) si racconta la storia di un manager di una società di consegne, Chuck Noland (Tom Hanks), ossessionato dalla velocità e dallo scorrere del tempo, che a causa di un incidente aereo si trova a sopravvivere in una sperduta isola del Pacifico alla stregua di un novello Robinson Crusoe. A fungere da Venerdì – compagno di solitudine e disavventure – non è un essere umano, bensì un pallone da pallavolo battezzato Wilson con un accenno di volto, frutto di una macchia di sangue dello stesso Noland.

Quello che è interessante, non è solo che Wilson sia a tutti gli effetti un compagno di peripezie, ma durante gli eventi che porteranno il protagonista lontano dall’isola e che ne provocheranno la separazione dal suo compagno di viaggio, a sentire un certo dispiacere non sarà solo il personaggio di Tom Hanks, ma anche noi spettatori che assieme a lui abbiamo passato diversi minuti in sua compagnia. E tutto questo accade senza che il pallone esprima neanche un suono: le presunte interazioni di Wilson, noi le intuiamo dai dialoghi di Noland. La domanda è: cosa sarebbe successo se Wilson avesse parlato, magari perché era un gadget tecnologico dotato di IA? Sarebbe stato più o meno credibile? Avremmo patito il suo distacco come lo abbiamo fatto per la versione inanimata?

Gli impatti emotivi (ancora sconosciuti) delle IA mimetiche

Insomma: come reagiremo noi alle intelligenze artificiali che simulano emozioni e altre forme di interazioni umane?

La domanda è fantascientifica solo all’apparenza, poiché i ricercatori di IA già stanno affrontando questioni simili le cui risposte sono piuttosto perturbanti.

Che le IA pongano questioni delicate nel momento in cui interagiscono in una forma che noi potremmo chiamare di consapevolezza computazionale (che ovviamente non lo è: sono macchine prive di autocoscienza) è un tema che ormai riguarda tutta la comunità degli studiosi di interazione sociale digitale. Le IA mimetiche – ovvero quei sistemi tecnologici che simulano l’esperienza di interazione con gli esseri umani – pongono un sacco di questioni nuove: dalla difficoltà a distinguere la differenza fra un chatbot e un essere umano (Bennato 2014), alla difficoltà del distacco emotivo dalle simulazioni digitali di persone defunte (Sisto 2018).

La questione sta diventando sempre più pressante, soprattutto dall’ingresso di ChatGPT all’interno del mercato delle piattaforme digitali. Basti pensare che un paper recente che ha studiato diverse migliaia di log delle interazioni con ChatGPT, ha evidenziato che dopo la composizione creativa, ovvero l’uso inventivo di costruzione di storytelling, il secondo uso principale della piattaforma è di role playing a contenuto sessuale, il che è curioso poiché fra i dati di training del LLM di OpenAI solo l’1% è a contenuto sessuale (Longpre et al. 2024).

La ricerca emergente nella sociologia degli agenti digitali

La sociologia degli agenti digitali al momento è all’anno zero, ma nel breve termine diventerà sempre più un ambito di studi complesso, attraverso cui chiedersi quali sono limiti e vincoli delle interazioni sociali (o para-sociali) che potremo avere con gli agenti autonomi.

Tra l’altro le ricerche stanno già identificando dei processi interessanti e mai mappati prima da parte delle scienze sociali.

I rischi di algoritmi troppo accondiscendenti

È il caso della sycophancy, termine intraducibile che potremmo rendere in italiano con “adulazione insincera”, in attesa che si istituzionalizzi il termine sicofanzia, un comportamento osservato in una serie di LLM che consiste nella tendenza a rispondere all’utente in modo accondiscendente rispetto alle sue aspettative, un’interazione il cui scopo è produrre risposte apprezzate dall’utente umano (Sharma et al. 2023).

Questo comportamento è interessante da diversi punti di vista. In primo luogo perché sembrerebbe essere una conseguenza inaspettata delle strategie di addestramento delle IA: in pratica gli algoritmi di apprendimento tendono ad accentuare le risposte accondiscendenti. Questi algoritmi, detti modelli di preferenza umana, hanno lo scopo di massimizzare la soddisfazione dell’utente e sono addestrati attraverso la raccolta di feedback umani; pertanto, sono in grado di prevedere quale sarà la risposta preferita dall’utente. In secondo luogo, questo comportamento è interessante perché le risposte che producono interferiscono con affermazioni maggiormente affidabili a discapito di affermazioni basate su informazioni oggettive: l’effetto della sicofanzia è che nell’equilibrio fra un’interazione gradevole e un’interazione affidabile, la gradevolezza sia da preferirsi all’affidabilità.

Conseguenze emotive delle interazioni con agenti non umani

Se volessimo inserire il comportamento sicofante dei LLM all’interno della letteratura scientifica sui media digitali, potremmo dire che essi sono in grado di creare delle echo chambers di tipo emotivo, ovvero delle camere di risonanza prodotte artificialmente in cui si diventa progressivamente assuefatti ad un atteggiamento accondiscendente che permette di mantenersi all’interno della propria comfort zone, confermando le proprie idiosincrasie.

Questo processo è il motivo principale per cui le relazioni con agenti non umani potrebbero provocare delle nuove forme di dipendenza, di tipo emotivo-relazionale, che renderebbero molto difficoltose – se non impossibili – l’attivazione di alcune strategie psicologiche. Si pensi al tema della simulazione tramite AI di persone defunte: se è possibile interagire con una persona scomparsa, come si possono attivare processi come il distacco emotivo, che permettono il progressivo adattamento ad una situazione traumatica? Abbiamo scelto la morte come caso estremo, ma potremo fare lo stesso discorso per tutte le esperienze ascrivibili alla categoria del “lutto”, dalla morte di un animale domestico, alla fine di una relazione.

Se il comportamento espresso dalle IA – progettato o emergente – sarà orientato a una riduzione degli attriti interazionali come incomprensione, ostilità, resistenza, finzione, c’è il sospetto che da intelligenze artificiali si potrebbero produrre intelligente assuefattive, ovvero intelligenze computazionali il cui unico scopo è accondiscendere al proprio utente creando un meccanismo di assuefazione che somiglia moltissimo ad una forma di dipendenza relazionale.

L’IA come lo specchio magico della regina Grimilde

Il primo artefatto-archetipo che possiamo paragonare alle IA mimetiche è senza dubbio lo specchio magico della regina Grimilde, da tutti conosciuta come la matrigna di Biancaneve, la quale cercando di esorcizzare le proprie paure si rivolgeva ad esso per avere conferma della propria bellezza. Come sappiamo lo specchio interagiva esprimendo un comportamento che oggi potremmo chiamare di sicofanzia, rispondendo in maniera accondiscendente alle domande che gli venivano poste. Ma nel momento in cui la risposta accondiscendente venne sostituita una risposta obiettiva, la regina reagì come sappiamo.

Probabilmente nel prossimo futuro, per comprendere il nostro rapporto con le IA, più che ad Asimov dovremo guardare ai fratelli Grimm.

Bibliografia

Bennato, D. (2024), La società del XXI secolo. Persone, dati, tecnologia, Laterza, Roma-Bari.

Sisto, D. (2018), La morte si fa social, Bollati Boringhieri, Torino.

Longpre, S. et al. (2024), Consent in Crisis: The Rapid Decline of the AI Data Commons, arXiv preprint, arXiv:2407.14933, https://arxiv.org/abs/2407.14933.

Sharma, M. et al. (2023), Towards understanding sycophancy in language models, arXiv preprint, arXiv:2310.13548, https://arxiv.org/abs/2310.13548.

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4