algoritmi e salute

Big Tech e sanità, il rischio discriminazione è dietro l’angolo: come evitarlo

L’attivismo di aziende come Google e Amazon in ambito sanitario solleva più di una perplessità sulle modalità di utilizzo dei dati sensibili. A destare preoccupazione, in primis, l’addestramento degli algoritmi volti a ottimizzare i processi di cura: casi di discriminazione si sono già verificati, come evitarne di nuovi?

Pubblicato il 27 Gen 2020

Marco Martorana

avvocato, studio legale Martorana, Presidente Assodata, DPO Certificato UNI 11697:2017

Intelligenza artificiale diagno

Il crescente interesse delle Big Tech per i nostri dati sensibili, in particolare – ultimamente – quelli sanitari, pone una serie di interrogativi di varia natura: desta preoccupazione, in primis, l’utilizzo che può essere fatto di quest dati con riferimento, in particolare, alle modalità di sviluppo e addestramento degli algoritmi volti al trattare dati sanitari per ottimizzare i processi di cure e organizzare i comportamenti individuali in modo da renderli più efficaci.

Il binomio web-sanità

Il binomio colossi del web-sanità non è certo nuovo: da diversi anni ormai, i giganti del web s’interessano al mondo della ricerca in ambito sanitario. Così, già nel 2013, Google creava Calico, un’azienda con lo scopo di capire il processo biologico d’invecchiamento e sviluppare terapie per permettere alle persone di vivere più a lungo. Nel 2014, sempre Google, lanciava le sue lenti a contatto connesse capaci di controllare il livello di glicemia, non riscontrando però il successo sperato.

Non solo Google, lo scorso anno anche Amazon lanciava “Amazon Comprehend Medical” progettato per sfruttare i dati medici di milioni di pazienti (come prescrizioni, note mediche, rapporti di patologia o persino radio). Il tutto con lo scopo di estrarre, da queste fonti disparate, gli elementi chiave necessari per la diagnosi o la scelta di dosi e farmaci. Sulla stessa linea da diversi anni Apple sta sviluppando “Health Kit“, una piattaforma di condivisione dati tra gli ospedali, mediante applicazioni dagli stessi utilizzati, con i centri di ricerca che sarà utilizzata per la ricostruzione dell’anamnesi dei pazienti.

L’oscuro progetto Nightingale di Google

Ma a fare notizia recentemente è il coinvolgimento di Google nell’attività di raccolta di dati personali di pazienti in molti ospedali statunitensi. All’oscuro di medici e pazienti, il noto motore di ricerca, sembrerebbe aver immagazzinato i dati contenuti in cartelle cliniche di pazienti di 21 stati degli Stati Uniti, all’interno di un progetto noto con il nome di Nightingale.

In tal modo, Google avrebbe realizzato tale progetto in collaborazione con Ascension, operatore sanitario presente in 150 ospedali di 21 stati. Inoltre, pare che circa 150 dipendenti avessero avuto libero accesso a tantissimi dati personali dei pazienti. Senza addentrarci nel profilo concernente la legittimità del procedimento, in relazione al quale Google ne ha comunque sostenuto la conformità alla legge federale sulla portabilità dei dati sanitari del 1996, che consente agli istituti ospedalieri di condividere informazioni sanitarie con dei partner commerciali al fine di permettere alla struttura stessa di portare avanti le sue funzioni mediche, non possiamo non riscontrare una certa attenzione del motore di ricerca a queste particolari categorie di dati personali.

Notizia che letta congiuntamente a quella relativa all’acquisizione da parte di Google di Fitbit, una società che tramite appositi supporti come i braccialetti, memorizza ed archivia informazioni in tempo reale per comunicarci i risultati delle nostre performance sportive, solleva qualche interrogativo in ordine all’utilizzo che Google potrà fare di questi dati.

Ci stiamo riferendo, in particolare alle modalità di sviluppo e addestramento degli algoritmi volti al trattare dati sanitari per ottimizzare i processi di cure e organizzare i comportamenti individuali in modo da renderli più efficaci. Si parla in questo caso di Machine Learning ossia modelli di apprendimento basati direttamente sui dati, senza modelli matematici ed equazioni totalmente predeterminate. In tal modo la “logica dell’algoritmo” si svilupperebbe attraverso l’esperienza.

Algoritmi predittivi e discriminazioni

Gli algoritmi predittivi sono infatti in grado di fornire elementi diagnostici più accurati. Esistono infatti sistemi in grado di predire con maggior precisione dei medici il rischio di morte di un paziente, o lo sviluppo di determinate patologie. Questo perché i metodi tradizionali si concentrano su una parte della cartella medica mentre gli algoritmi usano tutte le informazioni disponibili. Altri sistemi possono predire le malattie analizzando sintomi invisibili per l’uomo incrociando tali informazioni con informazioni ulteriori quali le abitudini di vita del paziente.

Anche se per via dell’apprendimento automatico i sistemi predittivi imparano dall’esperienza e dai dati che vengono inseriti, l’apprendimento si basa, almeno in parte, sulla progettazione dell’algoritmo iniziale. Pertanto l’esito dell’elaborazione dipenderà da una parte dal modo in cui esso è stato programmato dal creatore, dall’altro dalla informazione acquisita in seguito alla ripetuta elaborazione dei dati effettivamente registrati. Tale funzionamento può portare a un rischio di una serie di discriminazioni sia dirette che indirette dell’individuo.

Negli Stati Uniti si è così scoperto che un algoritmo volto a identificare le persone che necessitavano di cure mediche più avanzate produceva sistematicamente risultati viziati. Anche se l’algoritmo di base non conteneva alcun riferimento etnico, i risultati ottenuti durante la fase di “addestramenti” portavano a effetti di tipo discriminatorio. Esso era basato infatti su dati che evidenziavano che erano stati spesi molti meno soldi per pazienti neri rispetto a pazienti bianchi per gli stessi bisogni, pertanto ciò portava l’algoritmo a concludere erroneamente che nei primi l’incidenza delle malattie era meno alta e pertanto necessitavano meno cure. Una ricerca ha poi rivelato che cambiando semplicemente il criterio – ovvero i soldi spesi – i pregiudizi calavano dell’84%.

Impostazione degli algoritmi

Come si è appena evidenziato, l’accuratezza dei risultati prodotti da un algoritmo dipende fortemente dal modo in cui viene impostato. Così, la progettazione di questi sistemi in modo apparentemente neutro senza tenere conto di come le norme e le strutture sociali incidano sul nostro lavoro, non solo è volta a far persistere le situazioni discriminatorie esistenti ma rischia bensì di enfatizzarle. È quindi pur sempre fondamentale il continuo monitoraggio di tali sistemi per accertarsi che essi e i risultati da loro prodotti non siano viziati.

Inoltre, questi strumenti sono sicuramente utili per migliorare e ottimizzare il lavoro dei medici, ma non dovrebbero mai essere considerati come un sostituto all’esperienza o alla conoscenza dei medici in merito alle esigenze e inclinazioni individuali dei loro pazienti.

Infine, una particolare attenzione deve essere posta sui dati – e singolarmente la loro varietà – che vengono a nutrire gli algoritmi nella fase di training. Se in tale fase, per esempio, vengono inseriti dati provenienti al 90% da persone adulte e al 10% da bambini, e se tali percentuali non sono rappresentative della popolazione interessata, i risultati prodotti dall’algoritmo nella fase decisionale potranno essere fortemente distorti. Il campione di riferimento preso in considerazione per “addestrare” l’algoritmo è di fondamentale importanza per evitare funzionamenti distorti e discriminatori.

Questi algoritmi vanno pertanto continuamente monitorati, rivisti e perfezionati ma anche addestrati. Ed è proprio nella fase di addestramento che sono necessari dati corretti, aggiornati e il più possibile variegati per far sì che l’algoritmo sviluppi la propria logica in modo efficace e non iniquo.

Così, non solo saranno necessari dati in grandi quantità, ma questi dati dovranno essere rappresentativi di tutte le categorie di persone interessate sia per quello che riguarda l’età, l’etnia, l’origine geografica, lo statuto sociale, etc. Una maggiore rappresentanza di una categoria di persone rispetto ad un’altra nei dati inseriti nel algoritmo sarà suscettibile di condurre l’algoritmo all’elaborazione di risultati pregiudizievoli e discriminatori.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 2