ricerca e frodi

L’IA minaccia la letteratura scientifica: ecco i rischi



Indirizzo copiato

L’Intelligenza Artificiale dimostra un potenziale importante per la scienza, facilitando l’analisi di dati e la sintesi di ricerche. Ma la sua capacità di generare contenuti falsi o ingannevoli rappresenta una significativa sfida. Esperimenti rivelano che l’IA può facilmente produrre informazioni false, tra cui studi inesistenti, mentre aumenta l’uso non dichiarato dell’IA nella produzione di documenti accademici

Pubblicato il 6 mar 2024

Luigi Mischitelli

Legal & Data Protection Specialist at Fondazione IRCCS Casa Sollievo della Sofferenza



Digital,Transformation,Concept.,Binary,Code.,Ai,(artificial,Intelligence).

L’intelligenza artificiale (IA) è diventata una componente fondamentale nell’ambito della ricerca scientifica, un potente strumento in grado di affrontare problemi complessi e fornire nuove prospettive. Ma come ogni tecnologia emergente, l’IA porta con sé nuove sfide etiche e pratiche.

Dal rischio di frodi scientifiche facilitate dall’uso distorto dell’IA, alla questione della formazione su dati generati artificialmente, la comunità accademica si trova a dover navigare in acque inesplorate. Questa nuova realtà solleva interrogativi cruciali sulla sicurezza dei dati di ricerca e sul rispetto del metodo scientifico, mettendo in luce la necessità di un approccio critico e consapevole all’utilizzo dell’IA nel mondo della scienza.

L’esperimento della Royal Society

Secondo un recente articolo del settimanale britannico The Economist, in una sala riunioni della Royal Society di Londra, associazione scientifica di spicco d’oltremanica, alcune decine di studenti sono stati incaricati di battere un “modello linguistico di grandi dimensioni”, ossia un tipo di Intelligenza Artificiale progettato per tenere conversazioni utili, comprendendo, generando e analizzando il linguaggio “generale” (es. analisi di un testo).

Tali modelli sono spesso programmati con “barriere di sicurezza” progettate per impedire loro di dare risposte che possono rivelarsi dannose per le persone, come il fornire istruzioni per costruire ordigni in casa, oppure dare per vero fatti che non lo sono (che possono sfociare in “fake news”). L’esperimento della Royal Society in collaborazione con la no-profit statunitense Humane Intelligence, ha testato l’affidabilità del modello linguistico, producendo risultati “particolari”. Per esempio, uno studente ha fatto affermare al chatbot che le anatre possono essere utilizzate come indicatori della qualità dell’aria (a quanto pare, assorbono facilmente il piombo). Un altro ha affermato che le autorità sanitarie sostengono la validità dell’uso dell‘olio di lavanda per il trattamento del long-Covid.

Ma il massimo del grottesco è stato ottenuto spingendo il modello linguistico a produrre titoli, date di pubblicazione e riviste ospitanti articoli accademici inesistenti.

La cattiva condotta accademica facilitata dall’IA

L’intelligenza artificiale ha lo straordinario potenziale per essere fondamentale per il mondo scientifico. Si pensi all’analisi di enormi quantitativi di dati per la ricerca e la creazione di nuovi farmaci, così come la straordinaria capacità di sintesi di milioni di contributi in letteratura scientifica. Tuttavia, com’è noto, il contraltare negativo è sempre dietro l’angolo. È relativamente facile commettere delle frodi, così come portare un qualsiasi modello a distorsioni di ogni sorta. Partiamo dal problema più semplice: la cattiva condotta accademica. Alcune riviste consentono ai ricercatori di utilizzare i modelli di Intelligenza Artificiale come ausilio nella scrittura di articoli scientifici, a patto che ciò venga espressamente messo per iscritto. Tuttavia, non tutti sono disposti ad ammettere l’utilizzo di tale supporto nelle proprie ricerche.

L’uso “non dichiarato” dell’AI in articoli scientifici

Peraltro, alcune volte può capitare a colpo d’occhio di scoprire l’uso “non dichiarato” dei modelli in articoli scientifici. Lo scorso anno un informatico francese scoprì[1] decine di documenti contenenti frasi come “Regenerate Response”, uno dei pulsanti di ChatGPT che ordina al programma di OpenAI di riscrivere la risposta più recente. Si potrebbe dire, in questo caso, che manca proprio l’abilità di copiare bene prima di far pubblicare.

A livello internazionale è impossibile conoscere la reale entità del problema. Almeno per ora. Ma, indirettamente, è possibile fare un po’ di luce sulla questione. Va da sé che anche i ricercatori “onesti” potrebbero trovarsi ad avere a che fare con dati inquinati dall’Intelligenza Artificiale.

L’anno scorso, presso l’École polytechnique fédérale de Lausanne in Svizzera sono stati arruolati lavoratori a distanza tramite un sito web. In un documento pubblicato a giugno scorso[2], un team di ricercatori del politecnico elvetico ha rivelato che oltre un terzo delle risposte ricevute era stato prodotto con l’aiuto di chatbot. Il team accademico d’oltralpe è stato in grado di confrontare le risposte ricevute con un’altra serie di dati generati interamente da esseri umani, trovandosi così in una “posizione privilegiata per individuare l’inganno”. Molte discipline, soprattutto nelle scienze sociali, si affidano a piattaforme online per trovare intervistati disposti a rispondere ai questionari. Per questo motivo è improbabile che la qualità della ricerca migliori se molte delle risposte provengono da macchine piuttosto che da persone reali.

Frodi legate all’imaging generato da IA

Un altro esempio di frode ha interessato tempo fa la statunitense University of Stanford. Nel corso di quattro anni una microbiologa “esperta nello scoprire e combattere le frodi” della medesima università ha identificato[3] decine di documenti contenenti immagini che, pur provenendo da laboratori diversi, sembravano avere caratteristiche identiche. Da allora sono stati identificati più di mille altri documenti. L’ipotesi più accreditata è che le immagini fossero state prodotte dall’Intelligenza Artificiale per la creazione e per sostenere le conclusioni di un articolo.

Per ora non esiste un modo per identificare in modo affidabile i contenuti generati dalle macchine, siano essi immagini o parole. Le aziende produttrici di software di Intelligenza Artificiale hanno provato a inserire delle filigrane all’interno dei testi; tuttavia, esse si sono rivelate facili da falsificare. In altre parole, potremmo essere arrivati alla fase in cui non siamo più in grado di distinguere produzioni vere da quelle false. La produzione di documenti falsi, inoltre, non è l’unico problema.

L’AI e il rischio di “intossicazione” dei modelli addestrati sui propri risultati

Ci possono essere problemi più sottili con i modelli di Intelligenza Artificiale, soprattutto se vengono utilizzati nel processo stesso di una scoperta scientifica. Molti dei dati utilizzati per addestrare tali modelli, ad esempio, saranno necessariamente un po’ più risalenti. Questo rischia di lasciare alcuni modelli indietro rispetto all’avanguardia in campi in rapida evoluzione. Un altro problema sorge quando i modelli di Intelligenza Artificiale vengono addestrati su dati generati dall’Intelligenza Artificiale stessa. Ad esempio, l’addestramento di una macchina su scansioni imaging a risonanza magnetica sintetiche può aggirare i problemi connessi alla protezione dei dati personali dei pazienti (es. il nostro GDPR). Ma a volte questi dati possono essere usati involontariamente in maniera non consona (né legale). E se si pensa che i modelli linguistici vengono addestrati su testi estrapolati da Internet, man mano che “sfornano” testi di questo tipo, cresce il rischio che tali modelli “inalino” i loro stessi risultati. Restandone “intossicati”.

Tutto ciò può causare una sorta di “collasso del modello”. Lo scorso anno un informatico della britannica University of Oxford, è stato coautore di un lavoro[4] in cui un modello veniva alimentato con cifre scritte a mano e gli veniva chiesto di generare cifre proprie, che gli venivano restituite a loro volta. Dopo alcuni cicli, i numeri prodotti dalla macchina diventavano più o meno illeggibili. Dopo venti iterazioni, il modello risultava essere in grado di produrre solo cerchi approssimativi o linee sfocate. Secondo questo lavoro, i modelli addestrati sui propri risultati producono risultati molto meno precisi e variegati dei dati di addestramento. Alcuni temono che le intuizioni generate dalle macchine possano derivare da modelli di cui non si comprende il funzionamento interno. I sistemi di apprendimento automatico (Machine Learning) sono “scatole nere difficili da smontare” per gli esseri umani. I “modelli inspiegabili” non sono inutili, ma i loro risultati devono essere testati rigorosamente nel mondo reale. E questo è forse meno inquietante di quanto sembri. Dopo tutto, la verifica dei modelli rispetto alla realtà è ciò che la scienza dovrebbe fare, poiché nessuno comprende appieno il funzionamento del corpo umano (es. i nuovi farmaci devono essere testati in studi clinici per capire se funzionano o meno).

Le minacce dell’IA al metodo scientifico

Almeno per ora, le domande sono più numerose delle risposte. Ciò che è certo è che molti degli “incentivi perversi”, attualmente presenti nel mondo scientifico, sono pronti per essere sfruttati appieno. L’enfasi posta sulla valutazione delle prestazioni accademiche in base al numero di articoli che un ricercatore può pubblicare, ad esempio, agisce come un potente incentivo alla frode nel peggiore dei casi e come un incentivo al gioco del sistema nel migliore. Le minacce che le macchine pongono al metodo scientifico sono, in fin dei conti, le stesse che pongono gli esseri umani “con le proprie mani” al medesimo metodo. L’Intelligenza Artificiale potrebbe accelerare la produzione di frodi e assurdità tanto quanto accelera lo sviluppo della “buona scienza”.[5]

Note


[1] Scientific sleuths spot dishonest ChatGPT use in papers. Nature. https://www.nature.com/articles/d41586-023-02477-w

[2] Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks. Arxiv. https://arxiv.org/abs/2306.07899

[3] Elisabeth Bik: Several anomalies ‘indicate a certain tendency to cut corners’. Il Manifesto Global Edition. https://global.ilmanifesto.it/elisabeth-bik-several-anomalies-indicate-a-certain-tendency-to-cut-corners/

[4] What is Model Collapse and how to avoid it. The Register. https://www.theregister.com/2024/01/26/what_is_model_collapse/

[5] AI could accelerate scientific fraud as well as progress. The Economist. https://www.economist.com/science-and-technology/2024/02/01/ai-could-accelerate-scientific-fraud-as-well-as-progress

EU Stories - La coesione innova l'Italia

Tutti
Iniziative
Video
Analisi
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati

Articolo 1 di 2