Covid-19 ha travolto anche la comunicazione scientifica sulle riviste specializzate, con un certo rischio sulla qualità della ricerca.
Si è assistito a un vertiginoso aumento degli articoli riguardanti il virus SARS-CoV-2, ma, a differenza di quanto avviene normalmente, gli articoli frutto di commenti, revisioni, “point of view”, editoriali (i cosiddetti report qualitativi) hanno superato abbondantemente il numero di articoli scientifici originali, frutto della ricerca sul campo (i cosiddetti report quantitativi). Il UK National Institute for Health Research (una iniziativa a cui partecipano diverse università inglesi) che analizza con aggiornamenti settimanali gli articoli pubblicati su riviste scientifiche riguardanti SARS-CoV-2 e COVID-19 ha addirittura quantificato nel 63% la percentuale di articoli scientifici senza dati rispetto al 37% di report quantitativi pubblicati fino al 14 aprile.
E’ vero che nella prima fase dell’epidemia, quando gli studi arrivati a conclusione e quindi potenzialmente pubblicabili erano pochi, si è dovuto in qualche modo sopperire con articoli più divulgativi e meno scientifici. Il fenomeno è però rimasto costante negli ultimi mesi, quando pure si sono resi disponibili numerosi studi e dati. Con il risultato che tali articoli divulgativi in certi casi non sono molto diversi, come tipologia, dalle pubblicazioni ospitate sui media “laici”. Per esempio, riviste come Nature, Science e Lancet hanno ospitato articoli che descrivevano il funzionamento delle app disponibili a livello internazionale per fare il contact tracing usando un linguaggio e una forma non diversa da quella usata da numerosi quotidiani e portali di informazione come quello che ospita questo articolo.
Peer-review modello in crisi
Perché ciò è accaduto? Sono varie le ragioni. Intanto per il desiderio da parte delle riviste scientifiche di cercare di rimanere al passo rispetto ai media tradizionali e alla velocità con cui i fatti accadevano (e tuttora accadono). Ciò ha giovato anche agli stessi ricercatori che, con uno sforzo inferiore a quello richiesto per la pubblicazione di report quantitativi, hanno potuto aumentare la propria visibilità (e con la loro anche quella della rivista scientifica che ha pubblicato il loro articolo), dando seguito al loro motto “publish or perish” (pubblica o muori).
E poi perché su questa tipologia di articoli le riviste scientifiche non hanno dovuto applicare rigorosamente il processo di peer-review (il processo per il quale un articolo viene sottoposto a revisione da diversi revisori indipendenti scelti dalla rivista ed esperti della materia che ne valutano la correttezza dal punto di vista etico, metodologico e statistico al fine di decidere della sua pubblicazione), tipico dei report quantitativi, che ne avrebbe ritardato la pubblicazione.
A dire il vero non è che le cose siano andate meglio nei casi di articoli quantitativi peer-reviewed. Per non rimanere indietro le riviste mediche hanno dovuto accelerare il processo di pubblicazione, la cui principale componente riguarda proprio il processo di peer-review. Un’analisi condotta su 14 riviste mediche ha mostrato che il tempo medio di attesa tra la sottomissione di un articolo riguardante il covid-19 e la sua pubblicazione è stato di 60 giorni rispetto ai 117 giorni necessari per articoli pubblicati prima della pandemia.
Effetti del rallentamento della peer-review
Questa contrazione dei tempi ha inevitabilmente introdotto delle distorsioni nel processo di peer-review, abbassandone l’efficacia e la qualità. Non si spiega altrimenti come sia stato possibile pubblicare sul New England Journal of Medicine uno studio su 53 pazienti sulla efficacia di un farmaco firmato da 56 autori (gli autori erano più numerosi dei pazienti i cui dati sono stati analizzati nello studio), senza che lo studio prevedesse alcun gruppo di controllo per il farmaco studiato. O ancora non si spiega come, sempre sul New England Journal of Medicine, sia stato pubblicato un articolo in cui si confrontavano due regimi diversi dello stesso trattamento (il Remdesivir, 5 giorni vs 10 giorni) risultati equivalenti ai fini dello stato delle condizioni cliniche dei pazienti, ma sul cui beneficio non è stato possibile affermare nulla perché mancava un braccio di controllo.
Alcune di queste distorsioni hanno addirittura portato al ritiro di una pubblicazione a causa delle irregolarità nella raccolta dei dati sui cui si erano basate le analisi statistiche. Alla fine di maggio il New England Journal of Medicine e The Lancet avevano pubblicato due articoli che dimostravano la pericolosità della idrossiclorochina prescritta a pazienti covid-19 perché ritenuta responsabile dell’aumento del rischio di morte, di aritmie ventricolari e di altri problemi cardiaci.
Lo studio, seppur condotto su circa 100.000 pazienti, non era randomizzato (la metodologia più solida dal punto di vista scientifico) ma osservazionale. I dati provenivano da cartelle cliniche ospedaliere (da circa 1000 ospedali) operanti in numerosi paesi del mondo che erano nelle disponibilità di una piccola società con base a Chicago, la Surgisphere, ai più sconosciuta nel mondo scientifico. Co-autori dello studio, oltre al titolare di Surgisphere, erano diversi noti ricercatori delle più prestigiose università americane.
Regole più stringenti: basteranno?
Un’indagine del Guardian ha scoperto che i dipendenti di questa società avevano limitate competenze scientifiche, che il loro “science editor” risultava essere un autore di fantascienza, ma soprattutto che i dati su cui si basavano gli articoli erano palesemente incoerenti con quanto riportato dalle fonti ufficiali di alcuni Paesi, come per esempio l’Australia, dove gli ospedali interessati, interrogati dal Guardian, avevano anche ammesso di non conoscere Surgisphere.
In seguito all’inchiesta del Guardian, The New England Journal of Medicine e The Lancet hanno deciso di ritirare le due pubblicazioni. Hanno anche dichiarato che in futuro avrebbero adottato regole più rigide in fatto di peer review in particolare proponendo il coinvolgimento tra i revisori di persone con competenze più specifiche nel campo dei big data, imponendo norme più severe sulla condivisione dei dati come requisito per l’accettazione di un articolo, e infine chiedendo una maggiore responsabilizzazione ai co-autori di un articolo perché assumano un ruolo più attivo nell’indagare sull’origine dei dati elaborati (nel caso specifico i co-autori dei due articoli sono risultati estranei alla truffa).
Il caso idrossiclorochina
Aver dichiarato di voler introdurre regole più stringenti per la peer-review (che, è bene ricordarlo, è limitata agli aspetti metodologici e non alla veridicità dei dati), sembra tuttavia non essere stato sufficiente per la comunità scientifica che da molti anni chiede invece che i dati sui quali sono condotte le analisi i cui risultati sono oggetto di pubblicazioni scientifiche siano resi disponibili (in modalità open data) a tutti coloro che volessero utilizzarli per scopi di ricerca o solo per verificare la correttezza delle analisi condotte.
L’aspetto più drammatico di questa vicenda è che l’Organizzazione Mondiale della Sanità, anche in virtù dei risultati presentati nei due articoli incriminati, aveva deciso di bloccare il braccio idrossiclorochina di una importante sperimentazione clinica randomizzata (il mega trial Solidarity, attivato in molti Paesi del mondo), salvo poi riattivarlo qualche giorno dopo il ritiro delle due pubblicazioni anche in seguito ad analisi preliminari sui dati raccolti fino a quel momento che non mostravano quei pericoli.
I rischi dei servizi di pre-print
Lo stravolgimento della comunicazione scientifica da parte delle riviste specialistiche è stato dettato anche da un altro fattore: i servizi di pre-print. Piuttosto noti e utilizzati da anni dalla comunità dei fisici, questi servizi forniscono dei server dove i ricercatori possono anticipare i loro articoli. Non si tratta quindi di articoli sottoposti ad alcuna peer-review, la cui qualità e affidabilità non è per questo garantita. Tali articoli possono essere contestualmente sottomessi dagli autori a una rivista tradizionale che farà così partire il processo di peer-review che, nei casi fortunati, si concluderà con la loro pubblicazione.
In occasione della pandemia, tale pratica si è estesa all’ambito della medicina. MedRxiv, un servizio di pre-print nato da meno di un anno, a gennaio contava 220 articoli relativi a covid-19, mentre oggi ha raggiunto l’incredibile numero di 4.860. Solo il 20% di questi articoli raggiunge la pubblicazione finale su una rivista medica tradizionale a testimonianza della limitata affidabilità dei contenuti.
La velocità con la quale questi servizi mettono a disposizione della comunità scientifica (e dell’opinione pubblica) report quantitativi ha ulteriormente accelerato i tempi di peer-review degli articoli da parte delle riviste tradizionali portandoli in certi casi a 2 o 3 giorni. Ai “rapid reviewers” reclutati dalle riviste tradizionali viene anche chiesto di identificare interessanti articoli su Covid-19 disponibili sui servizi di pre-print al fine di risparmiare tempo se tali manoscritti finiscono per essere inviati alle loro riviste peer-reviewed.
Articoli pre-print e media tradizionali
I pre-print non dovrebbero essere considerati report conclusivi e definitivi, non dovrebbe guidare la pratica clinica, e non dovrebbe essere riportati dai media come informazione consolidata.
Il problema è che essi, complici i social media che ne amplificano la portata, vengono divulgati presso l’opinione pubblica e i decisori delle politiche sanitarie, i quali non sempre riescono a riconoscere un articolo che ha subito un rigoroso processo di peer-review rispetto a un altro che non ha seguito la stessa via. D’altra parte l’opinione pubblica, soprattutto in un periodo di emergenza come quello attuale, vuole vedere i risultati appena disponibili, e non dopo un processo di peer-review che inevitabilmente allunga i tempi di pubblicazione.
Per queste ragioni i media tradizionali contribuiscono non poco a generare confusione nel diffondere contenuti e risultati provenienti da articoli pre-print. Giornali e tv, per inseguire lo scoop, non lesinano a riprendere articoli pre-print dai contenuti non sempre affidabili e a spacciarli, volutamente o involontariamente, come veri articoli scientifici. Prendiamo il caso di quell’articolo pre-print pubblicato nella prima settimana di giugno nel quale si ipotizza che il coronavirus circolasse già lo scorso autunno a Wuhan.
Traffico e virus: un caso di scuola
I ricercatori sono arrivati alla conclusione che potesse esserci un’associazione tra il traffico (rilevato attraverso immagini satellitari) nei parcheggi intorno agli ospedali di Wuhan (e nella provincia dell’Hubei) nel periodo tra agosto e ottobre e i casi di covid-19, dato che tale traffico, rispetto agli anni precedenti e nelle stesse date e luoghi, appariva sensibilmente in aumento.
Tale ipotesi sono ulteriormente avvalorate dal fatto che un’analisi del trend delle ricerche su Baidu (il google cinese) di parole associate a covid-19 (come tosse, febbre, diarrea) ha individuato tali parole tra quelle più ricercate nello stesso periodo.
Ebbene, questo articolo rappresenta un modello di come la diffusione di questi contenuti può falsare la verità. Due sono stati i principali problemi legati a questo articolo:
- i media nel comunicarlo, oltre a non citare il fatto che si trattava di un articolo non sottoposto a peer-review, hanno insistito molto sulla relazione causa-effetto, omettendo il fatto che analisi di questo tipo possono trovare solo possibili associazioni tra i due fenomeni (come peraltro specificato dagli stessi autori);
- l’articolo contiene degli evidenti limiti metodologici (non rilevati da alcun revisore esterno dato che non è stato sottoposto a peer-review). Per esempio l’incremento del traffico in quelle zone non è stato confrontato con il traffico rilevato attraverso la stessa metodologia in zone diverse da Wuhan (e dalla provincia dell’Hubei) dove si sono avuto pochi casi di covid-19. Un eventuale controllo di questo tipo, nel caso di un simile associazione, avrebbe potuto escludere il legame con covid-19 ipotizzando invece un legame con l’influenza stagionale.
La sostanza del discorso è che per diversi giorni questo articolo ha tenuto banco sui giornali e tv nazionali omettendo il fatto che non si trattava di un articolo tradizionale e senza fornire un’interpretazione più efficace dal punto di vista giornalistico (quella di causa-effetto) non supportata nemmeno dagli autori che si sono limitati invece a parlar di possibile associazione (quella tra l’incremento di visitatori e l’aumento dei casi di covid-19) tutta da verificare. E’ inoltre da registrare il fatto che i media nostrani non hanno nemmeno consultato i media stranieri che nel riprendere la notizia avevano correttamente evidenziato questi e altri limiti metodologici.
Le strategie da seguire
Il ruolo della peer-review e delle stesse riviste mediche tradizionali è messo sempre più in discussione. Ad oggi però non esistono alternative alle riviste mediche ufficiali. E’ da ripensare il processo di peer-review, esigendo dalle riviste mediche una maggiore dinamicità per accorciare i tempi di pubblicazione pur conservando al tempo stesso la rigidità del metodo, unica via per garantire una maggiore affidabilità e qualità dei contenuti.
Andrebbe forse pensato a un freno all’eccessivo uso di server pre-print da parte dei ricercatori medici per evitare la diffusione di contenuti non corretti dal punto di vista metodologico. Andrebbe certamente chiesto ai media tradizionali di prestare la massima attenzione alla divulgazione di questi materiali, dando spiegazioni, dove ciò accade, che il livello della loro affidabilità rispetto a quello degli articoli scientifici pubblicati dalle tradizionali riviste mediche è decisamente più basso.
