L’In-fallibile scienza

Uno straordinario articolo sul settimanale inglese “The Economist” ha garbatamente spogliato, fino a renderlo quasi del tutto nudo, il paradigma della “scienza basata sulle prove di efficacia”, per difendere il quale non pochi ricercatori sarebbero probabilmente pronti a gettarsi nel fuoco. E – sorpresa – l’ha fatto con metodo scientifico.

Negli ultimi secoli, la scienza ha prodotto innumerevoli scoperte che hanno di gran lunga migliorato la qualità della vita dell’uomo, ma ha anche generato un certo autocompiacimento tra gli addetti ai lavori.

Quante volte abbiamo letto in appassionati – a volte rabbiosi – thread di commento a qualche articolo sul web “…la scienza dice che”, o “è ridicolo, non è provato scientificamente”, o ancora “se è scritto su PubMed è così!” …?
Sacrosanto. Se fosse tutto vero, e se il sistema fosse perfetto.

Ecco allora alcune riflessioni alla ricerca di nuove verità: nulla in realtà è veramente come sembra, in scienza. Pillola blu: la tua vita resta tranquilla, le tue certezze incrollabili, la tua fiducia nella scienza assoluta, e ti assicuriamo anche l’immunità totale da ogni tipo di preoccupazione. Pillola rossa: la tua vita cambia, non sai se in meglio o in peggio, ma ti diamo l’opportunità di metterti in gioco, abbandonando molte certezze e riacquistando la capacità di porti domande…

L’EBM non gode di buona salute

Iniziamo dal ricordare – come chiunque investa in biotecnologie sa bene – che almeno il 50% degli studi pubblicati in quel settore non è ripetibile, e questa potrebbe essere una stima ottimistica. Gli esempi non mancano: ad esempio, nel 2012 – ricorda un articolo di “Nature” – i ricercatori dell’azienda biotecnologica “Amgen” hanno scoperto non senza sorpresa che erano in grado di replicare solo 6 dei loro 53 studi oncologici definiti “fondamentali”.

Neppure nella medicina il paradigma della “ripetibilità” degli studi gode di buona salute: l’inquietante dato è stato confermato dalla multinazionale farmaceutica Bayer, che – sulla base delle risultanze di una verifica pubblicata su “Nature Reviews Drugs Discovery” – è riuscita a ripetere solo il 25% di 67 esperimenti altrettanto importanti, sui quali aveva in parte basato le richieste di approvazione alla messa in commercio di una serie di farmaci.

Un’ulteriore ricerca ha dimostrato che – nel decennio 2000/2010 – circa 80.000 pazienti hanno partecipato a test clinici basati su studi che poi sono stati “ritrattati” a causa di errori o procedure inappropriate.

Non pochi degli studi alla base delle richieste di Autorizzazione all’Immissione in Commercio dei farmaci sono svolte in Cina, a causa dei minori costi dei trial clinici. Tuttavia, un indagine condotta dalla FDA cinese (Chfda) su 1622 sperimentazioni, ha rilevato mancanza di documenti e esiti negativi nei test di bioequivalenza: l’80% dei test clinici sui farmaci condotti in Cina sarebbe fasullo, con dati incompleti, irrintracciabili o che non soddisfano gli standard minimi di qualità o creati ad hoc per confermare le tesi iniziali.

Il quotatissimo British Medical Journal ha recentemente denunciato un vero e proprio ‘buco nero’ nella pubblicazione trial clinici. Secondo lo studio dal titolo “Publication and reporting of clinical trial results: cross sectional analysis across academic medical centers”, condotto dalla Yale School of Medicine, emerge come le decisioni sull’efficacia dei farmaci, e quindi sulla loro approvazione, “siano fino ad oggi state prese sulla base di informazioni incomplete, dato che i risultati di quasi tre quarti degli studi clinici non vengono pubblicati entro due anni dal loro completamento (…), una situazione che mette a rischio soprattutto i pazienti e distorce i risultati di ogni ricerca sulle banche dati mediche”. Pare che meno di una sperimentazione completata su tre venga pubblicata entro due anni dal completamento e che solo il 13% appaia sul più grande database degli studi clinici degli Stati Uniti, che è ClinicalTrials.gov.  Harlan Krumholz ha esaminato il suo team i tassi di pubblicazione e comunicazione dei risultati entro due anni di più di 4.300 studi condotti in 3 anni da oltre 51 istituzioni leader americane: nessun centro accademico ha pubblicato oltre il 40% degli studi clinici entro due anni dal completamento. “La mancanza di comunicazione e pubblicazione tempestiva danneggia nel profondo la ricerca, viola l’impegno assunto dai ricercatori con pazienti e finanziatori, sperpera tempo e risorse preziose, e rischia di compromettere il processo decisionale clinico basato sull’evidenza”, hanno dichiarato gli autori dello studio.

Un caso eclatante di mistificazione apparentemente rispettosa dei criteri dell’EBM, è quello della multinazionale farmaceutica Glaxo e del Paxil, antidepressivo blockbuster da 2 miliardi di dollari di vendite l’anno: venne poi fuori a distanza di anni – con l’azienda tutt’altro che collaborativa con la Magistratura – che il famigerato “Studio 329”, sul quale era stata basato l’ottenimento dell’autorizzazione alla messa in commercio del farmaco, era stato manipolato nella sua essenza, non senza l’aiuto di “ghostwriter” pagati dalla multinazionale stessa. E la tecnica, nota nel settore del giornalismo scientifico investigativo, dello “scambio di risultato”: i quesiti ai quali lo studio scientifico dovrebbe rispondere, in caso di problemi e di risposte non confacenti, vengono semplicemente “modificati in corso d’opera”, adattando quindi lo studio ai risultati che man mano emergono in itinere. Glaxo, dopo un estenuante battaglia legale – promossa forse dall’azienda per rivendicare il proprio diritto a stimolare idee suicidarie nei pazienti al fine di fare più soldi – pagò la più alta multa mai comminata a una farmaceutica, oltre 3 miliardi di dollari, con buona pace dei familiari dei malati poi deceduti che, sulla base delle “evidenze scientifiche disponibili”, avevano optato per una strategia terapeutica a base di Paroxetina.

Più in generale, l’Università di Edimburgo, ha esaminato nel dettaglio inchieste e sondaggi svolti all’interno della comunità accademica nel ventennio 1988-2008: un poco rassicurante 2% dei ricercatori ha ammesso “di aver falsificato i dati”, mentre il 28% di essi ha confessato di “conoscere personalmente colleghi che hanno utilizzato metodi discutibili durante la progettazione o l’esecuzione dei loro esperimenti”.
Come possiamo riporre cieca fiducia in un sistema di valutazione spacciato per “verbo” e invece tale da evidenziare falle di queste proporzioni?

Ritrovare credibilità: quali soluzioni?

Da anni si discute – invano – dell’ipotesi di rendere obbligatoria la registrazione in anticipo dei protocolli di ricerca, rendendoli controllabili on-line, al fine di non far cadere i ricercatori nella tentazione – molto più diffusa di quanto si pensi – di modificare la struttura dell’esperimento a metà strada per far apparire i risultati più significativi di quanto non siano in realtà. Ma neppure in medicina, dove in molti Stati questa prassi è formalmente obbligatoria, essa è applicata con rigore: prova ne sia che ben 1/3 degli studi finanziati dai National Institute of Health in USA non erano ancora stati pubblicati dopo ben 50 mesi dal loro avvio, e questo è statisticamente ancor più vero per tutte le altre discipline scientifiche, mentre un analogo studio di BMC Medicine ha dimostrato che oltre il 30% dei trial clinici non si atteneva alle indicazioni prestabilite prima dell’inizio dei test.

A tutto ciò aggiungiamo che i “risultati negativi” rappresentano solo il 14% degli articoli pubblicati, rispetto al 30% degli anni ’90, come conferma uno studio della già citata Università di Edimburgo svolto comparando ben 4.600 lavori scientifici, con il risultato che – a causa della mancata pubblicazione dei “fallimenti” – altri ricercatori continuano a sprecare fatica e denaro nel percorrere vicoli ciechi che altri hanno già precedentemente esplorato.

Gli ostacoli all’effettiva “ripetizione” degli esperimenti sono poi molteplici: da uno studio pubblicato pochi mesi fa su PeerJ emerge ad esempio che più del 50% degli articoli di biomedicina pubblicati su ben 84 riviste scientifiche non riportavano l’indicazione dei reagenti chimici necessari per ripetere l’esperimento e verificarne i risultati (!). E in ogni caso, gli esperti e soprattutto gli enti finanziatori, ammettono che “la ripetizione di esperimenti già conclusi a scopo di verifica non rientra tra le prirorità”, come conferma Elga Nowotny, Presidente del European Research Council.
E c’è un dato ancor più evidente: la verifica a posteriori dei risultati ottenuti da altri, di per se – al contrario – non aiuta per nulla la carriera: non rileva, e soprattutto non interessa a nessuno, con il risultato che esiti di esperimenti spacciati per buoni, e invece per nulla rilevanti o addirittura negativi, ma non verificati in profondità, portano fuori strada l’intera comunità accademica, “dopando” i risultati sulle banche dati, e dando un’illusione di “solidità di risultanze” in realtà inesistente.

Anche il mondo delle riviste specializzate, che “nutrono” le più importanti banche dati scientifiche online, stimola preoccupanti riflessioni. Per mantenere il proprio – presunto – alto profilo qualitativo, le riviste più importanti sono ansiose di pubblicare notizie eclatanti, e rifiutano più del 90% dei lavori che ricevono: quelli con più probabilità di finire sulle loro pagine sono però quelli più “singolari”, in grado di “far parlare di più” all’interno della comunità scientifica e non solo, e – di conseguenza – c’è poco da meravigliarsi per la pratica diffusa da parte degli autori di rendere “più interessante” un articolo escludendo dai risultati i “dati scomodi”, indebolendo però così la pubblicazione stessa, che alla lunga può non reggere alla disamina della stessa comunità scientifica. Prova ne sia che negli ultimi 10 anni il numero di “ritrattazioni” di articoli da parte dei loro stessi autori è decuplicato.

I limiti della peer review

Ma quanti sono gli articoli “adulterati” che non vengono scoperti? Neanche il tanto decantato metodo peer review è utile per scoprirlo. Il biologo e giornalista scientifico John Bohannon ha fatto un test al riguardo, inviando a ben 304 riviste scientifiche indicizzate uno studio sugli effetti di alcuni licheni sulle cellule cancerogene, firmandosi con uno pseudonimo. Ebbene, l’intero studio era totalmente inventato, conteneva errori di progettazione evidenti, e addirittura risultava redatto da un ricercatore di un’Università inesistente. Clamoroso: 157 riviste scientifiche accettarono di pubblicarlo.

Tempo prima, l’allora direttrice del BMJ, Dr. sa Fiona Goodle azzardò un provocatorio ma significativo test di questo genere, inviando a 200 revisori della rivista, l’uno all’insaputa dell’altro, un articolo contenente – volutamente – 8 errori di analisi e interpretazione: non solo nessuno dei 200 esperti individuò tutti gli errori, ma la desolante media degli errori individuati si fermò a due.

Pare che uno dei problemi – paradossalmente – sia la crescita esponenziale del numero dei ricercatori, passati dalle poche migliaia degli anni ’50 ai 7 milioni di oggi: l’obbligo di “pubblicare a qualsiasi costo” ormai governa l’intera vita accademica. La concorrenza è folle, perché – come noto – gli avanzamenti di carriera sono legati anche al numero di pubblicazioni scientifiche firmate.

Un equipe dell’Università di Oxford ha ideato il progetto ComPare, proprio per studiare questi fenomeni fortemente distorsivi della “Evidence-Base Medicine” – che, è bene ricordarlo, non traduce “medicina basata sull’evidenza”, bensì “medicina basata sull’efficacia”, due terminologie ben differenti dal punto di vista epistemologico – e ha analizzato tutti gli studi clinici pubblicati in un periodo di 5 mesi dalle 5 riviste mediche più prestigiose del mondo: solo il 14% era conforme ai protocolli, e nel restante 86% erano stati inseriti “silenziosamente in corso d’opera” ben 357 alterazioni ai quesiti iniziali degli studi. Pazientemente, per ogni trial “truccato” il team coordinato da Ben Goldacre ha scritto una lettera formale al Direttore della rivista “imputata”, evidenziando la non genuinità del processo di definizione dei risultati delle ricerche e chiedendo quindi delle rettifiche, con i seguenti – desolanti – risultati: nel 12% dei casi si sono apportate le doverose modifiche agli studi; nel 60% dei casi il problema è stato ignorato o vi è stato un rifiuto a prenderlo in carico; nel restante 28% dei casi è stata formalizzata per iscritto la più surreale delle risposte, ovvero che “non era necessario intervenire per rettificare, in quanto qualunque lettore attento e diligente si sarebbe accorto lui da solo dell’errore”.

Goldacre – annunciando la futura pubblicazione di uno studio sugli effetti distorsivi di queste pratiche – ha commentato così questo test, prendendo in prestito dei termini dal vocabolario dell’immunologia: “Quando si ‘provoca’ il sistema, le reazioni dicono molto del suo funzionamento. Il nostro intento però non è ‘maligno’: noi vogliamo solo comprendere la patologia”.

Il ruolo delle agenzie di controllo sanitario

Poi c’è capitolo delle agenzie nazionali di controllo sanitario, percepite da molti come un importante baluardo dell’indipendenza scientifica, sono fonte di preoccupazione. Tralasciando il tema sempre attuale – e assai dibattuto – dei conflitti di interessi, limitiamoci ad esaminare quanto è accaduto circa il glifosfato, l’erbicida in assoluto più usato al mondo, sospettato di essere cancerogeno. La IARC – Agenzia Internazionale per la Ricerca sul Cancro, ha recentemente conferrmato questi dubbi, in esito a un’analisi della letteratura scientifica durata un anno, dalla quale sono emerse “prove convincenti” che il glifosfato causasse cancro alle cavie da laboratorio e “prove significative” che esso possa danneggiare il DNA e i cromosomi delle cellule umane. La IARC – che ha tra i suoi compiti quello di fornire all’Organizzazione Mondiale della Sanità elementi solidi per formulare i propri pareri – è nota per il suo altissimo rigore scientifico e per la sua indipendenza, lavora con i migliori scienziati ed esperti di regolamentazione del mondo, e ha una politica sul conflitto di interessi severissima: il suo parere sta facendo molto discutere, soprattutto perché – sullo stesso tema – le più importanti agenzie di controllo sanitario del mondo – quella tedesca, anch’essa serissima, non più tardi di pochi mesi fa – avevano evidenziato risultati esattamente opposti, ovvero contrari a ogni ipotesi di pericolosità e mutagenicità della sostanza. Il punto è che la maggior parte degli enti di regolamentazione è restia ad ammettere che le valutazioni scientifiche implichino comunque delle “scelte” – con riguardo ad esempio alla valutazione di prove contraddittorie, o al grado di obiettiva affidabilità riconosciuto a uno studio, e questo per vari motivi: perché la scienza è un autorevole fonte di auto-legittimazione; perché il desiderio implicito della scienza stessa è che ogni valutazione basata su evidenze appaia sempre obiettiva, affidabile e consensuale; perché – infine – riconoscere questi bias equivarrebbe a stendere un allarmante velo di dubbio su centinaia di migliaia di precedenti pareri, scenario rischiosissimo anche in termini di potenziale impatto sulla pubblica opinione.

Un orizzonte lontano

Concludendo, il dibattito sui “correttivi” da apportare al sistema è acceso, e i suggerimenti si sprecano: dalla pubblicazione obbligatoria dei risultati negativi, a linee di finanziamento finalizzate appositamente alla verifica dei risultati di precedenti studi, a codici etici impegnativi per i ricercatori, a criteri più rigidi per le riviste scientifiche. Ma l’orizzonte di una scienza sempre davvero “credibile” pare ancora lontano.

Il rispetto – sacrosanto – dovuto al metodo scientifico si basa anche sulla presunzione che la scienza sia capace di “correggersi da sola” quando sbaglia.
Lo scenario che abbiamo dinnanzi pare invece essere quello di una comunità scientifica autoreferenziale, affannata dalla corsa ai finanziamenti e concentrata quindi sull’ottenere risultati positivi “costi quel che costi”; di ricercatori al governo di una scienza esatta in virtù non già di risultati obiettivi, bensì della percezione stessa che la scienza ha di se; di un “mercato” della ricerca non genuino, che restituisce a tutti noi risultati inautentici, sui quali poi noi stessi dovremmo basare le nostre quotidiane certezze.

La speranza è che questo sistema di cose prima o poi possa cambiare. Grazie alla scienza stessa, ovviamente. Infallibile per molti, ma invece intrinsecamente fallace, come il metodo scientifico e le statistiche dimostrano “al di la di ogni ragionevole dubbio”.