'La ricerca medica è scandalosa' - dal British Medical Journal

Mauro Sartorio
[Preferisci ascoltare piuttosto che leggere? Ascolta il video-podcast (durata 14 minuti) e iscriviti al canale YouTube]




Mitologia della scienza
Dimentica "la scienza", perchè in medicina non esiste.

"Lo dice la scienza" è infatti un'espressione che non può essere altro se non il preambolo ad un dogma, un atto di fede che non ha niente di scientifico.

Per diversi motivi:

Arte medica
1- principalmente perchè la medicina non è una scienza esatta che possa circoscrivere tutto dentro spazi misurabili, definiti e definitivi, ma è invece un'arte umanistica di relazione tra persone.
Io non sono un medico, ma personalmente mi piace guardare a questo mestiere più come all'attività di un artista o di un esperto artigiano, piuttosto che di uno "scienziato".

2- Poi "lo dice la scienza", a maggior ragione se veicolato con un tono perentorio, non può avere un fondamento nella realtà poichè, oggi, la proporzione tra "scienza e coscienza" nel mestiere del medico è di 1:9, cioè 11% scienza e 89% coscienza (almeno).
Perchè l'89% delle prestazioni sanitarie di uso corrente non sono fondate su chiare prove di efficacia - Evidence Handbook 2011-2012.

3- Inoltre la maggioranza delle teorie che spiegano i fenomeni biologici (cioè il "come" funzionano le cose e l'eziologia) sono fondate su ipotesi, parzialmente o del tutto non verificate.
È proprio per questo motivo che possono esistere così tante teorie come anche le stesse 5 Leggi Biologiche: perchè c'è un enorme vuoto di conoscenza da colmare.
Se "la scienza dicesse" veramente, non ci sarebbe spazio per discuterne.

4- Con la consapevolezza che sappiamo davvero molto poco e che fare il medico è un'arte (anche molto articolata), ora si tratterebbe di mettersi con buona volontà in un eccitante viaggio alla scoperta di cose nuove e straordinarie...se non fosse che oggi nella ricerca scientifica si frappongono grossi problemi di tipo sistemico.
Quali siano questi problemi ce lo spiega Richard Smith in questo suo severo editoriale del 2014 sul British Medical Journal:


La ricerca medica è ancora scandalosa

In questi giorni di 20 anni fa lo statistico Doug Altman pubblicava un editoriale nel BMJ sostenendo che gran parte della ricerca medica fosse fuorviante e di scarsa qualità.
Nel suo editoriale intitolato "Lo scandalo di una ricerca medica scadente", Altman scriveva che gran parte della ricerca è stata "seriamente viziata a causa di una progettazione degli studi inappropriata, dell'uso di campioni non rappresentativi, di campioni piccoli, di metodi di analisi non corretti e di interpretazioni errate."
Venti anni dopo temo che le cose non siano migliorate ma peggiorate.

La maggior parte degli editoriali, come la maggior parte di ogni cosa e anche delle persone, sparisce nel dimenticatoio molto velocemente, ma l'editoriale di Altman è uno di quelli che sono rimasti.
Ai tempi in cui abbiamo pubblicato l'editoriale, io ero editor del BMJ e l'ho citato spesso, anche recentemente.
È stato pubblicato agli albori della Evidence Based Medicine, in un momento in cui un numero crescente di persone si rese conto di quanto la pratica medica mancasse di prove di efficacia e di quanto la ricerca fosse scadente. 
L'editoriale di Altman, con le sue argomentazioni concise e schiette e un titolo provocatorio, ha cristallizzato lo scandalo.

Perchè, ha chiesto Altman, la ricerca è così scadente?
Perchè "i ricercatori si sentono costretti, per motivi di carriera a portare avanti ricerche che sono malamente attrezzati a eseguire, e nessuno li ferma". In altre parole troppa ricerca medica è stata condotta da dilettanti ai quali era richiesto di fare qualche studio per progredire nelle loro carriere.
I comitati etici che avevano il compito di approvare le ricerche, erano mal preparati per rilevare difetti scientifici, difetti che alla fine sono stati rilevati dagli statistici, come Altman, lavorando come fanno i vigili del fuoco.
La qualità dovrebbe essere garantita all'inizio della ricerca e non a posteriori, come è successo con molte riviste senza competenze statistiche che semplicemente sono andate avanti nella pubblicazione di studi fallaci.

"La scarsa qualità di gran parte della ricerca medica è ampiamente riconosciuta" ha scritto Altman, "eppure è inquietante che gli esponenti della professione medica non sembrino minimamente preoccupati del problema e non facciano alcuno sforzo apparente per trovare una soluzione".

La conclusione di Altman è stata: "Abbiamo bisogno di meno ricerca, di una migliore ricerca e di una ricerca fatta per le giuste ragioni. Abbandonare l'uso del numero di pubblicazioni come misura di valore sarebbe già un inizio".

Purtroppo il BMJ potrebbe pubblicare oggi questo editoriale quasi senza modifiche. Alcuni cambiamenti potrebbero essere che i comitati etici ora sono meglio equipaggiati per rilevare le debolezze scientifiche e che diverse riviste impiegano esperti in statistica.
Tuttavia questi sistemi di garanzia sembrano non funzionare, perchè gran parte di ciò che viene pubblicato continua ad essere fuorviante e di bassa qualità.
In effetti ora comprendiamo che il problema non dipende da chi si diletta a fare ricerca, ma piuttosto dai ricercatori in carriera.

Il Lancet ha pubblicato questo mese una importante raccolta di articoli sugli sperperi nella ricerca medica. 
La raccolta è nata da un articolo di Lain Chalmers e Paul Glasziou nel quale sostenevano che l'85% del denaro speso per la ricerca (240 miliardi di dollari nel 2010) è sprecato.
In un intervento molto forte e importante al congresso sul peer review, lo scorso anno John Ioannidis ha mostrato che quasi nessuna delle migliaia di ricerche che hanno messo in relazione un alimento con una qualche malattia è corretta, e che solo l'1% dei migliaia di studi che correlano i geni alle malattie stanno mostrando correlazioni che sono reali
Il suo famoso articolo "Perchè i risultati delle ricerche più pubblicate sono falsi" continua ad essere il più citato su PLoS Medicine.

La conclusione di Ioannidis sul motivo per cui così tanta ricerca è scadente è simile a quella di Altman: "La maggior parte degli studi scientifici sono sbagliati, e sono sbagliati perchè gli scienziati sono interessati ai finanziamenti e alla carriera piuttosto che alla verità". I ricercatori stanno pubblicando studi troppo piccoli, condotti in tempi troppo brevi e troppo pieni di pregiudizi, con il fine di ottenere promozioni e per garantire i finanziamenti futuri.

Un editoriale nello studio del Lancet sugli sperperi della ricerca cita il premio Nobel 2013 Peter Higgs, il quale racconta quanto fosse in imbarazzo con il suo dipartimento all'Università di Edimburgo per avere pubblicato così poco. Ha detto: "Oggi non vorrei ottenere un lavoro accademico. È così semplice. Non credo che sarebbe considerato abbastanza produttivo". 
Produrre una montagna di ricerca inattendibile è un comportamento vincente rispetto a produrre quei pochi studi che cambierebbero la nostra comprensione del mondo, come ha fatto il paper di Higgs.

Chalmers, Glasziou e altri identificano cinque fasi che portano allo sperpero dell' 85% della ricerca biomedica.
- In primo luogo, buona parte della ricerca non riesce ad affrontare le questioni che contano. Ad esempio i nuovi farmaci sono testati contro placebo piuttosto che contro i trattamenti abituali.
Oppure il risultato ricercato potrebbe già esistere, ma i ricercatori spesso non fanno una revisione sistematica che gli rivelerebbe che la loro ricerca non è necessaria.
Oppure la ricerca si focalizza su obiettivi, come le misurazioni surrogate, che sono inutili.

- In secondo luogo i metodi degli studi possono essere inadeguati. Molti studi sono troppo piccoli e più della metà fallisce nel gestire adeguatamente le distorsioni e i pregiudizi. Inoltre gli studi non vengono replicati, e quando qualcuno ci ha provato ha scoperto che la maggior parte non ha risultati riproducibili.

- In terzo luogo la ricerca non è gestita né regolamentata in modo efficace. I sistemi che dovrebbero garantirne la qualità falliscono nel cogliere i difetti degli studi proposti. Oppure la burocrazia necessaria per avere i finanziamenti e l'approvazione finale può incoraggiare i ricercatori a condurre studi troppo piccoli o troppo a breve termine.

- In quarto luogo la ricerca che arriva a completamento è parzialmente inaccessibile. La metà degli studi non vengono neanche pubblicati e c'è una tendenza a deformare ciò che viene pubblicato, il che significa che i trattamenti possono sembrare più efficaci e più sicuri di quello che realmente sono. Inoltre non tutte le misurazioni sono riportate, ancora una volta con una tendenza a riportare maggiormente quelle positive.

- In quinto luogo i report di ricerca pubblicati sono spesso parziali e inutilizzabili. Negli studi circa un terzo degli interventi sono inadeguatamente descritti e ciò significa che non possono essere implementati. La metà dei risultati degli studi non sono riportati.

Gli articoli nella raccolta del Lancet si concentrano in modo costruttivo su come gli sprechi potrebbero essere ridotti e come la diffusione della ricerca potrebbe essere migliorata.
Non è vano ripetere la dichiarazione di Altman di 20 anni fa:"La scarsa qualità di gran parte della ricerca medica è ampiamente riconosciuta, eppure è inquietante che gli esponenti della professione medica non sembrino minimamente preoccupati del problema e non facciano alcuno sforzo apparente per trovare una soluzione."

Richard Smith

Rifletto su tutto questo in un modo molto personale. Non ero scioccato quando abbiamo pubblicato l'editoriale di Altman perchè avevo iniziato a capire circa cinque anni prima quanto la ricerca fosse scadente.

Come Altman pensavo che il motivo fosse che la ricerca era condotta principalmente da dilettanti. Mi ci è voluto un po' per capire che le ragioni erano più profonde.
Nel gennaio 1994 all'età di 41 anni, quando abbiamo pubblicato l'editoriale, avevo fiducia nel fatto che le cose sarebbero migliorate. Nel 2002 ho trascorso otto meravigliose settimane a Venezia in un palazzo del 15° secolo a scrivere un libro sulle riviste mediche, che sono i principali canali di sbocco per la ricerca, giungendo alla triste conclusione che le cose erano messe proprio male. 
Dopo la pubblicazione del libro mi sono chiesto se fossi stato troppo duro, ma ora penso che avrei potuto esserlo molto di più. 
La mia fiducia nel fatto che "le cose possono solo migliorare" è in gran parte evaporata, ma io non sono un vecchio miserabile. Invece ho iniziato a gustarmi l'osservazione e la catalogazione delle imperfezioni umane, e questo è il motivo per cui leggo storie e romanzi piuttosto che le riviste di medicina.

Traduzione di Mauro Sartorio



Da una parte molti preferiscono vivere nell'illusione di una religiosa "verità scientifica" che protegge e rassicura, molti dei quali sono anche esponenti della professione medica.
Molti altri preferiscono diffidare di ogni cosa "scientifica" a prescindere.
Entrambi gli estremi si escludono dal beneficiare della conoscenza di cui disponiamo.

La realtà è chiaramente complessa ma, per potere davvero scegliere per il proprio meglio, prima di tutto è necessario prendere coraggio e guardarci dentro, a questa realtà.

Evidence Handbook
Abbiamo grosso modo un 11% di evidenze di buona qualità che certificano l'efficacia dei trattamenti: queste vanno tenute in grande considerazione.
Dall'altro lato non c'è solo l' "evidenza" delle prove pubblicate, ma c'è quell' 89% di luci e ombre, un campo che è dominio dell'esperienza, della coscienza e della perizia umana nel mescolare ognuno degli ingredienti propri dell'arte medica.

Le odierne difficoltà nel mettere i panni del medico.