In passato, i medici facevano affidamento sulla propria esperienza al momento di scegliere il miglior trattamento per i loro pazienti. Oggi, invece, fanno affidamento prevalentemente sulla “medicina basata sulle evidenze” e cioè sulla revisione e la valutazione sistematica dei trial, gli studi che indagano i benefici e i rischi dei trattamenti medici nei pazienti. Tuttavia, la medicina basata sull'evidenza può rappresentare una valida guida per i medici solo se i risultati degli studi clinici vengono pubblicati integralmente e in modo imparziale e tempestivo.

In uno studio pubblicato su Plos Medicine, un gruppo di ricercatori britannici dell’Università di Liverpool, Oxford, Belfast, Bristol e York, guidato da Kerry Dwan del Dipartimento di Biostatistica dell’Università di Liverpool, ha condotto una revisione e sintesi delle evidenze di studi di coorte empirici che hanno riscontrato una presentazione discrepante o selettiva delle analisi in studi randomizzati e controllati (RCT).
La revisione ha evidenziato discrepanze piuttosto comuni tra le pubblicazioni e altri documenti degli studi, ma è anche emerso che le ragioni di queste discrepanze non sono state affrontate nella presentazione dei trial.

Una presentazione selettiva dell’analisi di un dato outcome può anche influenzare la validità dei risultati. Sfortunatamente – scrivono gli Autori - i risultati dei trial in cui un nuovo farmaco funziona meglio dei farmaci esistenti hanno maggiore probabilità di essere pubblicati rispetto a quelli in cui il nuovo farmaco funziona male o ha effetti collaterali indesiderati (bias di pubblicazione). Inoltre, i risultati dei trial che supportano l'utilizzo di un nuovo trattamento hanno maggiori probabilità di essere pubblicati rispetto a quelli che non ne supportano l'uso (bias di pubblicazione dei risultati). A volte, ad esempio, una pubblicazione includerà un’analisi “per protocol”(che considera solo i risultati dei pazienti che hanno ricevuto il trattamento loro assegnato) piuttosto che un’analisi “intention-to-treat” (che considera i risultati di tutti i pazienti indipendentemente dal fatto che abbiano ricevuto il trattamento assegnato). Se la decisione di pubblicare analisi “per protocol” si basa sul fatto che i risultati di tale analisi sono più favorevoli di quelli “intention-to-treat” (che si avvicinano più da vicino alla vita "reale"), significa che si sono verificati “bias” nel report dell’analisi.

I ricercatori britannici hanno quindi condotto una revisione sistematica di studi di coorte che valutavano ogni aspetto della presentazione dei dati degli RCT, mettendo a confronto le diverse tipologie di documenti, ad esempio, il protocollo e il documento di presentazione dello studio, o sezioni diverse di una stessa pubblicazione. La ricerca è stata condotta a febbraio 2014 sui principali database: Cochrane Methodology Register, Medline (Ovid), PsycInfo (Ovid), e PubMed. Due autori hanno selezionato gli studi in modo indipendente, eseguito l'estrazione dei dati e valutato la qualità metodologica degli studi eleggibili. Sono stati quindi inclusi ventidue studi (che comprendevano 3.140 RCT) pubblicati tra il 2000 e il 2013. Tutti gli studi riportavano discrepanze tra le informazioni fornite nelle diverse fonti: nelle analisi statistiche (otto studi), nei risultati compositi - in cui vengono combinati endpoint multipli – (uno studio), nella gestione dei dati mancanti (tre studi), nelle analisi non aggiustate rispetto alle analisi aggiustate (tre studi), nella gestione dei dati continui (tre studi), e nelle analisi per sottogruppi - indagini sui risultati in sottogruppi di pazienti che dovrebbero essere predefiniti nel protocollo dello studio per evitare bias – (12 studi). I tassi di discrepanza variavano dal 7% (3/42) al 88% (7/8) nelle analisi statistiche, dal 46% (36/79) al 82% (23/28) nelle analisi non aggiustate rispetto alle analisi aggiustate, e dal 61% (11/18) al 100% (25/25) nell’analisi per sottogruppi.

Questi risultati indicano – come detto - che le discrepanze nelle analisi tra le pubblicazioni e gli altri documenti relativi allo studio, quali i protocolli inclusi nei registri dei trial, sono comuni. Le ragioni di queste discrepanze nelle analisi non sono state discusse nella presentazione dei trial, e possono essere il risultato di bias nella pubblicazione, errori o allontanamenti legittimi da un protocollo prestabilito. Ad esempio, può talvolta apparire in una pubblicazione un'analisi statistica che non è specificata nel protocollo del trial, perché il giornale ha chiesto la sua inclusione come condizione di pubblicazione. Gli Autori evidenziano che potrebbe essere impossibile per chi conduce una revisione sistematica distinguere tra queste possibilità, basandosi semplicemente sulla documentazione originale. Invece, suggeriscono gli Autori, potrebbe essere necessario per i revisori contattare gli autori dei trial. Per rendere più facilmente rilevabile la presentazione selettiva dell’analisi, gli Autori suggeriscono che i protocolli e i piani di analisi dovrebbero essere pubblicati e che i ricercatori dovrebbero essere tenuti ad attenersi a tali piani o spiegare eventuali discrepanze quando pubblicano i risultati di uno studio. Iniziative recenti - come rendere la registrazione delle sperimentazioni cliniche in un registro dei trial (ad esempio, ClinicalTrials.gov) un prerequisito per la pubblicazione sulle riviste scientifiche -consentono di prevenire questi bias, che costituiscono una minaccia per le decisioni cliniche informate. Insieme ad altre iniziative, questo approccio dovrebbe contribuire a migliorare la qualità della medicina basata sull'evidenza e, di conseguenza, il trattamento dei pazienti.