Liberare la zia scema dalla soffitta rende inutili le metanalisi?
Alessandro Battaggia; Alberto Vaona; Saffi-Ettore Giustini -
EQM - Evidenza, Qualità e Metodo in Medicina Generale
Premesse
Recenti esempi tratti dalla letteratura scientifica confermano che il rigore metodologico viene spesso immolato sull' altare delle personali opinioni.
infatti i ricercatori basano troppo frequentemente le conclusioni dei propri trial su analisi di end-point secondari e/o di risultati ricavati da analisi di particolari strati del campione (1) [29] .
E in modo particolare ciò che viene rilevato dalle analisi degli <outcome secondari> tende ad essere enfatizzato come alternativa alla <mancata dimostrazione di significatività statistica > dei risultati riguardanti l' outcome primario [30; 29].
Il rigore metodologico ci insegna invece che l' analisi degli end-point secondari e le analisi dei sottogruppi dovrebbero essere utilizzate solo come valore aggiunto a supporto delle conclusioni ricavate dall' analisi primaria [31] oppure - al limite- solo allo scopo di generare ipotesi di lavoro [29].
Nascondere o minimizzare i risultati rilevati per l' outcome primario corrisponde insomma a quello che Moyè ha definito 'nascondere la zia scema in soffitta' [32].
Le analisi di molteplici outcome sui pazienti randomizzati ai due bracci (= analisi di endpoint secondari) come le analisi di singoli o più outcome in frazioni del campione originale (= analisi per sottogruppi) rappresentano sempre situazioni in cui si eseguono 'confronti multipli entro lo stesso campione': quello inizialmente arruolato nella ricerca.
In queste circostanze si verificano due ordini di problemi.
In primo luogo occorre ricordare che la numerosità dei soggetti da reclutare in un trial viene tarata solo sull' outcome primario . Quando l' outcome primario è un 'evento' gli autori in altri termini affidano al calcolo statistico la definizione di una numerosità campionaria sufficiente a poter dimostrare la differenza che si aspettano di poter rilevare tra i due bracci nell' incidenza di quell' evento e accettando livelli prestabiliti di errore alfa e di errore beta (2) [29].
Quando si analizza l’ incidenza di molti <outcome secondari > nel campione originale il mancato riscontro di 'significatività statistica' per la differenza rilevata tra i due bracci nell’ incidenza di qualcuno di questi endpoint deve essere interpretato con grande cautela.
Infatti a volte si verifica solo perchè -essendo la numerosità del campione originale tarata non su quell' endpoint ma piuttosto sull' outcome primario- la differenza riscontrata tra i due bracci è troppo piccola perchè la potenza statistica dello studio possa considerarla non 'casuale' ma 'reale'.
Il vero protagonista della ricerca è infatti l’ end-point primario: una volta scelto questo obiettivo tutta la potenza statistica viene spesa per le analisi ad esso riferite.
Ecco allora che la 'non dimostrazione di significatività' statistica' per un outcome secondario può coincidere semplicemente con un errore <di tipo II> (errore beta, o 'falso negativo') ossia col non rilevare differenze tra i due bracci quando queste esistono. L' errore beta è tanto più frequente quanto più i confronti tra i due bracci vengono eseguiti con numerosità campionarie insufficienti.
Questa situazione si realizza ancora più facilmente nelle analisi per sottogruppi. In questi casi infatti l’ errore beta è in agguato non solo per i risultati che si riferiscono agli end-point secondari ma anche per quelli che riguardano l' end-point primario: quando i due bracci vengono confrontati entro il contesto di un <sottogruppo>, la numerosità di questa frazione è per forza sempre minore di quella del campione originale.
Un secondo ordine di problemi collegato a ogni tipo di confronti multipli è rappresentato dall' aumentato rischio di rilevare differenze tra i due bracci quando queste non esistono ("falsi positivi" o errori di tipo I o errore alfa): i confronti multipli infatti aumentano (anche) notevolmente la probabilità di ottenere risultati legati puramente al caso.
Un esempio impressionante è fornito dall' analisi dei 146 sottogruppi dello studio BATH sui betabloccanti: le differenze nei tassi di mortalità riscontrate entro ciascun sottogruppo tra braccio di intervento e braccio di controllo si distribuivano secondo una perfetta curva gaussiana [35] (la curva di Gauss rappresenta notoriamente la distribuzione casuale di molti parametri biologici entro il contesto di una popolazione - Fig.1).
In elaborazioni diverse da quelle previste per l' outcome primario (come appunto nelle analisi di outcome secondari o nelle analisi per sottogruppi) l' errore random (che esprime l' effetto del caso) può giocare un ruolo molto importante nel condizionare la direzione dei risultati e ciò anche in presenza della desiderata 'significatività statistica' [29].
Questo pericolo aumenta in modo proporzionale al numero dei confronti eseguiti all' interno del campione originale.
Occorre infine rammentare che l' analisi dell' endpoint primario ha lo scopo di dare una risposta al quesito per cui lo studio è stato costruito: a maggior ragione quindi le conclusioni degli autori dovrebbero essere fondate solo su quanto rilevato per questo end-point [29].
Come ribadito, le analisi degli outcome secondari e le analisi per sottogruppi dovrebbero quindi essere utilizzate solo come “ valore aggiunto” a supporto delle conclusioni ricavate dall’analisi primaria, oppure, al limite, allo scopo di generare ipotesi di lavoro.
La US Food and Drug Administration coerentemente, per l' autorizzazione all' immissione in commercio di nuove molecole richiede trial randomizzati ben condotti in cui la potenza statistica sia tarata su differenze tra i due bracci nell’ incidenza di un outcome primario [33].
Fig. 1 - Studio BATH Circulation 1983 |
|
|---|---|
![]() |
in nero: sottogruppi appartenenti al tertile superiore (49 sottogruppi di ≥ 2174 pazienti) in tratteggiato: sottogruppi appartenenti al tertile medio ( 48 sottogruppi di 988-2173 pazienti) in chiaro: sottogruppi appartenenti al tertile inferiore (49 sottogruppi ≤ 987 pazienti) In ascissa: differenze tra propanololo e placebo in termini di tasso di mortalità in ciascun sottogruppo In ordinata: numero di sottogruppi |
Scopo del presente articolo
Scopo di questo articolo è confrontare le conclusioni riportate dagli autori di trial che riguardano trattamenti importanti in termini di salute pubblica con le conclusioni ricavabili dalle analisi dei risultati che si riferiscono agli outcome primari delle singole ricerche, allo scopo di evidenziare forzature interpretative fondate su analisi di outcome diversi da quello primario o da analisi di sottogruppi del campione originale.
Abbiamo deciso di esaminare RCT in cui il confronto tra i bracci riguardasse due o più trattamenti attivi contro l' ipertensione. La scelta è giustificata dal fatto che le malattie cardiovascolari rappresentano una importante causa di mortalità e di morbilità nei Paesi a stile di vita occidentale ed è quindi naturale che le conoscenze sull' efficacia dei farmaci attivi sull' ipertensione, uno dei principali fattori di rischio cardiovascolare, siano di enorme importanza nella programmazione delle politiche sanitarie e delle decisioni allocative.
Nel 2003 i ricercatori del 'Blood Pressure Lowering Treatment Trialist Collaboration' avevano riassunto in una metanalisi tradizionale i risultati dei trial che fino a quel momento avevano confrontato trattamenti attivi versus placebo o versus trattamenti alternativi (in una precedente esperienza gli autori avevano eseguito un’ altra metanalisi solo per trial con confronti ‘trattamento attivo versus placebo’ [26]).
Nello stesso anno 2003 Psaty et al pubblicavano su Jama una ‘network metaanalysis (3)’ sulle terapie farmacologiche dell’ ipertensione . Scopo degli autori era paragonare l’ efficacia dei diuretici a basso dosaggio con placebo o con trattamenti attivi di altra natura.
Materiali e metodi
Abbiamo esaminato innanzitutto nel nostro studio le conclusioni dei trial metanalizzati da Psaty [28] e dai ricercatori 'Blood Pressure Lowering Treatment Trialist Collaboration' [27]. La scelta presupponeva che i due gruppi di ricerca avessero reperito in modo indipendente tutte le maggiori sperimentazioni pubblicate fino all’ anno 2003.
Il nostro scopo non era eseguire una nuova revisione dei trattamenti antiipertensivi ma piuttosto verificare il rispetto delle conclusioni traibili dalle analisi degli outcome primari nella maggior parte dei trial che hanno condizionato o stanno condizionando l’ operatività dei medici nei confronti dell’ ipertensione.
Ci è sembrato utile inserire in tal senso nella nostra analisi anche l' RCT ASCOT-BPLA -pubblicato nei giorni immediatamente precedenti la stesura del nostro articolo- i cui messaggi operativi ci sembrano particolarmente ‘forti’[23].
Abbiamo deciso di considerare solo gli RCT in cui un trattamento attivo contro l' ipertensione veniva confrontato con un altro trattamento attivo , escludendo pertanto i confronti versus placebo.
Non abbiamo analizzato la validità interna ed esterna delle singole ricerche in quanto non pertinente i nostri obiettivi.
Le conclusioni traibili dall’analisi dei risultati degli outcome ‘primari’ delle singole ricerche sono state confrontate con quelle formulate dagli autori dei singoli articoli.
Abbiamo considerato ‘conclusioni degli autori’ quelle sintetizzate dall' abstract dei lavori pubblicati.
Abbiamo analizzato e commentato i risultati concernenti l' outcome primario dei singoli RCT esaminando tutti gli articoli in full-text.
Abbiamo considerato ‘outcome primario’ di un RCT quello su cui gli autori hanno calcolato il sample size. In assenza di questa informazione abbiamo considerato 'outcome primario' quello così definito dall’ articolo.
Sottolineiamo che il nostro obiettivo non era una sintesi contenutistica dei messaggi ricavati dalla letteratura ma esclusivamente il confronto tra : conclusioni riportate dagli autori dei singoli trial , conclusioni ricavabili dall' analisi degli outcome primari , conclusioni delle metanalisi [27,28].
Risultati
Abbiamo valutato 28 analisi di outcome primari relative a 28 confronti diversi tra due farmaci attivi (alcune sono state eseguite nell' ambito di uno stesso trial e pertanto pubblicate nello stesso articolo) per un totale di 25 trials [1-25].
Dal grafico 1 si evince che nel 60,1% dei casi gli autori hanno basato le proprie conclusioni anche su analisi di outcome secondari o di sottogruppi e che nel 32,1% dei casi i risultati che si riferiscono all’ outcome primario sono stati addirittura ignorati.

Gli autori dei 28 confronti nel 60% dei casi hanno pertanto forzato (in modo più o meno evidente) le proprie conclusioni verso direzioni suggerite da analisi non strettamente riguardanti l’ outcome primario .
Quando per ogni trial le conclusioni venivano basate sulla sola analisi dell’ outcome primario, entro ciascuna categoria di confronto e praticamente per la quasi totalità degli outcome singolarmente considerati non erano evidenti differenze significative nell' efficacia dei farmaci assegnati ai diversi bracci [2-11,13-19].
Costituiscono tre eccezioni gli svantaggi notati per i betabloccanti nel confronto con i calcioantagonisti nella progressione delle lesioni carotidee [10] ; gli svantaggi notati per i betabloccanti nel confronto con gli inibitori ATII nella prevenzione di eventi CVD e di morti da tutte le cause [20] e infine gli svantaggi notati per i calcioantagonisti nel confronto con gli inibitori ATII nella riduzione della progressione del danno renale nei pazienti diabetici [21].
Non sono stati presi in considerazione nell’ analisi riassuntiva illustrata dalla tabella 3 tre le ricerche in cui rispettivamente i confronti tra i trattamenti attivi erano inseriti come analisi di outcome secondari in sperimentazioni in cui l' outcome primario non era il confronto tra farmaci antiipertensivi o in cui l' outcome primario era il confronto tra farmaci antiipertensivi e placebo [1,12] o in cui il sample size era stato tarato su un outcome diverso (analizzato in una ricerca pubblicata altrove dallo stesso gruppo) [22].
Nella tabella 1 sono riassunte in modo qualitativo anche le principali conclusioni formulate dagli autori dei singoli trial: come si può vedere i messaggi recepiti dal lettore sono confusi, frammentari e a volte contrastanti.
Conclusioni
I trial sull'ipertensione esaminati in questo articolo sono stati selezionati dalle due più importanti metanalisi pubblicate negli ultimi anni; si suppone pertanto che l’ elenco sia abbastanza esaustivo.
Abbiamo arbitrariamente aggiunto anche i risultati dello studio ASCOT-BPLA pubblicato immediatamente prima del presente articolo per la particolare 'violenza' delle conclusioni degli autori [23].
Una semplice sintesi qualitativa dei risultati ricavabili dall' analisi dei soli outcome primari ha rilevato una impressionante omogeneità delle conclusioni che sarebbe stato possibile formulare per ogni singola ricerca, vale a dire la non dimostrazione di differenze sostanziali tra i vari farmaci antiipertensivi nel condizionare i principali outcome cardiovascolari entro ciascuna categoria di confronto.
Tale risultato coincide sostanzialmentre con quanto evidenziato dalla metanalisi 'Blood Pressure Lowering Treatment Trialist Collaboration' , che non ha dimostrato differenze significative tra i regimi basati su classi farmacologiche diverse in termini di incidenza dei principali outcome [26].
E’ difficile paragonare i nostri risultati con quelli della metanalisi di Psaty [27] , organizzata essenzialmente per un sofisticato confronto statistico dei trattamenti a base di diuretici con trattamenti diversi dai diuretici anche se non inseriti in trial programmati per confronti versus diuretici [28]. In linea di massima Psaty -affermando che per ogni outcome 'nessuno dei trattamenti first-step alternativi ai diuretici ha dimostrato risultati significativamente migliori di quelli rilevati con l' uso dei diuretici'- conclude comunque a sostegno delle 'vecchie' terapie.
Come ribadito, le analisi degli outcome secondari e le analisi per sottogruppi dovrebbero quindi essere utilizzate solo come “ valore aggiunto” a supporto delle conclusioni ricavate dall’analisi primaria, oppure, al limite, allo scopo di generare ipotesi di lavoro. La US Food and Drug Administration coerentemente, per l' autorizzazione all' immissione in commercio di nuove molecole richiede trial randomizzati ben condotti in cui la potenza statistica sia tarata su differenze tra i due bracci nell’ incidenza di un outcome primario [33].
In un' epoca in cui qualsiasi Servizio Sanitario sempre più tende a considerare l' analisi costo-efifcacia come parte integrante dei processi decisionali di rimborsabilità dei nuovi farmaci diventa sempre più importante che le evidenze scientifiche siano interpretate in modo corretto, al fine di evitare di incorporare nella pratica clinica scelte terapeutiche inappropriate [29].
A parere di chi scrive se gli autori avessero l' abitudine di commentare i risultati delle ricerche con risposte coerenti con l' ipotesi studiata ( negli studi di eventi: <i trattamenti a confronto producono effetti diversi sull' incidenza dell' outcome primario?>) in molti casi non sarebbe necessario ricorrere alle metanalisi per indagare le cause di eterogeneità delle conclusioni dei trial che riguardano uno stesso argomento.
E in più (cosa da non sottovalutare in un' era caratterizzata da cronico sovraccarico di informazioni <di eterogenea qualità>) il lettore-utente potrebbe essere avvantaggiato da una comunicazione trasparente delle evidenze anche entro i limiti della propria operatività quotidiana.
| Tabella 1 - conclusioni formulabili immaginando un effetto classe |
|||
|---|---|---|---|
| Classi di farmaci a confronto |
Trial |
Conclusioni riassuntive basate solo sull' analisi degli outcome primari |
Conclusioni riassuntive basate sulle conclusioni degli autori dei trial |
| diuretici vs betabloccanti |
MRC * 1985 [1] |
nessuna differenza tra Diuretici e Betabloccanti per tutti gli outcome primari |
nessuna differenza tra Diuretici e Betabloccanti nel ridurre le complicanze dell’ ipertensione, comprese quelle coronariche |
HAPPY 1987 [2] |
|||
| diuretici vs ACEi |
ALLHAT 2002 [3] |
nessuna differenza tra Diuretici ed ACE inibitori per tutti gli outcome primari |
i Diuretici comportano vantaggi rispetto agli ACEi nel ridurre l' incidenza di uno o più eventi CVD maggiori i Diureticicomportano svantaggi rispetto gli ACE inibitori nel ridurre l' incidenza di infarto miocardico e di eventi CVD non fatali soprattutto nell' anziano maschio |
ANBP2 2003 [18] |
|||
| diuretici vs calcioantagonisti |
MIDAS 1996 [5] |
nessuna differenza tra Diuretici e Calcioantagonisti per tutti gli outcome primari |
nessuna differenza tra Diuretici e Calcioantagonisti nella progressione delle lesioni carotidee i Diuretici comportano vantaggi rispetto ai calcioantagnisti nella riduzione di eventi cardiovascolari nessuna differenza tra Diuretici e Calcioantagonisti nel ridurre l' incidenza degli eventi cardiovascolari |
VHAS 1997 [6] |
|||
NICS-EH 1999 [17] |
|||
INSIGHT 2000 [7] |
|||
ALLHAT 2002 [3] |
|||
SHELL 2003 [24] |
|||
| Diuretici vs Alfalitici |
ALLHAT 2000 [4] |
nessuna differenza tra Diuretici e Alfalitici per per tutti gli outcome primari |
i Diuretici comportano vantaggi rispetto agli Alfalitici nel ridurre l' incidenza di eventi CVD, specialmente scompenso cardiaco |
| Betabloccanti vs Calcioantagonisti |
ELSA 2002 [10] |
I Betabloccanti comportano svantaggi rispetto ai Calciantagonisti nella progressione delle lesioni carotidee Nessuna differenza tra Betabloccanti e Calcioantagonisti nella prevenzione del danno renale |
I Betabloccanti comportano svantaggi rispetto ai Calciantagonisti nella progressione delle lesioni carotidee Nessuna differenza tra Betabloccanti e Calcioantagonisti nella prevenzione del danno renale |
AASK 2002 [19] |
|||
| Betabloccanti vs Aceinibitori |
UKPDS 1998 [15] |
nessuna differenza tra Betabloccanti e Aceinibitori per tutti gli outcome primari |
Nessuna differenza tra Betabloccanti e Aceinibitori nella prevenzione delle complicanze diabetiche I Betabloccanti comportano svantaggi rispetto agli ACEinibitori nella progressione del danno renale |
AASK 2002 [19] |
|||
| betabloccanti vs Inibitori AT II |
LIFE 2002 [20] |
I Betabloccanti comportano svantaggi rispetto agli Inibitori della ATII nella prevenzione di eventi CVD e della mortalità generale |
I Betabloccanti comportano svantaggi rispetto agli Inibitori della ATII nella prevenzione di eventi CVD e della mortalità generale |
| Aceinibitori vs Calcioantagonisti |
ABCD * 1998 [12] |
nessuna differenza Aceinibitori e Calcioantagonisti per tutti gli outcome primari |
nessuna differenza Aceinibitori e Calcioantagonisti nel modificare i parametri bioumorali Gli Aceinibitori presentano vantaggi rispetti ai Calcioantagonisti nei ridurre l' incidenza di eventi vascolari maggiori Gli Aceinibitori presentano vantaggi rispetti ai Calcioantagonisti nei ridurre l' incidenza di danno renale, specialmente nei pazienti con proteinuria nessuna differenza Aceinibitori e Calcioantagonisti nel ridurre l' incidenza di eventi cardiaci e della mortalità |
FACET 1998 [13] |
|||
AASK 2001 [14] |
|||
AASK 2002 [19] |
|||
JMIC-B 2004 [25] |
|||
| calcio antagonisti vs inibitori AT II |
Lewis et al 2001 [21] |
I Calcioantagonisti comportano svantaggi rispetto agli Inibitori della ATII nella riduzione della progressione di danno renale nei pazienti affetti da diabete II nessuna differenza tra Calcioantagonisti e Inibitori della ATII nella riduzione dell' incidenza di outcome cardiovascolari |
I Calcioantagonisti comportano svantaggi rispetto agli Inibitori della ATII nella riduzione della progressione di danno renale nei pazienti affetti da diabete II nessuna differenza tra Calcioantagonisti e Inibitori della ATII nella riduzione dell' incidenza di outcome cardiovascolari |
IDNT * 2003 [22] |
|||
| (Diuretici o betabloccanti) vs Calcio antagonisti |
NORDIL 2000 [8] |
nessuna differenza tra Diuretici o Betabloccanti e Calcioantagonisti per tutti gli outcome primari |
nessuna differenza Diuretici o Betabloccanti e Calcioantagonisti per tutti gli outcome primari |
CONVINCE 2003 [9] |
|||
| Vecchi farmaci vs Nuovi farmaci |
CAPPP 1999 [16] |
nessuna differenza tra Vecchi e Nuovi farmaci per tutti gli outcome primari |
Nessuna differenza tra Vecchi e Nuovi farmaci nel ridurre morbilità e mortalità cardiovascolare I Vecchi Farmaci rispetto ai Nuovi farmaci comportano vantaggi in termini di riduzione della incidenza di Stroke I Vecchi Farmaci rispetto ai Nuovi farmaci comportano svantaggi in termini di riduzione della incidenza di Stroke I Vecchi Farmaci rispetto ai Nuovi farmaci comportano svantaggi in termini di riduzione della incidenza di eventi CVD e procedure CVD I Vecchi Farmaci rispetto ai Nuovi farmaci comportano svantaggi in termini di riduzione della incidenza di mortalità generale I Vecchi Farmaci rispetto ai Nuovi farmaci comportano svantaggi in termini di riduzione della incidenza di diabete |
STOP-2 1999 [11] |
|||
ASCOT-BPLA 2005 [23] |
|||
* non sono state riportate le conclusioni dei confronti inseriti come outcome secondari in sperimentazioni in cui l' outcome primario non era il confronto tra farmaci antiipertensivi o in cui l' outcome primario era il confronto tra farmaci antiipertensivi e placebo |
|||
BIBLIOGRAFIA