Systematiska översikter och metaanalyser blir än viktigare

I systematiska översikter ska man systematiskt söka all vetenskaplig litteratur som besvarar en viss fråga och redovisa urvalskriterier, kvalitetskriterier och resultat på ett transparent sätt. Frågan preciseras t ex genom att man väljer patientgrupp, vilken diagnostisk metod eller behandling som avses, om man ska jämföra med placebo eller alternativ behandling och slutligen vilka effektmått som är viktiga. Ska t ex blodtrycksnivåerna eller antalet stroke­fall vara utfallsmåttet? 

Kvaliteten bedöms utifrån både studiedesign och risken för systematiska fel. Risken för att det är någon annan faktor som förklarar resultaten än den metod man studerar är mindre i randomiserade studier, men dessa kan ha andra begränsningar, t ex selektiva patientgrupper, kort uppföljningstid eller mindre viktiga utfallsmått. Stora registerbaserade studier kan ha fördelen att de utvärderar »verkliga« patienter, men kan vi vara säkra på att det inte är någon annan faktor som förklarar effekten? Fallstudier anses så otillförlitliga att de sällan tas med i en systematisk översikt. 

Efter det att kvaliteten i alla inkluderade studier har granskats ska de som gör systematiska översikter väga ihop resultaten och göra en samlad bedömning av hur välgrundade resultaten är (evidensgradering). Om sammanvägningen av olika studier görs med hjälp av statistiska metoder kallas det för metaanalys. Hela processen med systematiska översikter ska göras på ett transparent sätt. 

Explosionsartad utveckling

Behovet av systematiska översikter har ökat både på grund av att resultaten i enskilda originalstudier är osäkra och ibland skiljer sig åt och på grund av att det årligen publiceras mer än en miljon medicinska vetenskapliga artiklar. Vem hinner sätta sig in i det? 

Utvecklingen kring metaanalyser har nyligen sammanfattats i en översiktsartikel i Nature [1]. Statistiska metoder för att väga samman resultat från olika källor utvecklades redan i början av 1900-talet [2, 3]. Metoderna standardiserades i en meta­analys som publicerades 1977 [4]. Fram till början av 1990-talet utvecklades metodiken, även om antalet publicerade systematiska översikter och metaanalyser var mycket blygsamt. 

Sedan dess har vi sett en explosionsartad utveckling. Antalet systematiska översikter och metaanalyser har sedan 1991 ökat mer än 27 gånger [5]. Health technology assessment (HTA) blev ett samlingsnamn för värdering av medicinska metoder med hjälp av systematiska översikter. SBU är en av världens äldsta HTA-organisationer och grundades 1987. Bildandet av Cochrane Collaboration år 1992 är sannolikt en av de viktigaste förklaringarna till att antalet översikter och metaanalyser ökat internationellt.

Ett annat skäl till den snabba utvecklingen är statistiska och pedagogiska hjälpmedel för att göra metaanalyser. Det finns flera program tillgängliga på internet, t ex Review Manager (RevMan) som tagits fram inom Cochrane Collaboration (www.cochrane.org). Matar man in data för inkluderade studier kan man få skogsdiagram (»forest plot«) som visar riskskillnader, konfidensintervall, sammanvägda resultat och mått på heterogeniteten i studierna. För att se om det finns risk för publikationsbias, dvs att positiva resultat lättare blir publicerade, kan man ta fram trattdiagram (»funnel plot«). Om det inte finns någon publikationsbias bör resultaten från enskilda studier fördela sig symmetriskt kring den sammanvägda effekten, annars kan man misstänka risk för publikationsbias. 

Dessa statistiska och pedagogiska hjälpmedel kan underlätta bedömningen men ersätter inte en självständig kritisk granskning. Vill man veta mer om möjligheterna kan man läsa SBU:s handbok (www.sbu.se). 

Att det numera är lätt att göra sådana här statistiska beräkningar som enkelt ger en pedagogisk bild är naturligtvis en fördel, men inrymmer också en risk för att data anpassas efter syftet. 

Många studier är upprepningar

En känd metodforskare vid Stanford-universitetet i USA, John Ioannidis, har skrivit en kritisk artikel som visar på riskerna med metaanalyser. Titeln »The mass production of redundant, misleading and conflicted systematic reviews and meta-­analyses« [5] säger det mesta om hans budskap. Han börjar dock med att säga att ­systematiska översikter och metaanalyser är ovärderliga delar av evidensbaserad medicin, men sedan tas problemen upp. 

Många studier är upprepningar av tidigare gjorda analyser och tillför lite ny kunskap. Ioannidis hittade t ex 21 metaanalyser av statiner för att förebyggga hjärtflimmer efter hjärtkirurgi och tyckte att 2–3 hade räckt. Djurstudier är så otillförlitliga och selektiva att det inte är rimligt att göra metaanalyser av dem; hellre borde man satsa på att förbättra kvaliteten i originalstu­dierna.

År 2014 stod författare från Kina för 34 procent av alla publicerade metaanalyser. De flesta rörde genetiska studier och bedömdes otillförlitliga, eftersom de studerade enstaka gener med små urvalsstorlekar. En tänkbar förklaring, enligt Ioannidis, till den höga produktionen av meta­analyser från Kina kan vara att det inte krävs så mycket ekonomiska resurser för att utföra dem. 

Ioannidis tar också upp den stora produktionen av metaanalyser kring antidepressiva medel, vilka också visar helt motsatta resultat. Vissa medel, som paroxetin, var effektivast i vissa metaanalyser, men visade sig i en återanalys vara ineffektiva med hög komplikationsrisk. Av 185 metaanalyser kring antidepressiva medel hade 79 procent någon koppling till industrin. Metaanalyser som inkluderade en författare som var anställd av företaget hade 22 gånger lägre sannolikhet att visa på negativa effekter än metaanalyser som inte hade det. 

Konsultföretag anlitas ofta av läkemedelsindustrin för att göra metaanalyser. Analyserna är ofta professionellt gjorda med avancerad statistisk teknik, t ex nätverksmetaanalyser. Däremot finns inte alltid incitament för att publicera alla resultat. 

Ioannidis avslutar sin översikt med bedömningen att enbart 10–20 procent av alla systematiska översikter har registrerats i databasen Prospero före projektstart. Genom att registrera planen för en systematisk översikt innan den genomförs vill man minska risken att urval m m ändras för att passa de resultat som önskas.

Industrin sponsrar kostnad–effektanalyser

Problemen med industrisponsrade studier gäller inte bara originalstudier och meta­analyser utan i minst lika hög grad kostnad–effektanalyser av läkemedel som skickas till myndigheter som TLV (Tandvårds- och läkemedelsförmånsverket) för godkännande. Cirka 70 procent av kostnad–effektanalyser är ­industrisponsrade, och de visar systematiskt mer positiva siffror för läkemedlet än de som inte är sponsrade [6, 7]. 

Jag har tidigare gett ett förslag till lösning på detta problem [7]. Låt industrin i stället betala en avgift till myndigheter, t ex TLV, så att oberoende organisationer eller universitetsinstitutioner kan få i uppdrag att genomföra analyserna. 

Översiktsartikeln i Nature [1] och artikeln av Ioannidis [5] drar båda slutsatserna att många metaanalyser är av bristande kvalitet och att utvecklingen av interaktiva statistiska hjälpmedel är både en fördel och en risk. Risken är att man anpassar vilka data man inkluderar efter sitt eget syfte eller intresse. 

Etablerats som forskningsmetodik

Systematiska översikter och metaanalyser ansågs tidigare inte vara »riktig« forskning och kunde därför inte ingå i en avhandling vid Karolinska institutet. Numera är det tillåtet för doktorander på Karolinska ins­titutet att inkludera en systematisk översikt som ett delarbete i doktorsavhandlingen. Dessutom framhåller Styrelsen för forskarutbildning vid Karolinska institutet vikten av en strukturerad litteraturgenomgång i avhandlingens kappa, och en litteraturöversikt är nu obligatorisk vid halvtidskontrollen. 

Vid Malmö högskola har det länge varit obligatoriskt med en systematisk översikt i avhandlingen. 

Så det går framåt, och på sikt bör detta innebära att »onödig« forskning där vi redan har svar minskar. 

Sunt förnuft är en bra princip

Metodutvecklingen kring systematiska översikter och metaanalyser kommer att förfinas ytterligare i framtiden. Artikeln i Nature tar också upp hur hanteringen av stordata och artificiell intelligens (AI) kan tänkas påverka utvecklingen. Datautvinning är redan på ingång när det gäller att söka relevant litteratur. När det gäller insamling av stordata ligger utmaningen sannolikt i att få jämförbara och valida grupper. 

När det gäller AI och automatiska beslutsalgoritmer är min oro att man överlåter beslutsfattandet till maskinen utan att själv kritiskt granska resultaten och förstå alla de antaganden som ligger bakom dem. 

En bra princip när man analyserar metaanalyser är sunt förnuft: Pekar de flesta studier i samma riktning? Är effekten stor? Är de patientrelaterade utfallsmåtten relevanta? Vad händer om man exkluderar någon studie? 

Viktigt verktyg för evidensbaserad medicin

Systematiska översikter och metaanalyser har blivit ett viktigt verktyg i evidensbaserad medicin. Vad kan göras för att förbättra kvaliteten och ge det ännu större genomslagskraft? Mot bakgrund av de problem som presenterats är nedanstående några steg på vägen: 

• Att rapportera och registrera planerade studier i förväg kan något minska risken för publikationsbias. 
• Att bara inkludera primärstudier av hög kvalitet och med viktiga patientutfall.
• Att fortsätta ställa krav på dokumentation av författarnas intressekonflikter och att samhället stödjer oberoende HTA-organisationer. Överväg att ta ut avgifter från industrin som kan användas för mer oberoende utvärderingar.
• Att utbilda beslutsfattare och hälso- och sjukvårdspersonal i kritiskt tänkande och att de ska bli mer medvetna om fördelar och begränsningar med systematiska översikter och metaanalyser.

Den sista punkten är kanske den viktigaste. Vi får aldrig överlåta beslutsfattandet till maskiner, de kan hjälpa oss, men vi ska kritiskt granska både våra egna och andras slutsatser.