Många källor till problem i systematiska översikter

En väl genomförd systematisk översikt kräver en noggrann bedömning av de identifierade studiernas utformning. Den kan belysa viktiga problem med hur studierna planerades, genomfördes och rapporterades. Många systematiska översikter innehåller metaanalyser, ett vägt genomsnitt av effektmått från 2 eller flera studier. En central komponent i systematiska översikter är att identifiera, beskriva och utvärdera risken för bias och andra problem i de inkluderade studierna för att säkerställa att denna tas i beaktande när resultaten av metaanalyserna tolkas. Att okritiskt acceptera resultaten av metaanalyser kan bli mycket vilseledande, eftersom alla studier inte är lika pålitliga. Bias kan till exempel undersökas genom subgrupps­analyser, och Cochranes  verktyg »Risk of bias 2« har utvecklats för att säkerställa att ett flertal element som kan leda till bias utvärderas grundligt och konsistent samt baserat på empirisk evidens (Figur 1). Den samlade risken för bias, problem med överförbarhet av resultaten och deras precision, variationen mellan resultaten från olika studier och andra problem utvärderas med verktyget Grade.

De andra artiklarna i detta temanummer behandlar relevanta ämnen som rör protokollregistrering, låg urvalsstorlek, bortfall och rapporteringsbias samt in­tressekonflikter. Den här artikeln ger exempel på prob­lem som kan uppstå när man utarbetar systematiska översikter.

Fel rapportering av studiedesign

Det är ganska vanligt att man rapporterar fel studiedesign. I november 2022 upptäckte en Cochrane-översikt [1] en märklig randomiseringsprocess i en studie som publicerats 2019 och beskrevs som randomiserad [2]. I en e-postkonversation uppgav studiens författare först att man använde sig av metoden att singla slant, vilket senare visade sig inte stämma. Det var i själva verket en observationsstudie, vilket rapporterades i korrigeringen av manuskriptet 2021 [3].

Heterogenitet och aktiv placebo

Bristfällig utvärdering av variationen mellan resultat i olika studier (heterogenitet) kan leda till olämpliga kliniska beslut, vilket visats till exempel i de systematiska översikterna av nebuliserad hyperton NaCl-­lösning mot bronkiolit. Från 2002 och framåt visade flera randomiserade kliniska prövningar att inhalation av nebuliserad hyperton NaCl-lösning var förknippad med kortare sjukhusvistelse [4]. Behandlingen användes därför i stor utsträckning i Sverige och utomlands. Skillnaden mellan interventions- och kontrollgrupperna minskade dock för varje år och blev slutligen statistiskt och kliniskt icke-signifikant. Heterogenitet, som delvis upptäcktes efter några år, och aktiv placebo bidrog till att det beräknade kliniska värdet var falskt. Heterogenitet betecknar variationen mellan resultaten i den individuella studien, bortom förväntad statistisk variation, och aktiv placebo är ett läkemedel som efterliknar vissa av de oönskade effekterna av den testade interventionen, men som inte behandlar måltillståndet. I några studier hade interventionsgruppen ett längre sjukdomsförlopp vid allokering än kontrollgruppen, det vill säga tiden till tillfrisknande var kortare än i kontrollgruppen (domänen »Problem med randomiseringsprocessen« i Figur 1). När man justerade för detta eller uteslöt studier med ext­remt lång vårdtid försvann skillnaden i effekt [5]. 

»Blindade« studier som inte är det

År 2015 utarbetade den danska hälsovårdsmyndigheten nationella kliniska riktlinjer för diagnos och behandling av ADHD hos vuxna, baserade på Coch­rane- och Grade-metodik. De uppdaterades år 2017 [6]. I riktlinjerna undersöktes flera farmakologiska interventioner, inklusive metylfenidat (Ritalin), och man fann förutom vanliga orsaker till bias vissa problem som inte är lätta att upptäcka utan ämneskunnighet. Metylfenidat gavs vanligen inte i en fast dos, utan den »rätta« dosen för varje deltagare identifierades genom dostitrering. Detta är naturligtvis kliniskt relevant, men de välkända effekterna (positiva och negativa) av detta centralstimulerande medel gjorde det praktiskt taget omöjligt att göra en blindad bedömning, även om aktiv placebo hade använts (vilket inte var fallet). Denna utmaning förstärktes av att deltagarna i försöket ofta redan behandlades med detta läkemedel före inskrivningen och därför troligen kunde dra slutsatser om vilken grupp de tillhörde på grund av effekter som de redan kände till. Detta ökade också risken för olika bortfall i interventions- och kontrollgruppen. Trots detta beskrevs flera studier som blindade, men båda orsakerna till bias ledde sannolikt till att behandlingsnyttan överdrevs (domänen »Problem med att mäta effektmål« i Figur 1). 

Överförbarhet av resultat

Eftersom många redan behandlades med metylfenidat vid inskrivningen till studien var det nödvändigt att införa en »washout«-period. Liksom andra centralstimulerande medel har metylfenidat en känd beroendeframkallande potential och hör till exempel till de mest missbrukade receptbelagda läkemedlen bland ungdomar i USA [7]. Att plötsligt avsluta en sådan behandling och sedan återinföra den en kort tid senare kommer sannolikt att uppfattas som positivt, vilket också leder till att den positiva effekten kan ha överdrivits. 

Eftersom vissa personer inte tål metylfenidat användes intolerans korrekt som ett uteslutningskriterium i studierna. Det skulle naturligtvis ha varit oetiskt att inkludera deltagare som man visste skulle skadas av interventionen, men att de utesluts kan äventyra resultatens överförbarhet (deras externa validitet, även känd som »indirectness« i Grade-­systemet). Om detta inte tas i beaktande i analyserna (vilket inte gjordes i detta fall) leder det till överdrivna förväntningar på det antal som man behöver försöka behandla (number needed to treat) i klinisk praxis. 

Flera forskargrupper kritiserade Cochrane-­översikten av metylfenidat för ADHD hos vuxna på grund av att dessa källor till snedvridning inte identifierades [8]. Eftersom Cochranes redaktörer ansåg att författarna till granskningen inte kunde ge ett tillfredsställande svar och att de hade brutit mot Coch­ranes riktlinjer för intressekonflikter drogs översikten tillbaka [9]. Detta är en viktig kontrollfunktion inom Cochrane, som tyvärr inte är allmän inom vetenskapliga redaktioner trots att liknande allvarliga problem ofta förekommer i litteraturen. En annan översikt som beskriver dessa problem har senare publicerats, och en Cochrane-översikt om metylfenidat för ADHD hos barn har identifierat många liknande problem [10].

Skadeverkningar rapporteras dåligt 

Ett sista problem med studien av metylfenidat var att de skadliga effekterna rapporterades dåligt, vilket tyvärr är vanligt i interventionsstudier [11] och även systematiska översikter. De skadliga effekterna av behandlingar är lika viktiga som fördelarna, men får ofta inte samma uppmärksamhet, vilket är anledningen till att särskilda riktlinjer för rapportering av skador i kliniska prövningar har utarbetats [12]. Det går inte att avgöra om detta berodde på rapporteringsbias (domänen »Selektivt urval av effektmål« i Figur 1) eller på försummelse, men för vuxna är det viktigt att med större säkerhet veta om ökningarna av hjärtfrekvens och blodtryck som konstaterats i studierna så småningom kommer att leda till en ökning av hjärt‒kärlsjukdomar eller inte. För barn vore det mycket önskvärt med säkrare evidens om de allvarliga skadeverkningar som identifierades i Cochrane-översikten [10]. Den danska hälso­myndigheten bedömde att förtroendet till evidensen var måttligt till lågt, beroende på vilket effektmål som studerades, och gav en svag rekommendation om att överväga användning av metylfenidat vid ADHD hos vuxna. Den bristfälliga dokumentationen av skadeverkningar i studien är olycklig för kliniker och patienter som måste fatta behandlingsbeslut, eftersom det är möjligt att nyttan av den intervention som identifierats i prövningarna delvis eller helt orsakas av bias eller uppvägs av de skadliga effekterna. Det är inte möjligt att fatta ett starkt evidensbaserat beslut om förtroendet till evidensen för viktiga skadeverkningar är lågt.  

Slutsatser

Att identifiera problemen med studiedesignen i kliniska studier kräver ofta noggrant detektivarbete när man utför systematiska översikter. Man kan förbättra sin förmåga att upptäcka dessa problem genom att ref­lektera över exemplen i vår artikel.