Höjd metodkunskap viktigare än experiment

Ett orsakssamband innebär att en åtgärd eller en behandling leder till ett utfall på ett eller flera områden på ett sätt som inte hade blivit fallet i avsaknad av åtgärden/behandlingen. 

I många situationer är det uppenbart vad som föregår ett visst utfall. Till exempel är det lätt att konstatera att fysisk ansträngning medför att jag blir trött. När utfallet av en handling inte är omedelbart är det svårare att fastställa orsakssamband. Till exempel är det inte uppenbart att den fysiska ansträngningen som kortsiktigt leder till att man blir trött och andfådd medför en långsiktigt bättre hälsa.

Att fastställa orsakssamband när effekten inte är omedelbar, eller i fall där individer reagerar olika på en behandling, är svårt. Särskilt problematiskt blir det när man inte har en idé eller teori kring hur effekten uppkommer, till exempel vad det är i kroppen som gör att ansträngning leder till en långsiktigt bättre hälsa. 

I sådana situationer finns det i dag en viss samstämmighet kring att randomisering, där slumpen får avgöra vilken behandling individen ska ges, är den metod som med högst vetenskaplighet kan avgöra om det finns ett orsakssamband. Vi delar den uppfattningen. För många forskare och beslutsfattare i forskningssammanhang, däribland Statens beredning för medicinsk utvärdering (SBU), förefaller det emellertid som att randomiseringen i sig är en tillräcklig förutsättning för att studien ska vara av bra kvalitet, och att flera randomiserade studier med likartade effekter utgör en grund för att en behandling eller åtgärd är evidensbaserad. 

Vi anser att detta är en alltför snäv definition för vad som ska utgöra en kunskapsbaserad politik, och att den dessutom riskerar att leda fel. Anledningen är att det perfekta experimentet är mycket svårt att genomföra på människor. En viktig orsak till det är att människor drivs av incitament. Forskare vill visa att en behandling ger effekt och individer som deltar i studier kan reagera på detta eftersom de, till skillnad från råttor, har en egen vilja. 

Problemet framträder särskilt tydligt i situationer där experimentet inte kan »blindas«. Ett sådant exempel är vid utvärdering av aktiva rehabiliteringsinsatser, där forskaren som genomför experimentet potentiellt kan påverka (sannolikt omedvetet) resultatet givet att han eller hon tror på behandlingsformens positiva effekter. 

Vi har gått igenom ett antal experiment där effekterna av så kallad multimodal rehabilitering, som innebär en kombination av psykologiska insatser och fysisk aktivitet, har studerats avseende sjukfrånvaro och återgång i arbete. Studierna har av SBU tilldelats högsta betyg vad gäller vetenskaplighet och har därmed legat till grund för regeringens beslut att satsa på denna typ av rehabilitering i den så kallade rehabiliteringsgarantin.

Genomgången avslöjar tydliga metodologiska brister. Förutom att experimenten i flera fall var så småskaliga att jämförbarheten mellan försöks- och kontrollgrupper kan ifrågasättas, baserades de i regel på självrapporterade uppgifter. Detta skapade bortfall som i sin tur hanterades på ett metodologiskt felaktigt sätt. Därutöver tillkom problemet med att såväl forskare som individer var informerade om experimentets utformning. 

Tvärtemot SBU är vår bedömning att dessa experiment inte håller tillräcklig vetenskaplig kvalitet för att utgöra underlag för beslut om användande av multimodal rehabilitering inom hälso- och sjukvården. 

Alternativet till randomiserade studier är observationsstudier. Till skillnad från experimentstudier har observationsstudier baserade på registerdata den omedelbara fördelen att man kan analysera stora datamaterial och att statistiskt bortfall kan undvikas. Problem uppstår emellertid om man inte förstår och kan förklara varför vissa individer genomgår behandling, medan andra med till synes samma förutsättningar inte gör det. En forskare måste ha insikt om de bakomliggande orsakerna till detta och en medvetenhet om att individer drivs av olika incitament. 

För att kausala slutsatser ska kunna dras på basis av en observationsstudie måste en exogen variation, det vill säga en slumpmässighet, i vem som får behandling eller inte utnyttjas. Sådana går ibland att finna i institutionella regelsystem där avgränsningar, exempelvis beträffande geografiska områden eller karaktäristik hos individen, skapar skillnader i behandlingsprevalens över tid. Analyser baserade på denna typ av variation och data benämns kvasiexperimentella. 

Enligt vår mening bör förvaltningsmyndigheter och regering mer aktivt verka för att kvasiexperimentella situationer skapas för att göra reformer och nya behandlingsmetoder utvärderingsbara. En sådan utvärderingsdesign kan förväntas generera betydligt bättre beslutsunderlag än småskaliga randomiserade studier.

För att kunna genomföra dessa studier krävs emellertid förutom institutionell kunskap även teoretisk sakkunskap (gärna från flera vetenskapsfält) samt kunskaper i statistiska metoder. Vi anser därför att regeringen bör stödja en uppbyggnad av metodkompetens, främst genom riktade insatser i grund- och forskarutbildning inom samhällsvetenskap och medicin. 

Regeringen bör även överväga att skapa en myndighet med uppgift att stärka metodutveckling och datainsamling. Detta skulle sannolikt bidra till att minska enskilda forskares drivkrafter att påvisa positiva effekter av behandlingar som man har en teoretiskt eller anekdotiskt baserad tro på.

Läs replik:
Politiska beslut måste grundas på säkra underlag