I en debattartikel i LT [1] diskuterar vi att det finns skäl att ifrågasätta validiteten av randomiserade experiment, i synnerhet i situationer då dessa inte kan blindas. Vi tycker att SBU fäster allför stor vikt vid dåligt genomförda randomiserade studier, och att vi i Sverige borde öka kunskapsuppbyggnaden kring observationsstudier med kvasiexperimentell design. I en replik skriver Susanna Axelsson och Måns Rosén, båda vid SBU, att det är ett felaktigt påstående att SBU inte är positivt inställt till observationsstudier och hänvisar till en artikel från SBU och till en tidigare artikel i LT [2]. LT-artikeln [2] är intressant läsning och ger en bra beskrivning av kunskap inhämtad via observationsstudier. Utgångspunkten i artikeln är dock problematisk, anser vi, eftersom RCT, oavsett om studierna blindas eller inte, utgör normen. Axelsson och Rosén skriver: »Välgjorda observationsstudier visar dock nästan alltid resultat som är likartade med RCT.« Vad som definierar en välgjord observationsstudie definieras inte. En utgångspunkt synes dock vara att den i efterhand har visat sig generera samma resultat som RCT. Vi menar att en RCT bara kan vara en norm om studien dubbel- eller trippelblindas, och att den inte ens då, som exemplifieras i vår artikel, är oproblematisk.

På många områden, inom t ex rehabilitering, missbruksvård etc, är det omöjligt att göra experimentet osynligt för inblandade parter, varför experimentet då sannolikt är av mindre värde än en välgjord observationsstudie. Att, som Rosén och medarbetare gör [2], föreslå justering av resultaten i efterhand för t ex socioekonomiska faktorer är bra men inte tillräckligt, eftersom det primärt inte är kovariatjustering som definierar en välgjord observationsstudie. Det vi menar med välgjord är i stället att studien är baserad på en kvasiexperimentell design. Det finns många olika sätt att definiera innebörden av en kvasiexperimentell studie; ett kännetecken är dock att författarna visar en medvetenhet kring svårigheten att göra kausala utsagor. I regel utsätts studiens design också för en rad test i syfte att pröva dess validitet. 

För att förbättra kunskapen om verkningsfulla åtgärder i verksamheter där det inte är möjligt med dubbel- eller trippelblindade RCT är det, menar vi, bättre att bygga upp metodkunskap som gör att vi bättre kan utnyttja våra unikt informationsrika register än att spendera mer pengar på småskaliga och vetenskapligt bristfälliga experimentstudier. 

Avslutningsvis är det intressant att notera att Rosén och medarbetare [2] rekommenderar att man ska vara »kritisk mot små studier, särskilt om de baseras på historiska kontroller, om försöksledaren gjort uppföljningen och om utfallsmåttet är självrapporterade besvär eller om kontroll för förväxlingsfaktorer saknas eller varit bristfällig«. Denna rekommendation gäller, vad vi förstår, inte RCT trots att den borde göra det. Om så varit fallet hade kanske inte mångmiljonbelopp använts för till synes verkningslösa eller rent av skadliga insatser inom regeringens satsning på Rehabiliteringsgarantin [3].