Registrering av forskning baserad på nationella hälsoregister

Medicinska forskare har allt mer börjat diskutera vad som kan göras för att forskningen ska uppnå en hög­re grad av kliniskt användbara resultat som är robusta mot bias [1-4]. Mer robust studiedesign och transparent rapportering, till exempel genom preregistrering, har föreslagits som åtgärder. Med preregistrering menas att studiens planerade utförande registre­ras i ett offentligt arkiv innan rekryteringen börjar eller forskare får tillgång till data (Fakta 1), helst med en tidsstämplad statistisk analysplan låst för förändringar. Frånvaro av preregistrering lämnar mycket mer utrymme för snedvridning genom selektiv analysrapportering och publikationsbias [4-6].

Hälsoregister i Norden är extremt värdefulla underlag för forskning [7]. Teoretiska styrkor och begränsningar med forskning baserad på register [7-10] och andra källor för hälsodata [11, 12] har tidigare diskuterats, men utan att undersökas empiriskt. Denna meta­forskningsstudie syftar till att systematiskt utvärdera hur ofta svenska registerbaserade hälsorelaterade observationsstudier är registrerade före start (preregistrerade) och har en offentliggjord statistisk analysplan.

Metod

Vi sökte systematiskt i Pubmed efter svenska registerbaserade studier publicerade 2010–2022 och valde slumpmässigt ut 750/16 806 träffar i statistikprogrammet R. Artiklar utan hälsorelaterat utfall med kvantitativt utfallsmått (som incidens, prevalens eller någon typ av effektmått; se Appendix 1 via Open Science Frame­­work, osf.io/9pmdr/) exkluderades. Vi extraherade information från artiklarna om studieregistrering (före eller efter studiens start) och tillgängliggjord statistisk analysplan. För det senare genomsöktes såväl referenslistor som eventuella studieregistreringar.

Resultat

Av 750 slumpmässigt utvalda registerbaserade artiklar 2010–2022 exkluderades 377 som inte uppfyllde våra urvalskriterier (Appendix 2, osf.io/9pmdr/). Bland 373 inkluderade observationsstudier var enbart 6 (1,6 procent) registrerade, varav 2 före studiestart (preregistrerade; 0,5 procent). Dessa 2 studier var de enda som offentliggjort sin statistiska analysplan. En stor majoritet av studierna (304/373) testade statistiskt någon typ av samband, medan övriga var i huvudsak deskriptiva. Av associationsstudier utvärderade 69/304 någon typ av intervention (som läkemedelsbehandling eller operativa ingrepp). De 2 preregistrerade studierna med delad analysplan utvärderade läke­medelsbehandlingar.

Diskussion

Vi fann att väldigt få (<2 procent) registerbaserade observationsstudier var offentligt registrerade, vilket stämmer med en annan systematisk undersökning [13]. Preregistrering motverkar publikationsbias genom att studiers existens tillkännages oavsett deras resultat. För studier som inte avser behandlingsutvärderingar (till exempel studier av riskfaktorer för sjukdom) kräver varken finansiärer, förläggare eller andra intressenter i nuläget att studien registreras. Syftet med preregistrering är dock lika relevant för riskfaktorstudier, trots avsaknad av reglering, eftersom publikationsbias och selektiv rapportering kan snedvrida resultat även för sådana samband.

Frånvaron av registrering av observationsstudier är särskilt problematisk eftersom lejonparten var hypotesprövande med statistisk signifikanstestning. Registermaterial medger stor flexibilitet i metodval (till exempel hur urvalet selekteras, variabler kodas och justeringsvariabler väljs ut), vilka kan medföra stora variationer i resultat [14-16]. Litteraturens evidensvärde begränsas när det saknas garanti för att fynden inte russinplockats [4, 5]. Även till synes triviala analysval kan medföra bias i fall de influeras av hur data ser ut [3]. En stringent form av preregistrering där statistisk analysplan ingår är ett sätt att hålla forskaren vid sitt ord (så att inflation av typ 1-fel motverkas), vilket observerades i 0,5 procent av studier i vårt urval. Det räcker inte med att lyckosamt gissa resultatet på förhand [17], att enbart formulera en hypotes utan medföljande analysplan eller att översiktligt beskriva tillgängligt material, som i en så kallad kohortprofil. För att garantera en bibehållen låg nivå av falskt positiva fynd behöver analysen fastslås i tillräcklig detalj [18, 19]. Detta kan vara en diger uppgift i fall statistiska modeller används som ersättning för randomisering.

Att empiriska observationsstudier till överväldigande del saknar preregistrerad analysplan är varken begränsat till Sverige eller registerbaserad forskning (till exempel [20-23]), men detta ger inte anledning att bortse från problemet [24, 25]. Bland forum för att registrera observationsstudier kan nämnas Open Science Framework (www.osf.io), där instruktionsmaterial och mallar finns. Även i Clinicaltrials.gov kan observationsstudier registreras, men formatet är inte specifikt anpassat. En nyligen publicerad associationsstudie baserad på Graviditetsregistret använde en analysplan som preregistrerats [26]. Analysplanens utformning underlättades av Graviditetsregistrets detaljerade variabelinformation, något som finns tillgängligt för flertalet register. Det bör noteras att preregistrering varken syftar till att begränsa explorativa analyser eller förhindra nödvändiga tillägg, vilka kan redovisas transparent i den slutliga publikationen [26].

I frågor där randomiserade studier är svårgenomförbara kan representativa kohortstudier vara ett viktigt komplement, och nordiska register har tydliga styrkor [7-10]. Nationella register var nyligen en värdefull källa till snabb information kring olika epidemiologiska aspekter vid covid-19-pandemin och tillhörande vaccinationskampanjer. Observationsstudier kan även vara oumbärliga för att studera skador av exponeringar och interventioner. Dock fann en tidigare undersökning att forskningsfrågan i observationsstudier baserade på hälsodata sällan väljs för att komplettera randomiserade studier [27].

Vår metod har flera begränsningar. Registerbaserade studier som inte nämner sin datakälla i abstrakt eller titel kan ha missats i vår systematiska sökning. Relevanta rapporteringsriktlinjer för registerbaserade studier (Record och Consort-Routine) [28, 29] listar dock som första punkt att ange registrets namn och geografiska ursprung i titel eller abstrakt. Om studier som inte följer detta har en mindre fullständig rapportering även i andra avseenden, kan vårt urval representera registerstudier med särskilt god rapportering. Studier kan ha varit registrerade utan att hänvisa till detta i artikeln, även om det förtar en del av syftet (att kommunicera en stringent rapportering). Det är troligt att många fler studier följer en fördefinierad statistisk analysplan (som till exempel laddas upp i elektroniska loggböcker före databearbetning), även om den inte offentliggjorts. Att göra dessa planer öppet tillgängliga vore ett välkommet tillägg för transparens. Fastän det går att anta att epidemiologiska forskare använder sig av rekommenderad praxis tyder den medicinska litteraturens stora överskott på statistiskt signifikanta resultat [3, 30] på att observerade data tillåts influera analyserna i högre grad än vad som redovisas.

Den registerbaserade forskningen domineras i nuläget av hypotesdrivna sambandsstudier av enstaka utvalda riskfaktorer. Ett sådant paradigm är känsligt för rapporteringsbias i en publiceringskultur där såväl forskare som tidskrifter är mest intresserade av specifika resultat. Mest typiskt är intresset för statistiskt signifikanta resultat, men registerdata används också för att validera tidigare rapporterade fynd. Då kan bias ibland verka i motsatt riktning för att motbevisa ett tidigare påstått samband, till exempel inom farmakoepidemiologi [13]. Vissa grenar av epidemio­logi har anammat metoder för att systematiskt undersöka ett helt spektrum av exponerings- eller utfallsvariabler och presentera samtliga resultat [31-33]. Sådana agnostiska (icke hypotesdrivna) analyser kan fungera både för att generera hypoteser och för att motverka rapporteringsbias inom ett fält. Vi känner till två motsvarande innovativa farmakopétäckande undersökningar, baserade på Läkemedelsregistret [14, 34]. Även vissa andra metoder för ökad felkontroll, som triangulering av analyser i separata urval [35] och and­ra valideringsmetoder [14], är hittills ovanliga i registerforskningen [13]. Försiktighet och uppfinningsrikedom gentemot den »meta-bias« som uppstår ur analys- och rapporteringsrutiner [36] skulle kunna stärka svensk registerbaserad forskning.

Omnämnanden: Postdokstipendium från Knut och Alice Wallenbergs Stiftelse (C. Axfors) finansierade detta arbete.