Modellering av åtgärders effekter under pandemin kan ifrågasättas

Tidsperioden från att en ny infektionssjukdom upptäcks till att den börjar spridas i exponentiell takt som pandemi uppskattas till kortare än 2 månader [1, 2]. Då data saknas för traditionella epidemiologiska analyser under en hastig pandemiutveckling kan hävdvunna metoder sällan användas som stöd för planering och beslutsfattande. Under dessa tidiga pandemiskeden används i stället modelleringsmetoder där antaganden och simuleringar utgör komplement till insamlade data. När en ny typ av fågelinfluensa hotade spridas mellan människor kring mitten av 2000-talets första decennium modellerades exempelvis möjligheten att begränsa virusets spridning genom distribution av antivirala läkemedel redan innan en pandemi etablerats [3, 4]. För att öka tillförlitligheten modifieras dessa tidiga pandemimodeller allteftersom fler data blir tillgängliga inom områden som smittsamhet, sjukdomsförlopp och förekomst av asymtomatiska infektioner. Då modellerna både förekommer i samhällsdebatten och används som underlag vid planering av interventioner är det angeläget att ha kännedom om hur tidiga pandemimodeller är uppbyggda och vilka felkällor som kan påverka resultaten. Målsättningen med denna rapport är att beskriva erfarenheter från en sekundäranalys av en sådan modell. Syftet är att ge underlag till en diskussion om hur dylika modeller bör bedömas och tolkas vid framtida pandemier och utbrott av allvarliga infektionssjukdomar.

Principen för ICCRT:s modellering

Bruket av tidiga pandemimodeller aktualiserades under coronapandemins inledande skede, då en av nyckelfrågorna var till vilken grad samhällen skulle stängas ner. Forskare vid Imperial College School of Public Health i London bildade tidigt en tvärvetenskaplig grupp kallad ICCRT (Imperial College COVID-19 Response Team), som i en serie rapporter drog slutsatsen att nedstängning var den mest effektiva interventionen. Vi har gjort uppföljande analyser av modelle­ringen utförd av ICCRT som vi publicerat i bland annat Nature. Här kommenterar vi några av de mest avgörande. Grundprincipen för den modell ICCRT använde var enkel. Varje samhällsintervention som infördes i 11 europeiska länder under våren 2020 antogs minska reproduktionstalet R med en faktor som var samma för alla länderna. Exakt hur mycket R-talet minskade beräknades i brist på reella data på en uppskattning av antalet smittade baserat på dödstalen för varje land. Det initiala R-talet betraktades som landsberoende och anpassades också i modellen. På så sätt försökte man härleda vilken kombination av fem möjliga interventioner som bäst överensstämde med förändringar i dödstalens ökningstakt (Figur 1). Om till exempel den exponentiella tillväxten hade en märkbar avvikelse den 10 april, så kunde den matchas mot en intervention som infördes 18,8 dagar tidigare (genomsnittsintervallet mellan smitta och död enligt ett av modellantagandena), det vill säga runt 20 mars. Allt detta utfördes i ett matematiskt maskineri som kallas hierarkisk bayesiansk modellering. 

Analyserna öppna att studera

De analyser som ICCRT utförde är öppna att studera tack vare att forskargruppen använt ett transparent programmeringsramverk med revisionshistorik där allt ner till felstavningar kan studeras i efterhand (Tabell 1). Därmed har vi kunnat undersöka ett antal antaganden och definitioner som gjordes i modelleringen. Publikationsförloppet för ICCRT:s modeller respektive våra sekundäranalyser visas i Fakta 1. Den slutsats som ICCRT drar är densamma i alla versioner av deras rapportering: endast effekten av nedstängning är identifierbar. Det gäller dock inte om programkoden ändras marginellt enligt nedan. I de 10 länder där nedstängning infördes under vårens första våg blev interventionen av naturliga skäl den sista att införas. Det innebär att den landsspecifika interventionen var just nedstängning i dessa 10 länder (Fakta 1). Att Sverige inte genomförde någon nedstängning gav modellen genom begreppet »sista interventionen« den ext­ra frihetsgrad som behövdes för att förklara R-talets nedgång i Sverige under våren 2020. Om den landsspecifika effekten som införandet av begreppet »sista interventionen« medger utesluts visar modellen 2 procents minskning av R; med den landsspecifika effekten är minskningen 71 procent, och helt plötsligt så har vi en förklaring till att dödstalen kan minska även i Sverige, medan nedstängning är förklaringen i de andra 10 länderna. 

Sverige ställde till det för modellen

Vi fann således att Sverige som enda land i studien som inte införde någon nedstängning (annars betraktat som sista intervention) ställde till det för modellen. Detta kompenserades även genom ett antal definitionsjusteringar som bara infördes för Sverige. Som framgår av Tabell 1 är datumen för sista interventionen i Sverige beroende av hur man definierar vilka interventioner som infördes i landet. I våra analyser [8, 9] så undersökte vi de möjliga kombinationer som inte redovisades i [7], det vill säga sista interventionen 18 mars eller 16 mars, baserat på dödstalen fram till 5 maj. Det intressanta är att den mest effektiva interventionen då blir förbud mot folksamlingar, skolstängning respektive social distansering, allt beroende på de godtyckliga definitioner som ICCRT själva har testat i olika kombinationer. Ett annat test som gjordes i [8] var att jämföra Storbritannien och Sverige. Tanken var att få en mer rättvis jämförelse av ett land som införde nedstängning och ett som inte gjorde det. I övrigt är det samma förutsättningar som i ICCRT-­koden. Då säger modellen att förbud mot folksamlingar varit överlägset effektivast medan nedstängning ter sig lika verkningslös som de andra interventionerna. 

Men det viktigaste problemet med metodiken som använts av ICCRT var inte att man stegvis ändrat modellen utan ett mer subtilt. I 11 länder infördes samma interventioner under några veckor i mars. Med tanke på att tidsperioden mellan smittillfälle och dödsfall sträcker sig över flera veckor blir det svårt att utifrån dödsfall på säker grund räkna baklänges och särskilja effekten av enskilda interventioner. Ur ett modellteoretiskt perspektiv kan vi visa att det saknas data för att entydigt identifiera dessa effekter. Detta gör att den modell som ICCRT använt enkelt kan justeras för att förklara dödsfallskurvan med en viss intervention. Väljs nedstängning som denna intervention utgör Sverige ett problem, eftersom epidemin avtog även i Sverige under våren, i avsaknad av nedstängning.

Förutsättningarna för analysen ändrades

Vi ifrågasätter inte att en total nedstängning minskade smittspridningen i Europa under den första pandemivågen, även om implementering och efterlevnad har varierat mellan de studerade länderna. Vår sekundär­analys [9] i Nature fokuserar i stället på den matematiska modell som ICCRT använde för att styrka sina påståenden. Trots en synbar ambition till vetenskaplig ansats ändrade ICCRT förutsättningarna för sin analys undan för undan som fler data blev tillgängliga på ett sätt som befäster slutsatsen att nedstängning är mest effektivt. Sverige var det stora problemet – hur förklara att de svenska kurvorna liknade de övriga ländernas i avsaknad av en nedstängning? Lösningen var att använda en modell som var tillräckligt flexibel för att få ut vilken slutsats som helst. Det går även att vända på logiken: ge oss en intervention som passar er tes och vi anpassar modellen så att den visar sig mest effektiv med samma kod, data och förutsättningar som ICCRT uppgav.

Även antagandena i sig kan ifrågasättas

Vår sekundäranalys av metodiken som ICCRT använde var möjlig endast genom att modellen och analysproceduren publicerades i detalj. I grunden har ICCRT tveklöst utvecklat en intressant metodik. Forskargruppens öppenhet vittnar dessutom om en syn på vetenskaplig transparens som vi delar. Vi gavs genom publikationen av programkoden möjlighet att kunna påpeka svagheter i analysmetodiken. Men även antagandena som modellen byggde på kan ifrågasättas. Till exempel antogs i modellen att förändringar i R-talet och dödstal över tid endast kunde bero på interventioner (och inte till exempel på initiativ som medborgare tagit oberoende av statlig inverkan eller rent av årstidsvariationer). Modellen antog vidare att interventioner påverkar R-talet momentant och att en viss interventionskategori har samma inverkan oavsett vilket land den införs i (med undantag för den sista interventionen). Dessa antaganden har tveksam empirisk grund samtidigt som de påverkar analysresultat och slutsatser.

Slutsats

Vi drar slutsatsen att modellering utförd under tidiga pandemiskeden bör genomgå tvärvetenskaplig granskning av erfarna modellerare och epidemiologer innan resultaten görs tillgängliga för allmänhet och beslutsfattare. Felkällor både i det tekniska utförandet av modelleringen och i de antaganden som analyserna bygger på kan då belysas och brister åtgärdas. Modelleringsmetodiken som ICCRT utvecklat är teoretiskt intressant även för framtida utvärderingar av tidiga pandemiinterventioner. Vår sekundära analys som ledde till påpekanden om dess begränsningar möjliggjordes genom att metodiken publicerats i detalj, vilket är en förutsättning för fortsatt kunskapsutveckling inom området.