Autoreferat. En multinationell studie (Reproducibility Project: Psychology) har upprepat 100 studier i psykologi [1]. Efter att reproducerbarheten inom det psykologiska fältet ifrågasatts syftade detta projekt till att empiriskt undersöka hur många rapporterade fynd som kunde replikeras.

Studierna som undersöktes valdes bland alla publikationer år 2008 i tre stora psykologitidskrifter: Psychological Science, Journal of Personality and Social Psychology och Journal of Experimental Psychology: Learning, Memory and Cognition. Artiklarna kodades in efter publiceringsdatum och blev blockvis tillgängliga i en databas för forskare som valde att delta i »crowdsourcingen« av replikeringsförsök. Varje försök genomfördes enligt ett strukturerat protokoll, och planen för experimentet godkändes av författarna till originalstudien och i en omgång av intern referentgranskning. Resultaten rapporterades i ett strukturerat format. Alla data är fritt tillgängliga liksom hela analyskoden.

Av de 100 inkluderade originalstudierna visade 97 statistiskt signifikant positiva resultat. Replikeringsstudiernas statistiska styrka var 92 procent i medeltal, och därför förväntades 89 studier visa positiva resultat under antagandet att effekterna hade estimerats korrekt från början. Endast 35 studier (36 procent) visade dock positiva resultat. Effektstorleken halverades i medeltal från r = 0,4 till r = 0,2. Av replikeringseffekterna låg 41 procent inom originalstudiens 95-procentiga konfidensintervall. 39 av de 100 grupperna som genomförde studierna bedömde subjektivt att replikeringen var framgångsrik. Den starkaste prediktorn för lyckad replikering var den ursprungliga effektstorleken.

Resultaten är förenliga med bias inom fältet. Men de bör inte tolkas som tecken på någon kris, utan studien är ett exempel på vetenskap som fungerar precis som den ska. Resultaten påminner om vikten av att nya fynd replikeras innan de accepteras som sanning. Ett liknande projekt pågår för närvarande inom preklinisk cancerforskning [2], men med lite annorlunda studiedesign där 50 särskilt betydelsefulla studier som publicerats 2010–2012 inkluderats, och där datainsamlingen sköts av företag vars tjänster upphandlas för ändamålet.

Resultaten tyder på att det finns betydande utrymme för ökad reproducerbarhet. Metoder för reproducerbar forskning inbegriper bland annat förregistrering av studieprotokoll, studiedesigner med högre statistisk styrka, öppna data, öppen kod samt publicering av negativa resultat. Skäl till att dessa metoder inte används oftare kan vara dels en naturlig tendens att göra som vanligt, fastän nya verktyg ger oss större möjligheter, och dels att vi saknar utvecklade mekanismer för att meritvärdera t ex publicering av öppna dataset. En kulturförändring är möjlig om metoder för reproducerbar forskning uppvärderas vid beslut om t ex publikation av manuskript och tilldelning av forskningsanslag.