Egenreferat. Analys av forskningsdata fordrar ofta att forskaren fattar en serie beslut. Detta kan leda till en stor rymd av möjliga analysstrategier som är rimliga men som leder till varierande slutsatser. För att undersöka hur stor denna variation kan vara under naturliga förhållanden analyserade 70 forskargrupper samma data från ett experiment med funktionell magnetkamerateknik (fMRI). Forskargrupperna rekryterades genom så kallad crowdsourcing eller öppet deltagande, vilket innebar att forskare anmälde sig till samarbetet efter en öppen inbjudan.

108 försökspersoner hade i magnetkameran utfört en »mixed gambles task«, som är ett väletablerat paradigm för att studera beslutsfattande. Alla grupper fick samma nio hypoteser att undersöka, som handlade om aktivering i hjärnan vid olika betingelser i experimentet.

Det visade sig att inga grupper hade valt en identisk strategi för bearbetning och analys av data. För fem av nio hypoteser rapporterade 20–40 procent av forskarna ett positivt resultat. För de återstående fyra hypoteserna var resultaten mer enhetliga, men inga av de 70 forskargrupperna nådde samma slutsats för någon av de nio hypoteserna. Uppskattade effektstorlekar i olika delar av hjärnan korrelerade starkare mellan grupperna än bedömningen av statistisk signifikans.

Dessa resultat understryker att transparens är värdefullt och att det finns ett stort värde av att dela data och analyskod öppet. Genom förhandsregistrering kan rymden av potentiella analyser avgränsas, vilket kan stärka tillförlitligheten i rapporterade resultat.

Anna Dreber och Magnus Johannesson, båda vid Handelshögskolan i Stockholm, var med och ledde projektet, och GN deltog som en av de grupper som analyserade data.