Reproducerbarheten i den medicinvetenskapliga litteraturen har ifrågasatts starkt under senare år. En av de ledande kritikerna är läkaren och forskaren John Ioannidis, som leder ett stort institut vid Stanford-universitetet. De orsaker till bristen på reproducerbarhet som lyfts fram är studiedesign, bristfälliga mätmetoder och otillförlitliga statistiska metoder med tveksamma val av signifikansnivåer.
Bland annat har det visats att över 95 procent av alla publicerade studier inom det medicinska fältet har statistiskt signifikanta resultat. Detta torde till stor del bero på så kallad publikationsbias, att studier med resultat som inte visar effekt eller skillnader aldrig publiceras.
En annan viktig grund för felaktiga positiva fynd är att studier med små urval, det vill säga alltför liten studiepopulation, dominerar ett fält i dess uppbyggnad. När sedan större och mer kontrollerade studier genomförs finner man ofta att ingen effekt eller skillnad föreligger.
Det finns inga givna åtgärder för att komma till rätta med problemet med dålig reproducerbarhet. Dock torde en ökad öppenhet vad gäller analysmetoder och delande av rådata vara ett sätt att få en bättre genomlysning av en genomförd studie. En annan metod som fått en stor spridning är förregistrering av studieprotokoll och analysplan. Dessutom krävs en allmänt förbättrad kompetensnivå inom statistikområdet i den medicinska forskningen.
