I open access-tidskriften PLoS Medicine visas att för många typer av studier är ett statistiskt signifikant resultat oftast ändå fel. Om ett samband är sant beror nämligen inte bara på studiens P-värde utan också på sannolikheten att sambandet finns. Om sambandet är osannolikt från början krävs naturligtvis starkare bevisning för att vi verkligen ska tro att det är sant.
En högre statistisk styrka (power) och ett lägre P-värde i en studie ökar naturligtvis sannolikheten för att sambandet är sant. Bias i form av selektiv publicering av positiva fynd och post hoc-analyser i subgrupper minskar å andra sidan sannolikheten för ett sant fynd. I vetenskapligt heta områden, där många undersöker samma samband samtidigt, minskar sannolikheten för att publicerade fynd verkligen är sanna.
Utifrån dessa faktorer går det att beräkna sannolikheten för att det funna sambandet verkligen är sant (positivt prediktivt värde, PPV). Det visar sig ofta vara svårt att få ett PPV över 0,50 om P-värdet är 0,05. Högst prediktivt värde har stora, konfirmerande, randomiserade studier.
Små kliniska prövningar och epidemiologiska studier har däremot ofta ett nedslående lågt PPV. Djurstudier med små gruppstorlekar har samma problem. I själva verket har de flesta studier ett PPV under 0,50 – resultatet är alltså fel.
Visst ska vi bli glada om vi hittar nya samband, men utan senare bekräftande större studier är det oftast ett falskt positivt fynd vi gjort.
Med andra ord, om inte sk negativa studier publiceras får vi inte reda på hela sanningen.