Att kunna mäta forskning är en dröm för många forskare, forskningsfinansiärer och politiker. Dagens metoder är oftast baserade på antingen input-variabler, såsom antal forskare eller finansiering, eller antalet publikationer och citeringar (bibliometri).
I Soteriades´ och Falagas´ artikel [1] hamnar Sverige i topp vad gäller antalet biomedicinska publikationer och citeringar per 1000 invånare samt antal citeringar i förhållande till BNP. Detta kan tolkas som att vi har en hög forskningseffektivitet (antal publikationer per spenderad krona). Tyvärr innehåller artikeln vissa svagheter som gör det svårt att dra sådana generella slutsatser:
Output-indikatorerna (antal publikationer och antal citeringar) är baserade enbart på biomedicin, medan input-indikatorerna (forskningsfinansiering och antal invånare) inte är områdesspecifika. Det innebär att länder som fokuserar forskningsresurserna på biomedicin framstår som mer effektiva än länder som prioriterar andra vetenskapsområden.
Forskningens andel av BNP omfattar såväl offentliga som privata investeringar. Om endast offentliga investeringar inkluderas hamnar Sverige under en procent av BNP, och då efter såväl Finland som Island [2].
Amerikanska forskare citerar i oproportionerligt hög grad inhemska artiklar. Detta försvårar citeringsbaserade jämförelser mellan Europa och USA [3].
Forskare från exempelvis Frankrike och Tyskland publicerar ett stort antal av sina artiklar i icke-engelskspråkiga tidskrifter som inte täcks av Institute for Scientific Information (ISI), vilka då exkluderas i analysen.
Artikelns slutsatser baseras dessutom på diskutabla beräkningar, eftersom exempelvis artiklar och citeringar summeras för tio år medan BNP anges som ett genomsnitt för perioden.
Erfarenheter från Australien kan illustrera faran med att, som i artikeln, framhålla antalet publikationer som indikator på forskningsproduktivitet. Där tilldelades universiteten resurser i relation till antalet publikationer. Detta bidrog till att Australien ökade sin andel av världens publikationer i Science Citation Index med 25 procent men samtidigt föll i citeringsbaserade rankningar [4].
Kvantitativa studier av forskning håller på att mogna som vetenskapsområde. Även i Sverige är området på frammarsch inom universitet och forskningsråd. Artikeln i BMJbör ses som ett exempel på hur tidiga bibliometriska studier brukade se ut. I Sverige bör vi använda mer sofistikerade bibliometriska metoder och fortsätta sökandet efter metoder som mäter den medicinska forskningens verkliga betydelse. Målet är trots allt att förbättra människors hälsa.