I ett tidigare inlägg hävdade vi att jäv förklarar en avsevärd del av medicinska ämnesrådets bedömningsarbete (LT 30-31/2009, sidorna 1872-3). Trots att det föreligger tre studier som tyder på att detta kan vara ett reellt problem vill Billig och Jacobsson (B&J) i sin replik (LT 37/2009, sidan 2300) inte tro på förekomsten av jävseffekter. Förutom Wennerås och Wolds och vår egen studie har även Vetenskapsrådets egen analysavdelning fått likartade resultat.
Mycket talar således för att procedurerna för bedömningsarbetet behöver säkras mot det som Wennerås och Wold benämnde »nepotism«.

Information om eventuella jäv finns, som B&J framhåller, inte tillgängliga före beslutsmötet, men vi vill påminna om att beredningsgruppens ledamöter har kännedom om varandras samarbetspartner och forskningsnätverk. Om inte annat finns det tydligt angivet i den sökandes publikationslista och CV, vilken bland annat innehåller uppgifter om vem som varit handledare.
Detta gör att jäv kan spela en betydande roll under bedömningsarbetet. Vetskapen att ledamot A är framgångsrik kan förleda till slutsatsen att samarbetspartner B eller doktorand C har samma framgångsmöjligheter, allt annat lika. Med nuvarande utformning av procedurerna i beredningsarbetet finns ytterst lite som talar för att ledamöterna skulle vara vaccinerade mot en sådan jävsproblematik.

B&J tänker sig att det i stället handlar om en selektionseffekt, en icke-observerbar »kvalitet« hos sökande med kontakter i beredningsgruppen. Denna effekt skulle uppkomma till följd av att beredningsgrupperna består av »framstående forskare från framstående miljöer«. Dessas doktorander och samarbetspartner kan, enligt B&J, antas ha en särskild kvalitet som gör att vi felaktigt lockas till slutsatsen att jävet ligger bakom deras observerade fördel. Visst, det är möjligt, denna förklaring bör testas. Hypotesen är då att beredningsgrupperna består av ledamöter som väsentligen presterat mer och bättre än genomsnittet inom sina fält och att de därigenom traderar »osynliga kvaliteter« till sina nätverk.

Billig och Jacobsson menar också att våra bibliometriska indikatorer inte mäter de sökandes kvalitet på ett uttömmande sätt, och att de kvalitetsdimensioner vi inte lyckas mäta (dvs mätfelet) är systematiskt relaterade till jävet. Mot detta kan hävdas att medicinska forskare (så även ledamöterna) i allmänhet har hög kännedom om och förmåga att bedöma publiceringar och tidskrifters rankning. Det gör att mätfelet bör vara litet, och om jävseffekten beror på att forskare med kontakter i beredningsgruppen är extra framgångsrika tyder våra undersökningar på att det är en faktor som inte har med publiceringar att göra.
En alternativ hypotes skulle kunna vara att kunskapen om hur man skriver en effektiv forskningsansökan är större inom miljöer som är representerade i beredningsgruppen, men i sådant fall borde denna stilistik göras offentlig och inte vara förunnad sökande som redan har kontakter i beredningsgrupperna.

Slutsatsen är att varken B&J eller undertecknade kan ange de underliggande mekanismerna trots att effekten vid det här laget är väldokumenterad. Därför finns det all anledning att fördjupa analyserna av bedömningsprocessen.
Det är dags att göra det forskningsarbetet ordentligt. Snarare än att försöka stänga borde Vetenskapsrådet öppna frågan för olika typer av analyserande forskning. Till exempel vore det rimligt att noga undersöka ledamöters och sökandes nätverk i form av samförfattarskap och andra betydelsefulla relationer oavsett om de registreras som jäv eller inte.