Finns det en motsättning mellan standardisering/kvantifiering och expertis?

Vilka krafter är det som driver kvantifiering? Expertis och objektiva mått borde väl ändå gå hand i hand, kan man tycka. Enligt vetenskapshistorikern Theodore M Porters bok »Trust in numbers – the pursuit of objectivity in science and public life« har dock historien visat att det snarare råder ett motsatsförhållande. Vetenskapsmän och andra experter ägnar sig sällan åt objektivitet om de blir lämnade ifred utan oftast först när kraven kommer utifrån.

Porter menar att kvantifiering och objektivitet är sätt att administrera världen snarare än att förstå den. 

Ett kilo vete 

Ett illustrativt exempel på hur man avvecklade expertkunskap till förmån för enkla kvantitativa mått var när man skulle förenkla handeln av vete på 1800-talet. Tidigare hade man lastat sin säck med vete på en flodbåt, och så inspekterades kvaliteten noga och man erbjöds ett pris. En fin säck vete var så klart värd en slant. Men år 1856 började handelsförbundet underlätta handeln med vete genom att införa ett enhetligt pris, och säden förvarades inte längre i separata säckar utan sammanblandades i stora lass. Det dröjde dock inte länge in­nan detta fick konsekvenser, då kvalitet inte längre lönade sig. 

»När bönderna upptäckte att de skulle få ungefär samma pris för excellent rent vete som för smutsigt, fuktigt, eller vete som börjat gro, så började de klaga bittert. De började också mixa sitt vete med agnar och smuts, eller åtminstone anstränga sig minimalt för att hålla det rent.« 

År 1857 återinförde man kvalitetsgradering av vete, men nu enbart fyra klasser, och det var inte de som i slutänden skulle köpa som gjorde klassificeringen.  

»Därefter kunde vete köpas och säljas på Chicagobörsen av handlare som aldrig hade sett och aldrig skulle se vetet – och som inte kunde se skillnad på vete och havre.« 

Den mest uppenbara fördelen med kvantifiering är alltså att vem som helst kan räkna pinnar medan en kvalitativ
bedömning kräver expertis. 

»Cost–benefit«-analyser 

Som nästa exempel på kvantifiering för att förenkla administration tar Porter införandet av »cost–benefit«-kalkyler vid dammbyggen i USA. Efter 1936 års lagstadgade »flood control act« (för att hindra översvämningar) introducerades kostnads–nytto-kalkyler som ett underlag för de politiska besluten om vilka dammar som skulle byggas/åtgärdas. Om nytto–kostnads-kvoten översteg 1 så var det värt att satsa på. Detta förfarande kan tyckas enkelt för den som ska fatta beslut, men är inte riktigt lika enkelt för ingenjörerna som skapar rapporten. Hur noggrant ska man räkna? Vad ska inkluderas i kalkylerna? Viss flexibilitet i kalkylerna gjorde det inte enklare. Det är inte helt lätt att kvantifiera nytta. Ingenjörerna upplevde det pinsamt om de själva tvingades prissätta saker som egentligen inte går att värdera i pengar. Vad är till exempel värdet av ett liv? 

Alltför mycket kreativitet i nyttan smög sig kanske ibland också in om man inte riktigt fick nytto–kostnadsbalansen precis som man ville ha den. Kanske fanns några »nyttor« som man hade glömt att räkna? Större flexibilitet i kalkylen öppnade för variation och manipulation. Stramade man däremot åt, så att det blev exakt standardiserat blev det mindre utrymme för politik men också mindre utrymme för analys. 

Även om det kan tyckas uppenbart att en kostnads–nytto-kalkyl knappast kan vara mer än ett underlag för analys och debatt, så fanns det starka incitament att försöka förvandla det till något bindande. Problemet med kvantifiering är ju dock att det ofta utelämnar saker ur kalkylen. Mest de saker som är svåra att mäta. 

Fransk teknokrati 

Fanns det något annat sätt att förhålla sig till expertisen, förutom att leverera siffror som byråkraterna kan hänvisa till? Som motexempel mot förenklade »cost–benefit«-analyser tar Porter situationen i Frankrike vid samma tid. Till skillnad från i USA hade de franska ingenjörerna (som i stället sysslade med järnvägsbygge) i statlig tjänst betydligt mer autonomi. Att bara ta fram siffror enligt önskemål från politikerna sågs som oacceptabelt för dessa elitingenjörer. Det var förmågan att se helheten som var deras hedersfråga, och planeringsdiskussionerna inkluderade både tekniska, ekonomiska, och rent politiska överväganden. 

Hur skulle man till exempel definiera offentlig nytta? 

»Framför allt hade offentlig nytta att göra med rationell planering, att man undvek onödig tävlan. Till exempel att en järnvägslinje skulle etablera en ny rutt (inte bara duplicera en redan etablerad rutt som redan fanns via flodkanaler).« 

»I de fall rena beräkningar gjordes så gällde det ju också att noga granska att beräkningarna inte var baserade på orepresentativa tåglinjer som inte var typiska utan att beräkningarna var generaliserbara.«

Som en ingenjör uttryckte det: 

»… vår roll som ingenjörer […] består inte i att göra beräkningar […] utan att verifiera deras legitimitet, att väga konsekvenserna av deras eventuella avvikelse från verkligheten, för att avgöra hur mycket som kan lämnas åt slumpen.«

Ett väsensskilt förhållningssätt jämfört med det amerikanska kan man tycka, genom att det fokuserade på validitet över allting annat. Det innehöll dock ofrånkomligen en subjektiv komponent i bedömningarna. 

Expertis bygger på förtroende

Hur ska man förstå skillnaden mellan de amerikanska och de franska förhållningssätten? Enligt Porter var den avgörande skillnaden att i Frankrike tillhörde ingenjörerna en social elit och de fick därför större autonomi. 

»… där experter tillhör eliten, litar man på deras omdömesförmåga och att de fattar beslut vist och rättvist. I USA, förväntas de följa regler.« 

Allting var dock inte frid och fröjd med den franska elitmodellen. Franska teknokrater/byråkrater hade enligt Porter en »legendarisk brist på redovisningsskyldighet«.  

Expertis bygger på förtroende av naturliga skäl. Det är bara andra experter som kan granska rimligheten i en experts påståenden, och expertis är därför till sin natur icke-transparent och odemokratisk. Det finns inget sätt för utomstående att kunna skilja expertkunskap från bias. 

Det amerikanska sättet att hantera det problemet var strängare krav på objektivitet:

»… objektivitet innebär personliga begränsningar. Det innebär att följa reglerna. Regler håller subjektiviteten i schack; de ska omöjlig­göra för personliga bias eller preferenser att påverka utfallet av en undersökning. Att följa regler är kanske eller kanske inte en bra strategi för sökande av sanningen.«

Objektiva (regelstyrda) metoder är alltså rättvisa och transparenta, vilket är önskvärt i ett demokratiskt samhälle, men leder inte nödvändigtvis till det som är rätt och sant!

Vetenskaplig expertis vs objektivitet

Gäller detta även inom vetenskapen? Där är väl ändå objektivitet ett nödvändigt gott som främjar sanningen – eller? Porter illustrerar med två fält: astronomin och partikelfysiken, som i vissa aspekter utvecklats i motsatta riktningar gällande objektivitet och standardisering. Enligt Porter är astronomin ett fält som blivit mer standardiserat, i varje fall när det gäller insamling av observationer. För länge sedan när instrumenten var sämre och krävde en tränad hand och ett tränat öga var det bara mästerastronomerna själva som gjorde sina observationer och bedömde vad som skulle sparas eller ej.

»… de förkastade mätningar som verkade felaktiga på något vis – om till exempel himlen inte var perfekt klar, eller om teleskopet var ostadigt. Och vem kunde veta bättre vilka villkor som var optimala än mästerastronomen, vars färdigheter hade finslipats av ändlösa nätter med ögat mot okularet?” 

I takt med att instrumenten blev bättre och att även en novis kunde hantera dem, och när observatorierna expanderade, så blev i stället assistenter och studenter satta att registrera. Återigen standardisering som underlättar administration alltså. Men kanske riskerar något att gå förlorat när den som samlar in data inte längre har expertkunskap om data?

Men måste inte all forskning standardiseras då? Nej! Enligt Porter bygger många av de mest forskningsintensiva miljöerna snarare på motsatsen. Som exempel tar han partikelfysiken, som han menar är ett exempel på en liten »community« där de flesta känner till varandra och där allting viktigt sker informellt. Till skillnad från stackars kliniska forskare som ofta ligger åratal efter forskningsfronten och kastar sig över papper som kan påverka riktlinjer, är det redan publicerade gammal skåpmat för partikelfysikerna: 

»… bara doktorander och masterstudenter ägnar uppmärksamhet åt publicerade artiklar; seniora forskare interagerar huvudsakligen genom att prata och skriva. Postdoktorala forskare konsulterar mer sannolikt ’preprints’ snarare än redan publicerade rapporter, eftersom de är mer aktuella. Ändå är även ’preprints’ värdefulla huvudsakligen som en guide till fältet, för att hitta vem som är värd att prata med. De som verkligen befinner sig på rätt plats lär sig det de behöver informellt.«

Informella bedömningar om vems experiment som är trovärdiga eller inte är också en viktig faktor. I andra fält med mer standardiserade mätinstrument är det enklare att replikera försök, men partikelfysikerna bygger sina egna detektorer och justerar dem kontinuerligt. 

Ett stort mått av hantverk i metodologin alltså, så långt från standardisering man kan komma. Tolkningar av resultaten bygger på att man har stort förtroende för att den som byggt och tolkat experimentet vet vad den gör. En gemensam disciplinär kunskapsbas gör också att man kan förlita sig på varandra och tillåta sig att arbeta mer informellt.

»… gemensam kunskap kan ha effekten att minska misstro, och man kan då släppa på tvångströjan av opersonliga regler.« 

Kombinering av standardisering och expertis

Hur har det sett ut för den medicinska expertisen då? I vilken utsträckning har man blivit påtvingade den tvångströja som regler utgör?

Skepsis mot kvantifiering och standardisering i all ära, men det har ju också sina poänger. Standardisering förde medicinen framåt genom att till exempel kemiskt framställa standardiserade läkemedel från renade substanser med förutsägbar styrka, i stället för växtsubstanser med oförutsägbara varierande mängder. Man avlade fram mer enhetliga försöksdjur för att komma tillrätta med experimentell variation. Standardisering och kvantifiering ger ju framför allt reliabilitet. Man kan lita bättre på sina siffor.  

Medicinska experiment krävde dock sällan statistiska beräkningar, tydliga kausala samband syntes ändå. Om bakterierna på odlingsplattan dog av antibiotikan kunde man anta att det var verksamt. Patienten hade också förtroende för sin doktor utan att kräva bevis. 

Den stora pressen på objektivisering kom utifrån myndigheter. Doktorernas expertis tycktes nämligen otillräcklig för att kontrollera påståenden från läkemedelstillverkarna. FDA höll noga koll på vilken litteratur som skickades ut till doktorerna. Säkerhetsaspekter var svåra att kvantifiera och krävde expertkunskap, men hur skulle man kunna undvika risken för bias från köpta läkare? Den dubbelblinda studien var född och löste problemet att få expertbedömning och ändå undvika bias. Om säkerhet ansågs svår att kvantifiera, ansågs det dock lättare med effektivitet.

»Dessa kriterier var designade för att motstå granskning i domstol. En statistiskt korrekt experimentell design utförd av kvalificerade utövare och som genererade en statistiskt signifikant skillnad mellan läkemedel och placebo, utgjorde en acceptabel bevisning.«

P-värden som bevis i domstol, alltså! Frånvaron av bevis betyder dock inte frånvaron av samband. Porter menar att p-värden ska ses som ett sätt att bygga förtroende, inte som en guide till vetenskapligt tänkande. 

Kvantifiering – sätt att inge förtroende 

Att kvantifiering och objektivitet är ett sätt att inge förtroende menar Porter gör att svaga vetenskapliga fält gärna lånar auktoritet från kvantifiering. Psykologin, och särskilt parapsykologin, var bland de första disciplinerna att anamma statistiska metoder. Institutioner och byråkrater lutar sig också gärna mot kvantitativa mått för att låna auktoritet. Siffror är enligt Porter särskilt lockande för byråkratiska tjänstemän som är rädda för att kritiseras för godtycklighet och bias. Få saker kan också så effektivt hindra granskning och insyn utifrån som tillräckligt avancerade beräkningar, eftersom det då blir mindre transparent

Kvantifiering – grogrund för misstroende 

Kvantifiering som ett sätt att undgå kritik, alltså. Men vad händer när folk tappar tilltron till siffror? Problemet med kvantifiering är ju om det mäts fel saker. Om mått som saknar validitet dessutom används för styrning, blir det en administrativ mardröm. Porter målar tydligt upp den konflikt som de facto finns mellan expertis och regelstyrning.

Det är lätt att kritisera politisk styrning via kvantitativa mått eftersom det är så lätt att se när det mäts fel saker. På något sätt måste dock styrning ske, och till exempel New public management har ju i varje fall fördelen att vara transparent.

Det är svårare att granska styrning via artificiell intelligens och avancerade statistiska modeller för att det är mindre transparent. Mäter algoritmerna rätt saker? Vem vet? Ska vi överlåta alltför mycket av vården till algoritmer som är svåra att granska kräver det verkligen »trust in numbers«! 

Sammanfattningsvis ger Porters bok ett ramverk för den som känner lätt skepsis kring överanvändning av kvantitativa mått. När man skakar på huvudet åt galenskaperna är det också terapeutiskt med en liten historisk tillbakablick. Det är synd om oss i vården, men uppifrånstyrning med tveksamma mått är sannerligen inte någon historisk nyhet, och det var lika synd om vetehandlarna!