Så bedöms forskare i England och Holland

I Storbritannien har utvärderingssystemet RAE, Research Assessment Exercise, använts sedan 1980-talet för att styra finansieringen till brittiska forskningsutförare. Utvärderingarna görs numera med sex års mellanrum. Den senaste hölls år 2008, vilket innebär att det är dags igen år 2014. Då har också RAE bytt namn till REF, Research Excellence Framework.

Systemet bygger på peer review: universitet och högskolor skickar in omfattande redovisningar av sin verksamhet, vilka granskas av expertpaneler för respektive disciplin.

– Vi har 36 paneler med totalt omkring 1000 granskare, främst aktiva forskare. De flesta är inhemska – vårt forskningssystem är tillräckligt stort för det, med runt 160 lärosäten, säger Graeme Rosenberg, REF Manager vid engelska Higher Education Funding Council for England (HEFCE), som lyder under engelska utbildningsdepartementet.

Litar bara på peer review

Graeme Rosenberg berättar att det skett en kontinuerlig utveckling av systemet under de decennier det funnits. Namnbytet från RAE till REF var från början avsett att signalera en större förändring, men så har det inte riktigt blivit.

– I slutändan blev REF rätt likt sin föregångare, säger han. Tanken var att förändra en hel del och att ersätta peer review med indikatorer, till exempel bibliometriska mått. Men det mötte så mycket motstånd från forskarhåll, så det ströks. Forskarna litar bara på peer review.

Visserligen kommer citeringsmått ändå med på ett hörn i vissa av REF:s paneler, men utan direkt påverkan på betygsättningen. De kommer att ingå i det material som granskarna tar del av för att få en samlad bild och får snarast karaktären av ”second opinion” i bedömningen, förklarar Graeme Rosenberg.

Tre aspekter bedöms

I REF bedöms tre aspekter av forskningen, olika viktade: kvalitet i vetenskaplig produktion (65 procent), forskningens påverkan på samhället (impact) (20 procent) och forskningsmiljö (15 procent).

– Det är första gången forskningsutförarna ska redovisa forskningens påverkan på samhället runtomkring, vilket säkert blir en utmaning, säger Graeme Rosenberg.

HEFCE:s direkta kostnader för att genomföra den kommande granskningen beräknas bli 14 miljoner pund, närmare 160 miljoner kronor, främst för ersättningar till paneldeltagare. De största kostnaderna i sammanhanget är dock lärosätenas egna kostnader för arbetet med att sammanställa sina underlag. Vid förra granskningen uppgick de enligt en uppskattning till 47 miljoner pund, nästan 530 miljoner kronor.

– Det är mycket pengar, säger Graeme Rosenberg. Men utslaget per år utgör kostnaderna mindre än 1 procent av de pengar som fördelas med hjälp av REF.

Underlag för interna prioriteringar

Även Nederländerna har sedan flera decennier ett nationellt system för utvärdering av forskningen. Systemet används dock inte för att styra forskningsmedel, utan som underlag för universitetens och högskolornas interna prioriteringar och kvalitetsarbete.

– Det finns inga direkta konsekvenser av bedömningarna, men forskargrupper som får höga betyg tenderar att belönas internt med till exempel fler doktorander och bättre utrustning, säger Jack Spaapen, senior policy officer på KNAW, den nederländska vetenskapsakademin, och involverad i utvecklingen av SEP.

I det nederländska systemet, kallat SEP, Standard Evaluation Protocol, betygsätts forskningen enligt en femgradig skala från 1 till 5 där 5 är bäst. På 20 år har genomsnittsbetyget i SEP stigit från 3,5 till 4,5.

– Man kan diskutera orsakerna till det, säger Jack Spaapen. En del menar att systemet helt enkelt gjort sitt jobb och gallrat bort forskning av låg kvalitet, ”dödköttet”. Men det finns också en misstanke om att granskningskommittéerna känner viss press att inte sätta för låga betyg, och att forskarsamhället har lärt sig hur spelet ska spelas.

Mest utländska experter

Till skillnad från Storbritannien bemannar Nederländerna sina utvärderingskommittéer huvudsakligen med utländska experter. SEP anger vilken information universitet och forskningsinstitut förväntas redovisa och hur detta ska bedömas av kommittéerna. Däremot är det upp till forskningsutförarna själva att bestämma vilka organisatoriska delar som ska rymmas inom en viss utvärdering – en fakultet, ett forskningsområde eller något annat?

Någon gång under en sexårsperiod ska dock varje forskargrupp ha hunnit bli granskad. Ibland går flera universitet på eget initiativ samman och gör en gemensam utvärdering av sin verksamhet inom ett visst fält, för att kunna jämföra sig med varandra.

Vad säger forskarna själva?

– Mitt intryck är att de tycker om systemet för att de är vana vid det och för att nästan alla får höga betyg. De gillar alltså systemet av samma skäl som vi tycker att det är dags att ändra på det: för att det inte längre är särskilt utslagsgivande. Vi utvärderar utvärderingssystemet vart sjätte år, och gör vissa förändringar. I det nya protokoll som kommer att gälla från 2015 blir det förmodligen en förändrad, mer särskiljande betygssättning, samt större fokus på samarbete med industri och samhälle, avslutar Jack Spaapen.

Läs också i Curie:

Kollegial bedömning ska höga forskningens kvalitet (Curie)