Utvärderingar höjde forskning i Australien

I Sverige väntas ett nationellt system för utvärdering av forskning sjösättas omkring 2018. I Australien är ett sådant system, Excellence in Research of Australia, ERA, redan infört. Efter en provomgång 2009 användes ERA för första gången skarpt 2010, och redan 2012 gjordes en uppföljning. 2015 är det dags igen.

Leanne Harvey, Executive General Manager vid Australian Research Council, ARC, är en av ERA:s skapare. När hon ombeds beskriva systemet börjar hon med att understryka att ERA omfattar all forskning, till skillnad från till exempel det brittiska systemet, där endast ett urval från varje universitet granskas.

Olika kvalitetsmått inom olika fält

Granskningen i ERA sker ämnesvis.

– Vi frågade forskarna inom respektive fält: vad är forskningskvalitet för er?, berättar Leanne Harvey. Det blev så klart hetsiga diskussioner, men så småningom utkristalliserades svar om lämpliga kvalitetsmått som det rådde mycket stor enighet om inom respektive område. Dem har vi utgått från.

Det innebär att tillvägagångssättet för ERA skiljer en hel del mellan olika discipliner. Några tar avstamp i bibliometriska mått som bland annat citeringsdata, medan bedömningen i andra ämnen baseras på peer review. I slutändan är det expertpaneler i respektive ämne som väger samman all information i underlaget till en samlad bedömning.

– Det är dessa paneler, det vill säga forskarna själva, som har makten. Vi tjänstemän på forskningsrådet administrerar ERA, men kan inte påverka utfallet.

Experterna i panelerna är huvudsakligen landets egna forskare, varför det är noga reglerat hur jävssituationer ska hanteras. Leanne Harvey hade gärna haft ett betydligt större internationellt inslag i panelerna, men konstaterar att geografin sätter käppar i hjulet. Australien ligger för långt bort från Europa och Nordamerika.

– Där har Sverige en fördel: ni har möjlighet att rekrytera utländska forskare som granskare.

Universiteten får underlag för intern styrning

Syftet med ERA är att höja kvaliteten på australisk forskning, men inte i första hand genom direkt styrning av forskningsmedel. Bara en liten del av de statliga forskningsmedlen distribueras på grundval av ERA. Ändå menar Leanne Harvey att systemet redan lett till påtagliga förändringar. Anledningen är framför allt att universiteten själva använder kunskapen från ERA för intern styrning och prioritering.

– På bara några år har vi sett en minskning av forskning av lägre kvalitet. Forskarna publicerar ungefär lika många artiklar, men av högre kvalitet. Tidigare var många intresserade av att maximera antalet publikationer, vilket förstås gjorde att kvaliteten blev lidande.

Att ERA ger universiteten underlag för deras eget kvalitetsarbete är ett skäl till att alla lärosäten vill vara med, trots att ERA är frivilligt, och trots att det inte styr några stora pengaflöden, menar Leanne Harvey. Ett annat skäl är att bedömningen ger lärosätena en chans att öka sin attraktionskraft, inte minst gentemot de asiatiska studenter som gärna söker sig till Australien.

Mindre än en promille av budgeten

Kostnaderna då? Att göra en fullständig genomgång av ett lands forskning måste ju vara en kolossal apparat?

– Kostnaden för att driva ERA blir i snitt ungefär 7 miljoner australiska dollar per år. Det låter mycket, men hela den statliga australiska forskningsfinansieringen är runt 8 miljarder dollar, så ERA motsvarar mindre än en promille. För de pengarna får både staten och universiteten bra underlag för sin strategiska planering, samtidigt som allmänheten får belägg för att den statliga forskningsfinansieringen stöder forskning av hög kvalitet.

Granskningar vart tredje år

Någon fast periodicitet för ERA är inte fastslagen, men Leanne Harvey tror på fortsatta granskningar ungefär vart tredje år.

– Andra länder, som Storbritannien, har valt betydligt glesare intervall. Problemet med det är att universiteten blir bedömda på väldigt gamla meriter. Om utvärderingen tittar sex år bakåt, och sedan gäller i sex år så innebär det att lärosätets betyg baseras på forskning som gjordes för tolv år sedan. I synnerhet för unga, expansiva lärosäten ger det ingen rättvis bild.

På frågan om vilken kritik ERA fått svarar Leanne Harvey att det anmärkningsvärda är hur väl systemet mottagits av både forskare och universitetsledningar. Innan det sjösattes fanns en oro om både syfte och formerna för utvärderingen, men försöksomgången 2009 lugnade många.

– ERA 2009 fördelade inga forskningsmedel och resultaten blev inte offentliga – man fick bara resultaten från sin egen granskning. Det gjorde att universiteten kunde delta helt utan risk. De fick ett kvitto på att bedömningen höll måttet.

Lösningen för tvärvetenskap

Ett av många frågetecken inför införandet av ERA var hur tvärvetenskapliga angreppssätt skulle hanteras i bedömningen.

– Det fanns en utbredd oro i forskarsamhället för att systemet skulle missgynna tvär- och multivetenskap, och det ville vi absolut inte, berättar Harveys kollega Marcus Nicol, Director of Research Analysis. Därför låter ERA forskarna själva avgöra till vilka fält som deras publikationer hör, och de får ange upp till tre ämnen. Forskningen blir då oberoende bedömd i de tre expertkommittéerna.

För ARC och staten har ERA inneburit en mer detaljerad och välunderbyggd uppfattning om landets forskningsprofil.

– Vi visste förstås en hel del tidigare om våra styrkor som forskningsnation, säger Leanne Harvey. Australien har till exempel länge förknippats med världsledande forskning inom en rad medicinska områden, inte minst immunologi. Men ERA har breddat bilden och visat på styrkor inom bland annat historia och ingenjörsvetenskap som vi inte alls var lika medvetna om, avslutar hon.

Läs också i Curie:

Så kan kvalitet omfördela anslag (Curie)

Vinnova utreder mått på samverkan (Curie)

Så bedöms forskare i England och Holland (Curie)

Kollegial bedömning ska höja forskningens kvalitet (Curie)