Utvärdera forskning för högre kvalitet

I dagarna har Vetenskapsrådet lämnat ett förslag till regeringen om hur en del av basanslaget för forskning och forskarutbildning ska fördelas i konkurrens. Enligt förslaget ska forskningen vid svenska universitet och högskolor utvärderas i intervaller om sex år – lite tätare i början.

Bedömningen ska göras av paneler med sakkunniga. De tre komponenter dessa ska granska är vetenskaplig/konstnärlig kvalitet, kvalitetsutvecklande faktorer samt genomslag utanför akademin.

– Med hjälp av de här utvärderingarna ska man kunna jämföra hur forskning inom samma område står sig vid olika lärosäten och också över tid, säger Vetenskapsrådets generaldirektör Sven Stafström.

Regelbundet återkommande utvärderingar ger en solid grund både för forskningspolitiska beslut och för beslut på lärosätesnivå, menar han.

– Ledningarna på lärosätena ska kunna använda sig av resultateten från utvärderingarna för att göra prioriteringar där det finns potential för förbättringar.

Kvalitet är ett mångfacetterat begrepp

Redan idag fördelas en viss del av de direkta anslagen utifrån konkurrens. Det görs på basis av hur mycket forskarna publicerar sig och citeras samt hur mycket externa medel lärosätena har. Men de indikatorerna kan inte tillämpas på ämnesområden som inte använder bibliometri i någon större utsträckning.

En rent indikatorbaserad modell tar inte heller hänsyn till att kvalitet är ett mångfacetterat begrepp som inbegriper forskningens innehåll, framtida potential och betydelse för samhället. Med sakkunniggranskning finns möjlighet att göra en helhetsbedömning av forskningens kvalitet och genomslag. Det är bakgrunden till att Vetenskapsrådet våren 2013 fick i uppdrag av regeringen att ta fram en ny modell för utvärdering och resurstilldelning.

– Vårt förslag tar hänsyn till olikheterna mellan olika forskningsområden och anpassar underlaget för bedömning till detta. Inom naturvetenskap, medicin och delar av samhällsvetenskap kan bibliometriska mått vara ett centralt underlag. Medan externa sakkunniga i stället kallas in för att granska resultaten inom humaniora, konstnärlig forskning och delar av samhällsvetenskap och teknikvetenskap.

Allt bedöms av paneler

Många intressenter, både inom akademin och utanför, har varit involverade i arbetet med Vetenskapsrådets modell, som har fått namnet Fokus (Forskningskvalitetsutvärdering i Sverige). I Fokus hämtas data till utvärderingarna i så hög grad som möjligt från befintliga källor. Detta för att hålla nere kostnader och minimera arbetsbelastningen för enskilda forskare. Underlag och indikatorer styr inte resurstilldelningen direkt. Allt bedöms av paneler som ger betyg och lämnar betygsmotiveringar.

Vetenskaplig kvalitet (för konstnärlig forskning bedöms även konstnärlig kvalitet) utvärderas i huvudsak av internationella sakkunniga och är den komponent som tilldelas störst tyngd – 70 procent. De två övriga komponenterna tilldelas 15 procent var.

När kvalitetsutvecklande faktorer ska bedömas står potentialen för förnyelse och långsiktighet inom vetenskapsområdet i centrum. Bedömarna väger samman faktorerna forskarutbildning, mobilitet, samverkan, forskningens utbildningsanknytning och jämställdhet.

Den tredje bedömningsgrunden är genomslag utanför akademin.

– Hur forskningen påverkat samhället är svårt att bedöma med hjälp av enkla indikatorer. Här handlar det om att synliggöra sociala, ekonomiska, miljömässiga och kulturella effekter. Då lämpar sig fallstudier bättre, säger Sven Stafström.

Olika lärosäten har olika förutsättningar

Förutom skillnader mellan discipliner och olika bedömningsaspekter är det också viktigt att resurstilldelningssystemet beaktar att små högskolor och stora universitet har olika förutsättningar. Liksom breda lärosäten och profilerade, understryker han.

– Den forskning som bedrivs vid en viss enhet på ett lärosäte sätts därför i relation till hur många som är anställda på enheten och hur mycket medel enheten har. Sedan görs en bedömning av hur stor procent av enhetens forskning som motsvarar olika steg i en betygsskala. Slutligen presenteras detta i form av betygsprofiler.

Målet är inte att omfördela pengar

Sven Stafström är övertygad om att konkurrens under rätt betingelser driver fram kvalitet. Att utvärderingarna kommer att ta större resurser i anspråk än dagens indikatorbaserade modell sticker han inte under stol med. Men han ser det som en viktig investering.

– Enligt våra beräkningar kommer utvärderingarna kosta ca 0,2 procent av det totala basanslaget under en sexårsperiod. Men vinsten, i form av höjd forskningskvalitet och bättre överblick över den svenska forskningen och dess resultat, blir större. Vi får ett betydligt bättre underlag för framtidens forskningspolitik.

Och att omfördela pengar är inte huvudsyftet med utvärderingarna. Det är strävan efter högre kvalitet. I förlängningen handlar det om att verka för att forskningen bidrar till samhällets utveckling.

– Om alla lärosäten höjer sin forskningskvalitet är målet nått utan att någon omfördelning skett.

Behovet av lokala utvärderingar minskar

Idag genomför en del lärosäten egna utvärderingar. En förhoppning är att det inte ska behövas i samma utsträckning när Fokus kommer igång. Ser man till forskningssystemet i stort är det mer resurseffektivt att göra utvärderingar på nationell nivå.

– Men det kommer säkert alltid att finnas behov av lärosätesspecifika uppföljningar och utvärderingar, behov som en nationell utvärdering inte kommer – och inte heller bör – uppfylla. Resultaten från Fokus bör dock kunna ligga till grund för fördjupade utvärderingar på lokal nivå.

Hur kommer då Fokus att kunna hantera tvärvetenskap, nytänkande och risktagande?

Även här är förutsättningarna goda, anser Sven Stafström.

– Ett utvärderingssystem som baseras på sakkunniggranskning har större möjligheter att ta hänsyn till sådana faktorer jämfört med dagens indikatorstyrda resurstilldelningssystem.

Läs också i Curie:

Så kan kvalitet omfördela anslag (Curie)