Så kan kvalitet omfördela anslag

Uppdraget att ta fram ett resursfördelningssystem baserat på nationella utvärderingar av forskningens kvalitet och relevans fick Vetenskapsrådet av regeringen förra våren. Det görs i samråd med Forte, Formas och Vinnova. Tanken är att ersätta dagens indikatorbaserade system.

– Sakkunniggranskning möjliggör ett bredare spektrum av bedömningskriterier. Med hjälp av det kan man bedöma inte bara vetenskaplig kvalitet utan också forskningsresultatens genomslag utanför akademin. Vår främsta utgångspunkt är att modellen ska fungera som en drivkraft för höjd kvalitet, säger t.f. generaldirektör Sven Stafström.

Med det nya systemet vill regeringen främja långsiktig planering vid lärosätena. Förhoppningen är att utvärderingarna kan fungera som stöd till ledningen i strategiska frågor och skapa incitament för prioriteringar.

I det första utkast till förslag som Vetenskapsrådet nu presenterar är vetenskaplig kvalitet, kvalitetsutvecklande faktorer samt genomslag utanför akademin de komponenter som ska bedömas.

– Utvärderingarna får inte bli en för stor arbetsbelastning – varken för den enskilda forskaren eller för lärosätet. Samtidigt måste ju de resultat som kommer ut vara så informativa att lärosätena kan ha nytta av dem. Att uppnå den balansen är en utmaning, säger Sara Monaco, projektledare för uppdraget som går under arbetsnamnet Forskningskvalitetsutvärdering i Sverige, Fokus.

Så för att inte lärosätena ska behöva ägna en massa tid åt att rapportera in underlag till dem som ska göra utvärderingen, ska bedömningarna så långt som möjligt baseras på data som redan finns. Det handlar till exempel om personal- och ekonomistatistik som Statistiska Centralbyrån (SCB) och Universitetskanslersämbetet (UKÄ) samlar in, men också om att utveckla den nationella publikationsdatabasen SwePub, ett uppdrag som Kungl. Biblioteket (KB) har.

Vetenskaplig kvalitet

Kriterierna vid bedömningen av vetenskaplig kvalitet är nytänkande och originalitet, betydelse för forskningsområdet samt vetenskaplig tillförlitlighet. Utifrån SCB:s och UKÄ:s befintliga klassificeringssystem delas forskningen in i 24 områden och paneler inrättas för vart och ett. För att inte tvärvetenskap ska komma i kläm blir sammansättningen av ledamöter och instruktionerna till dem centrala. Ledamöterna ska bedöma både toppresultat och genomsnittskvalitet. För att bedöma spets granskar panelerna ett urval av produktionen. Underlagen för genomsnittskvalitet kan variera lite beroende på område.

– Exempelvis är citeringsanalys relevant inom de flesta områden inom naturvetenskap och medicin, men inte inom humaniora och många samhällsvetenskapliga områden, säger Sara Monaco.

Andra underlag kan vara en beskrivning av den utvärderade enhetens forskning och en publiceringsprofil som visar var forskarna publicerar sig och hur.

Kvalitetsutvecklande faktorer

När det gäller bedömningen av kvalitetsutvecklande faktorer ligger de fem områdena naturvetenskap, teknik, medicin, samhällsvetenskap och humaniora till grund för indelningen i paneler.

– Här gäller det att göra en sammanvägd bedömning av den utvärderade enhetens potential för förnyelse och långsiktighet genom att titta på återväxten av forskare, graden av samarbete inom akademin, jämställdhet, hur mobila forskarna är, hur man integrerar forskning och utbildning samt tillgången till infrastruktur.

Underlag för expertpanelernas bedömningar blir, förutom statistik, även en redogörelser av lärosätenas övergripande strategier och ledningarnas kommentarer till dessa.

Genomslag utanför akademin

Med den tredje komponenten som ska utvärderas – genomslag utanför akademin – menas en framgångsrik tillämpning av forskning för att åstadkomma sociala, ekonomiska, miljömässiga eller kulturella effekter.

– Begreppet samhällsrelevans och nytta leder lätt tanken till enbart produkter. Vi ville hitta en definition som kunde fånga in fler dimensioner. Det kan handla om att resultaten reformerar policies och processer eller leder till ekonomiska och kulturella förändringar.

Panelernas bedömningar ska i första hand baseras på beskrivningar av genomslag i form av fallstudier. Dessa rapporteras in på samma övergripande disciplinära nivå som gäller för de kvalitetsutvecklande faktorerna.

– Det ger lärosätena flexibilitet att välja ut fallstudier och håller arbetsinsatsen på en rimlig nivå.

Fallstudierna kompletteras med lärosätenas redogörelser av strategier och resurser för att samverka med det omgivande samhället och verka för att forskningsresultat kommer till användning utanför akademien.

– I arbetet med att utveckla komponenten genomslag samarbetar vi med Vinnova, som har ett eget uppdrag med fokus på samverkan.

Många involverade

Enligt förslaget ska bedömningen av vetenskaplig kvalitet, kvalitetsutvecklande faktorer och genomslag få olika vikt – 70 procent för vetenskaplig kvalitet och 15 procent vardera för de andra två. Sara Monaco understryker att utvärderingarna inte bör göras för ofta.

– Vi föreslår att de genomförs vid ett och samma tillfälle vart sjätte år.

Hon och hennes kolleger har studerat hur nationella utvärderingar utförs i Storbritannien, Nederländerna och Australien.

– Men tidigt insåg vi att det inte var möjligt att importera något befintligt system rakt av. Om ett system ska vara användbart måste det anpassas till de förhållanden som råder här.

Arbetsgruppen har kontakt med många olika intressenter, både inom och utanför akademin och både nationellt och internationellt, i sitt arbete med att ta fram en modell för resursfördelning. Två referensgrupper är knutna till projektet; en grupp bestående av åtta rektorer utsedda av SUHF och en internationell grupp med experter på nationell forskningsutvärdering. Arbetsgruppen har också haft möten med bland annat SULF, SFS, Sveriges unga akademi och Svenskt näringsliv.

För att inhämta ytterlige råd och synpunkter presenterar Vetenskapsrådet nu sitt utkast till modell vid möten med styrelse- och universitetsledningar och öppna hearings på fyra orter.

Konsekvensanalyser behövs

I slutet av december ska förslaget lämnas till regeringen. Innan dess måste flera viktiga frågor utredas: hur panelernas sammansättning ska se ut, hur utvärderingsresultaten ska omvandlas till resurser och vilka kostnader utvärderingarna medför.

– Dessutom behöver vi analysera konsekvenserna en sådan här modell kan få för olika områden och lärosäten och vilka effekterna blir på systemet i stort, säger Sara Monaco.

Förutsatt att ett eventuellt regeringsskifte inte påverkar processen går förslaget på remiss under 2015. Parallellt görs pilotstudier. Om resultaten ska ligga till grund för resursfördelningen 2018, såsom aviserats i den senaste budgetpropositionen, måste utvärderingarna genomföras under 2016.

– Vi råder så klart inte över vad som händer när vi lämnat över vårt förslag till regeringen, säger Sven Stafström. Men det förslag vi levererar kommer att vara välgrundat och vi är övertygade om att det kommer ha många fördelar jämfört med nuvarande resursfördelningssystem.