Europeiskt initiativ för att reformera bedömningen av forskning

I november skrev Vetenskapsrådet under en överenskommelse med syftet att reformera bedömningen av forskning; Agreement on reforming research assessment.

Marika Edoff, professor i fasta tillståndets elektronik vid Uppsala universitet och ledamot i Vetenskapsrådets styrelse, kommenterar överenskommelsen.

– Med dagens nya krav på öppen tillgång, öppna data och ökat fokus på tvärvetenskap har det uppstått en förvirring kring hur man ska värdera karriärvägar, citeringar och publikationer vid bedömning av forskning. Därför tycker jag att det är jättebra att de här diskussionerna tas upp. Samtidigt finns det en del frågetecken kring överenskommelsen.

Dokumentet har tagits fram av en grupp med representanter från bland andra organisationerna European University Association och Science Europe. Arbetet har skett inom en ny samarbetsorganisation kallad CoARA, Coalition for Advancing Research Assessment, som bildats på initiativ av EU-kommissionen (se faktaruta).

Hittills har ungefär 360 organisationer skrivit under. Undertecknare är bland annat UK Research and Innovation, All European Academies, Norges forskningsråd och 14 organisationer från Sverige, exempelvis Formas, Vinnova och flera lärosäten.

Maximera forskningens nytta

Det övergripande målet med överenskommelsen är att maximera forskningens kvalitet och genomslag. En reform anses nödvändig eftersom dagens bedömningssystem ofta använder olämpliga och smala metoder för att bedöma kvalitet, som mått på antal publiceringar och citeringar – samtidigt som mångfalden av forskningsuppgifter har ökat och forskningsprodukterna inte längre utgörs av bara artiklar och böcker.

Överenskommelsen är formulerad som tio åtaganden (se faktaruta). Bedömningen ska i första hand baseras på kvalitativ utvärdering där kollegial granskning (peer review) är central, med stöd av ansvarsfull användning av kvantitativa indikatorer. Undertecknarna ska också ta hänsyn till den mångfald av forskningsprodukter och arbetssätt som maximerar forskningens kvalitet och genomslag.

– Jag hoppas att överenskommelsen kan bidra till en breddning av hur man bedömer kompetens hos forskare. Framförallt för unga forskare kan det vara bra att även idéer, nyskapande och kreativitet värderas högt, inte bara tidigare meriter.

Jag hoppas att överenskommelsen kan bidra till en breddning av hur man bedömer kompetens hos forskare.

I diskussionerna har det också talats mycket om att det inte bara är excellensen hos den som ska vara chef som betyder någonting.

– Även kompetensen i forskningsgruppen, som personen har samlat kring sig, kan vara med i bedömningen, säger Marika Edoff.

Går att tolka på olika sätt

Hur det ska fungera i praktiken framgår dock inte riktigt av överenskommelsen.

– Det går att tolka det här på lite olika sätt, kanske är det medvetet eftersom det också står att autonomin hos dem som skriver under ska respekteras, säger Marika Edoff.

Skrivningarna om peer review och tidskrifters så kallade impaktfaktorer har diskuterats i Vetenskapsrådets styrelse, berättar Marika Edoff. Överenskommelsen kan tolkas som att man helt ska ta avstånd från tidskrifternas impaktfaktor när man bedömer artiklars kvalitet och att peer review ska vara det viktigaste vid bedömning av forskning.

– Men samtidigt bedöms ju artiklars kvalitet med hjälp av peer review och det finns en koppling mellan tidskrifter med hög impaktfaktor och bra rutiner för just peer review . Det blir en motsägelse där, och det har varit en viktig del av styrelsens kritik av överenskommelsen.

Riskerar att bli ett sluttande plan

Även Hans Ellegren, ständig sekreterare för Kungl. Vetenskapsakademien, menar att det finns en oklarhet kring vad överenskommelsen innebär. Han oroar sig dock snarare över att den öppnar för att väga in andra typer av meriter än vetenskapliga kvalifikationer.

– Det riskerar att bli ett sluttande plan där man väger in meriter som inte reflekterar kärnverksamheter inom forskning och utbildning, säger han.

Det riskerar att bli ett sluttande plan där man väger in meriter som inte reflekterar kärnverksamheter inom forskning och utbildning...

Han konstaterar att en olämplig användning av tidskrifts- och publikationsbaserade mått för att ta genvägar vid bedömningen av forskning är ett problem. Men det ser han snarare som något enskilda organisationer kan behöva åtgärda än något som föranleder en reform av det här slaget.

– Jag sågar inte den här överenskommelsen helt, det kanske blir något bra. Men jag tycker att Vetenskapsrådet skulle ha väntat med att skriva under tills man ser vart det tar vägen. De har väl redan ett ganska bra system, varför behöver man ansluta sig till en gruppering med ambitionen att reformera systemet?

Möjlighet att påverka

Enligt Katarina Bjelke, generaldirektör på Vetenskapsrådet, handlar beslutet inte om brister i Vetenskapsrådets bedömningssystem, utan om möjligheten att påverka.

– Forskarsamhället är globalt. Vi påverkas av det som händer omkring oss och behöver vara med och bidra i de här diskussionerna. Om vi skulle stå utanför har vi ingen möjlighet att påverka det initiala arbetet, säger hon och fortsätter:

– Vi tycker att Vetenskapsrådet har ett bra system. Vi vill värna det, värna de kvalitetskriterier vi ser som viktigast och arbeta för att utvecklingen i det här samarbetet går åt det håll som vi tycker stimulerar kvaliteten i bedömningarna.

Katarina Bjelke anser att det är bra med en internationell diskussion kring de frågor som överenskommelsen berör, eftersom kvaliteten på peer review -bedömningar kan skilja sig mycket mellan länder.

Gemensam hållning

– För att öka mobiliteten inom Europa tror jag att det är bra med en mer gemensam hållning kring kvalitetsutvärdering av forskning. Jag tror att det gynnar systemet om vi kan enas om några utgångspunkter som är likvärdiga, men det är viktigt att varje land eller organisation själv avgör hur man utformar sina slutgiltiga kvalitetskriterier, säger hon.

Om vi skulle stå utanför har vi ingen möjlighet att påverka det initiala arbetet...

Katarina Bjelke konstaterar att det inte är självklart hur överenskommelsens formuleringar ska tolkas. Det gäller till exempel skrivningen ”ansvarsfull användning av kvantitativa indikatorer”.

Hon menar dock att Vetenskapsrådet har hittat en bra balans mellan den kvalitativa bedömningen och de kvantitativa indikatorerna, som de anser är väldigt viktiga, och bedömer att de lever upp till överenskommelsens åtaganden.

– Vi ser inte att vi har någon anledning att förändra någonting i stort i de utvärderingar vi gör, utifrån det som står skrivet idag, säger hon.

Agreement on reforming research assessment (English) Länk till annan webbplats.

Läs också i Curie: Dags att förnya hur forskning bedöms