Logotyp Curie - samtal om forskningens villkor
Rad av löv i färger som går från grönt till rött.

Hur ska forskares kompetens bedömas och vilka egenskaper bör man ta hänsyn till vid bedömningen? Det är frågor som ska behandlas inom ramen för den nya överenskommelsen. Foto: Chris Lawton/Unsplash

NYHET

Europeiskt initiativ för att reformera bedömningen av forskning

Att reformera bedömningen av forskning. Det är målet för en internationell överenskommelse som Vetenskapsrådet och 360 andra organisationer skrivit under. Målet är att maximera forskningens kvalitet och genomslag, men överenskommelsens öppna formuleringar väcker både förhoppningar och farhågor.

I november skrev Vetenskapsrådet under en överenskommelse med syftet att reformera bedömningen av forskning; Agreement on reforming research assessment.

Marika Edoff, professor i fasta tillståndets elektronik vid Uppsala universitet och ledamot i Vetenskapsrådets styrelse, kommenterar överenskommelsen.

– Med dagens nya krav på öppen tillgång, öppna data och ökat fokus på tvärvetenskap har det uppstått en förvirring kring hur man ska värdera karriärvägar, citeringar och publikationer vid bedömning av forskning. Därför tycker jag att det är jättebra att de här diskussionerna tas upp. Samtidigt finns det en del frågetecken kring överenskommelsen.

Dokumentet har tagits fram av en grupp med representanter från bland andra organisationerna European University Association och Science Europe. Arbetet har skett inom en ny samarbetsorganisation kallad CoARA, Coalition for Advancing Research Assessment, som bildats på initiativ av EU-kommissionen (se faktaruta).

Hittills har ungefär 360 organisationer skrivit under. Undertecknare är bland annat UK Research and Innovation, All European Academies, Norges forskningsråd och 14 organisationer från Sverige, exempelvis Formas, Vinnova och flera lärosäten.

Maximera forskningens nytta

Det övergripande målet med överenskommelsen är att maximera forskningens kvalitet och genomslag. En reform anses nödvändig eftersom dagens bedömningssystem ofta använder olämpliga och smala metoder för att bedöma kvalitet, som mått på antal publiceringar och citeringar – samtidigt som mångfalden av forskningsuppgifter har ökat och forskningsprodukterna inte längre utgörs av bara artiklar och böcker.

Överenskommelsen är formulerad som tio åtaganden (se faktaruta). Bedömningen ska i första hand baseras på kvalitativ utvärdering där kollegial granskning (peer review) är central, med stöd av ansvarsfull användning av kvantitativa indikatorer. Undertecknarna ska också ta hänsyn till den mångfald av forskningsprodukter och arbetssätt som maximerar forskningens kvalitet och genomslag.

– Jag hoppas att överenskommelsen kan bidra till en breddning av hur man bedömer kompetens hos forskare. Framförallt för unga forskare kan det vara bra att även idéer, nyskapande och kreativitet värderas högt, inte bara tidigare meriter.

Jag hoppas att överenskommelsen kan bidra till en breddning av hur man bedömer kompetens hos forskare.

I diskussionerna har det också talats mycket om att det inte bara är excellensen hos den som ska vara chef som betyder någonting.

– Även kompetensen i forskningsgruppen, som personen har samlat kring sig, kan vara med i bedömningen, säger Marika Edoff.

Går att tolka på olika sätt

Hur det ska fungera i praktiken framgår dock inte riktigt av överenskommelsen.

– Det går att tolka det här på lite olika sätt, kanske är det medvetet eftersom det också står att autonomin hos dem som skriver under ska respekteras, säger Marika Edoff.

Skrivningarna om peer review och tidskrifters så kallade impaktfaktorer har diskuterats i Vetenskapsrådets styrelse, berättar Marika Edoff. Överenskommelsen kan tolkas som att man helt ska ta avstånd från tidskrifternas impaktfaktor när man bedömer artiklars kvalitet och att peer review ska vara det viktigaste vid bedömning av forskning.

– Men samtidigt bedöms ju artiklars kvalitet med hjälp av peer review och det finns en koppling mellan tidskrifter med hög impaktfaktor och bra rutiner för just peer review . Det blir en motsägelse där, och det har varit en viktig del av styrelsens kritik av överenskommelsen.

Riskerar att bli ett sluttande plan

Även Hans Ellegren, ständig sekreterare för Kungl. Vetenskapsakademien, menar att det finns en oklarhet kring vad överenskommelsen innebär. Han oroar sig dock snarare över att den öppnar för att väga in andra typer av meriter än vetenskapliga kvalifikationer.

– Det riskerar att bli ett sluttande plan där man väger in meriter som inte reflekterar kärnverksamheter inom forskning och utbildning, säger han.

Det riskerar att bli ett sluttande plan där man väger in meriter som inte reflekterar kärnverksamheter inom forskning och utbildning...

Han konstaterar att en olämplig användning av tidskrifts- och publikationsbaserade mått för att ta genvägar vid bedömningen av forskning är ett problem. Men det ser han snarare som något enskilda organisationer kan behöva åtgärda än något som föranleder en reform av det här slaget.

– Jag sågar inte den här överenskommelsen helt, det kanske blir något bra. Men jag tycker att Vetenskapsrådet skulle ha väntat med att skriva under tills man ser vart det tar vägen. De har väl redan ett ganska bra system, varför behöver man ansluta sig till en gruppering med ambitionen att reformera systemet?

Möjlighet att påverka

Enligt Katarina Bjelke, generaldirektör på Vetenskapsrådet, handlar beslutet inte om brister i Vetenskapsrådets bedömningssystem, utan om möjligheten att påverka.

– Forskarsamhället är globalt. Vi påverkas av det som händer omkring oss och behöver vara med och bidra i de här diskussionerna. Om vi skulle stå utanför har vi ingen möjlighet att påverka det initiala arbetet, säger hon och fortsätter:

– Vi tycker att Vetenskapsrådet har ett bra system. Vi vill värna det, värna de kvalitetskriterier vi ser som viktigast och arbeta för att utvecklingen i det här samarbetet går åt det håll som vi tycker stimulerar kvaliteten i bedömningarna.

Katarina Bjelke anser att det är bra med en internationell diskussion kring de frågor som överenskommelsen berör, eftersom kvaliteten på peer review -bedömningar kan skilja sig mycket mellan länder.

Gemensam hållning

– För att öka mobiliteten inom Europa tror jag att det är bra med en mer gemensam hållning kring kvalitetsutvärdering av forskning. Jag tror att det gynnar systemet om vi kan enas om några utgångspunkter som är likvärdiga, men det är viktigt att varje land eller organisation själv avgör hur man utformar sina slutgiltiga kvalitetskriterier, säger hon.

Om vi skulle stå utanför har vi ingen möjlighet att påverka det initiala arbetet...

Katarina Bjelke konstaterar att det inte är självklart hur överenskommelsens formuleringar ska tolkas. Det gäller till exempel skrivningen ”ansvarsfull användning av kvantitativa indikatorer”.

Hon menar dock att Vetenskapsrådet har hittat en bra balans mellan den kvalitativa bedömningen och de kvantitativa indikatorerna, som de anser är väldigt viktiga, och bedömer att de lever upp till överenskommelsens åtaganden.

– Vi ser inte att vi har någon anledning att förändra någonting i stort i de utvärderingar vi gör, utifrån det som står skrivet idag, säger hon.

Agreement on reforming research assessment (English) Länk till annan webbplats.

Läs också i Curie: Dags att förnya hur forskning bedöms

Om överenskommelsen

Överenskommelsen Agreement on reforming research assessment har tagits fram av en koalition kallad CoARA, Coalition for Advancing Research Assessment. Initiativet till arbetet kom från EU-kommissionen och drygt 350 organisationer från 40 länder uttryckte sitt intresse för att vara med och delta i utformningen av en överenskommelse.

Texten till överenskommelsen, som presenterades sommaren 2022, har tagits fram av en grupp med representanter från organisationerna European University Association och Science Europe samt konsulten Karen Stroobants, med EU-kommissionen som stöd. En kärngrupp med representanter från 18 organisationer, däribland Vetenskapsrådet, har också deltagit i arbetet.

Organisationer som skriver under överenskommelsen får ingå i CoARA, som ska vara en plattform för kunskapsutbyte och diskussioner om arbetet framåt. Arbetet utförs i arbetsgrupper som initieras av medlemmarna.

I början av december höll koalitionen ett konstituerande möte där en styrelse utsågs.

Tio åtaganden

Överenskommelsen innehåller tio åtaganden. De fyra kärnåtagandena är (fritt översatta):

Erkänna mångfalden av bidrag till och karriärer inom forskningen, i enlighet med forskningens behov och art.

Basera forskningsbedömningen i första hand på kvalitativ utvärdering, där kollegial granskning (peer review ) är central, med stöd av en ansvarsfull användning av kvantitativa indikatorer.

Att avstå från olämplig användning av tidskrifts- och publikationsbaserade mått i forskningsbedömningen, särskilt Journal Impact Factor (JIF) och h-index

Undvika att använda rangordningar av forskningsorganisationer i forskningsbedömningen.

Övriga åtaganden handlar om att avsätta resurser för att reformera forskningsbedömningen, utveckla kriterier och processer, öka medvetenheten om reformen, utbyta och utvärdera praxis och kommunicera framsteg.

Du kanske också vill läsa

Debatt 19 oktober 2022

Gustav Nilsonne, Jan-Ingvar Jönsson, Astrid Söderbergh Widding

En europeisk koalition för att utveckla och modernisera bedömning av forskning har nyligen bildats. Det är dags för svenska lärosäten och forskningsfinansiärer att gå med, skriver ...

Krönika 3 april 2017

Krönika av Christian Munthe, professor i praktisk filosofi, om hur kollegial granskning av ansökningar och vid tillsättning av tjänster skulle kunna bli bättre genom så kallad blin...

Krönika 4 oktober 2022

Peer review är som demokrati. Systemet är inte felfritt, men när det fungerar som det ska är det oöverträffat. Marie Cronqvist skriver om arbetet med att bedöma projektansökningar.