Logotyp Curie - samtal om forskningens villkor
Ett myller av gröna siffror i olika storlekar mot svart botten.

En mer detaljerad betygsskala riskerar att leda diskussionen fel och fokusera mer på siffror än på kvalitativa aspekter, menar Vetenskapsrådet. Foto: Depositphotos

debatt

Replik: Den gemensamma diskussionen är minst lika viktig som betygen

Vår betygsskala är en av flera viktiga delar i processen för bedömning av ansökningar. Men minst lika viktig är diskussionen och bedömningen på beredningsgruppsmötet. Det skriver huvudsekreterare Mattias Marklund och avdelningschef Lucas Pettersson vid Vetenskapsrådet i en replik på debattinlägget ”Vetenskapsrådet borde ändra sitt betygssystem”.

Porträttbild Mattias Marklund

Mattias Marklund. Foto: Sofia Sabel

Daniel Waldenström skriver i Curie att Vetenskapsrådet bör ändra sitt betygssystem och föreslår ett antal förbättringar. Vetenskapsrådet ska stödja forskning av högsta vetenskapliga kvalitet inom alla vetenskapsområden och se till att svensk forskning förnyas. För att lyckas med detta lägger vi stor vikt vid att processen för att bedöma ansökningar är systematisk och håller hög kvalitet. En viktig del i denna process är den betygsskala vi använt sedan 2012. Den togs fram efter en grundlig analys som byggde på omvärldsbevakning, bred förankring och undersökningar av hur olika skattningsskalor fungerar.

Porträttbild Lucas Petersson

Lucas Petersson. Foto: Johanna Hanno

Ansökningarna håller generellt mycket hög kvalitet

Merparten av de ansökningar som skickas in håller mycket hög kvalitet. De anses normalt sett vara just ”mycket bra” eller bättre, för att använda begreppen i betygsskalan. Vi har endast möjlighet att finansiera en liten del av alla högkvalitativa projekt som föreslås. När betygsskalan skapades var det därför centralt att den designades för att kunna särskilja mellan de ansökningar som håller hög kvalitet i olika hög grad. Att särskilja mellan svaga ansökningar har det aldrig funnits behov av.

För att illustrera detta återges nedan statistik över betygsättningen av projektbidragsansökningar inom området naturvetenskap och teknikvetenskap för år 2022.

graf som visar betygsättningen av projektbidragsansökningar inom området naturvetenskap och teknikvetenskap för år 2022.

Fördelning av betyg för kriterierna vetenskaplig kvalitet, nytänkande och originalitet samt sökandes kompetens för projektbidrag (PG) och etableringsbidrag (SG) för ansökningar inom naturvetenskap och teknikvetenskap 2022. Fördelningen av sammanfattande betyg för alla ansökningar inom dessa bidrag indikeras med den svarta streckade linjen. Blld: Grafik Vetenskapsrådet

Det kan finnas en risk att en asymmetrisk skala blir mer svårtolkad. I den utbildning som ledamöter och ordförande i beredningsgrupperna får inför granskningen varje år är vi därför måna om att förklara hur skalan ska användas. Här kan vi säkert bli ännu bättre. När vi har ställt frågor om betygsskalan i enkäter till våra granskare, vilket vi med jämna mellanrum gör, har dock svaren visat att över 80 procent av granskarna inom humaniora och samhällsvetenskap – och över 90 procent inom medicin och hälsa samt naturvetenskap och teknikvetenskap – instämmer helt eller delvis i att betygsskalorna är lätta att använda.

Att särskilja mellan svaga ansökningar har det aldrig funnits behov av.

Rangordningen ligger till grund för sållning

Betygssättningen är bara ett av flera verktyg i beredningsprocessen. För att kunna hantera problemet med att skalstegen kan tolkas olika av olika granskare, ett problem som finns med alla skalor, ska granskarna inom nästan alla utlysningar inte bara sätta betyg utan även rangordna de ansökningar de har granskat. Denna rangordning är ett viktigt moment i kalibreringen av betygen och helt central när ett sållningsförslag tas fram. En sammanställning av den individuella betygssättningen tas också fram inför sållning, så att hänsyn kan tas till eventuella skillnader i hur betygsskalan används av olika granskare. Anledningen till att vissa ansökningar sållas är att det ska finnas tillräckligt med tid för att diskutera de ansökningar som håller högst kvalitet och har en realistisk möjlighet att bli beviljade.

Diskussion viktigare än sifferexercis

Den diskussion om ansökningar som sker vid beredningsgruppsmötet är ett viktigt inslag i peer review-processen. De betyg som enskilda granskare har satt inför mötet är endast ett av flera underlag. Minst lika viktiga är de preliminära kommentarer som granskarna skrivit och, framförallt, den gemensamma diskussion och bedömning som görs vid mötet.

Fokus för beredningsgruppens diskussion är kvaliteten i de aktuella projekteten – styrkor och svagheter – inte preliminära betyg. En mer detaljerad betygsskala, med fler skalsteg eller fördefinierade algoritmer för hur ett sammanfattande betyg ska räknas fram, riskerar att leda diskussionen fel och fokusera mer på siffror än på kvalitativa aspekter. När vi ber externa granskare utanför beredningsgruppen att lämna ett omdöme, vilket vi gör om det saknas en särskild kompetens, ber vi dem därför att undvika att ge betyg. När vi instruerar våra granskare trycker vi också på att de fyra baskriterierna inte alltid fångar upp alla aspekter av kvalitet. Det, kan även finnas andra viktiga aspekter som de bör beakta och dessa måste kunna återspeglas i den sammanfattande bedömningen av ansökan.

Denna rangordning är ett viktigt moment i kalibreringen av betygen och helt central när ett sållningsförslag tas fram

Vi ser kontinuerligt över processen för utlysning och bedömning för att säkerställa hög kvalitet. Just nu gör vi en översyn av våra bidragsformer. Resultatet skulle kunna leda till att vi även ser över vårt betygssystem. Hur det i så fall skulle kunna förändras är en öppen fråga. De diskussioner om en ändring av betygssystemet som har förts hittills har dock snarare lyft fram ett behov av att ta bort ett av de låga betygen, till exempel att slå ihop 1 och 2, än att skapa en skala med fler betygssteg.

Att göra förändringar i väletablerade system kräver viss försiktighet, eftersom det påverkar systemets stabilitet. En oförändrad betygsskala ger också möjlighet till jämförelser över olika år. Våra uppföljningar visar dessutom att de flesta av våra granskare är nöjda med nuvarande betygsskala.

Mattias Marklund, huvudsekreterare för naturvetenskap och teknikvetenskap, Vetenskapsrådet

Lucas Pettersson, chef för avdelningen för forskningsfinanisering, Vetenskapsrådet

Läs mer:

Betygskriterier och betygsskalor på Vetenskapsrådets webbplats Länk till annan webbplats.

Håller du med? Skriv en replik eller ett eget inlägg

Välkommen att skriva en replik eller ett annat inlägg om forskningens villkor!

Mejla din text med kontaktuppgifter till: debatt@tidningencurie.se

Mer om vad som gäller för att skriva i Curie

Läs hela debattråden

Relaterat innehåll

Debatt 21 februari 2024

Jonas Fransson, Uppsala universitet

Det går inte att styra forskningen så att den blir excellent och banbrytande. Om vi verkligen vill satsa på långsiktighet och nytänkande måste akademin och forskarna få tillbaka fö...

Nyhet 1 februari 2024

Siv Engelmark

Förslaget till ny struktur för forskningsfinansieringen möter kritik från flera av de finansiärer som Curie pratat med. Avsaknad av helhetsperspektiv, för skarp skillnad mellan gru...

Debatt 31 januari 2024

Sveriges unga akademi

Svag forskarrepresentation och en olycklig åtskillnad mellan forskning av hög kvalitet och forskning som tar sig an samhällets behov. Sveriges unga akademi är kritisk till huvudför...