Replik: Den gemensamma diskussionen är minst lika viktig som betygen

Daniel Waldenström skriver i Curie att Vetenskapsrådet bör ändra sitt betygssystem och föreslår ett antal förbättringar. Vetenskapsrådet ska stödja forskning av högsta vetenskapliga kvalitet inom alla vetenskapsområden och se till att svensk forskning förnyas. För att lyckas med detta lägger vi stor vikt vid att processen för att bedöma ansökningar är systematisk och håller hög kvalitet. En viktig del i denna process är den betygsskala vi använt sedan 2012. Den togs fram efter en grundlig analys som byggde på omvärldsbevakning, bred förankring och undersökningar av hur olika skattningsskalor fungerar.

Ansökningarna håller generellt mycket hög kvalitet

Merparten av de ansökningar som skickas in håller mycket hög kvalitet. De anses normalt sett vara just ”mycket bra” eller bättre, för att använda begreppen i betygsskalan. Vi har endast möjlighet att finansiera en liten del av alla högkvalitativa projekt som föreslås. När betygsskalan skapades var det därför centralt att den designades för att kunna särskilja mellan de ansökningar som håller hög kvalitet i olika hög grad. Att särskilja mellan svaga ansökningar har det aldrig funnits behov av.

För att illustrera detta återges nedan statistik över betygsättningen av projektbidragsansökningar inom området naturvetenskap och teknikvetenskap för år 2022.

Det kan finnas en risk att en asymmetrisk skala blir mer svårtolkad. I den utbildning som ledamöter och ordförande i beredningsgrupperna får inför granskningen varje år är vi därför måna om att förklara hur skalan ska användas. Här kan vi säkert bli ännu bättre. När vi har ställt frågor om betygsskalan i enkäter till våra granskare, vilket vi med jämna mellanrum gör, har dock svaren visat att över 80 procent av granskarna inom humaniora och samhällsvetenskap – och över 90 procent inom medicin och hälsa samt naturvetenskap och teknikvetenskap – instämmer helt eller delvis i att betygsskalorna är lätta att använda.

Att särskilja mellan svaga ansökningar har det aldrig funnits behov av.

Rangordningen ligger till grund för sållning

Betygssättningen är bara ett av flera verktyg i beredningsprocessen. För att kunna hantera problemet med att skalstegen kan tolkas olika av olika granskare, ett problem som finns med alla skalor, ska granskarna inom nästan alla utlysningar inte bara sätta betyg utan även rangordna de ansökningar de har granskat. Denna rangordning är ett viktigt moment i kalibreringen av betygen och helt central när ett sållningsförslag tas fram. En sammanställning av den individuella betygssättningen tas också fram inför sållning, så att hänsyn kan tas till eventuella skillnader i hur betygsskalan används av olika granskare. Anledningen till att vissa ansökningar sållas är att det ska finnas tillräckligt med tid för att diskutera de ansökningar som håller högst kvalitet och har en realistisk möjlighet att bli beviljade.

Diskussion viktigare än sifferexercis

Den diskussion om ansökningar som sker vid beredningsgruppsmötet är ett viktigt inslag i peer review-processen. De betyg som enskilda granskare har satt inför mötet är endast ett av flera underlag. Minst lika viktiga är de preliminära kommentarer som granskarna skrivit och, framförallt, den gemensamma diskussion och bedömning som görs vid mötet.

Fokus för beredningsgruppens diskussion är kvaliteten i de aktuella projekteten – styrkor och svagheter – inte preliminära betyg. En mer detaljerad betygsskala, med fler skalsteg eller fördefinierade algoritmer för hur ett sammanfattande betyg ska räknas fram, riskerar att leda diskussionen fel och fokusera mer på siffror än på kvalitativa aspekter. När vi ber externa granskare utanför beredningsgruppen att lämna ett omdöme, vilket vi gör om det saknas en särskild kompetens, ber vi dem därför att undvika att ge betyg. När vi instruerar våra granskare trycker vi också på att de fyra baskriterierna inte alltid fångar upp alla aspekter av kvalitet. Det, kan även finnas andra viktiga aspekter som de bör beakta och dessa måste kunna återspeglas i den sammanfattande bedömningen av ansökan.

Denna rangordning är ett viktigt moment i kalibreringen av betygen och helt central när ett sållningsförslag tas fram

Vi ser kontinuerligt över processen för utlysning och bedömning för att säkerställa hög kvalitet. Just nu gör vi en översyn av våra bidragsformer. Resultatet skulle kunna leda till att vi även ser över vårt betygssystem. Hur det i så fall skulle kunna förändras är en öppen fråga. De diskussioner om en ändring av betygssystemet som har förts hittills har dock snarare lyft fram ett behov av att ta bort ett av de låga betygen, till exempel att slå ihop 1 och 2, än att skapa en skala med fler betygssteg.

Att göra förändringar i väletablerade system kräver viss försiktighet, eftersom det påverkar systemets stabilitet. En oförändrad betygsskala ger också möjlighet till jämförelser över olika år. Våra uppföljningar visar dessutom att de flesta av våra granskare är nöjda med nuvarande betygsskala.

Mattias Marklund, huvudsekreterare för naturvetenskap och teknikvetenskap, Vetenskapsrådet

Lucas Pettersson, chef för avdelningen för forskningsfinanisering, Vetenskapsrådet

Läs mer:

Betygskriterier och betygsskalor på Vetenskapsrådets webbplats Länk till annan webbplats.