Logotyp Curie - samtal om forskningens villkor
Lotteribollar med olika siffror och färger snurrar i en tombola.

Lottning, anonyma ansökningar eller nya utvärderingsmetoder. Det finns många idéer om hur urvalsprocessen kan utvecklas. Foto: Dylan Nolte/Unsplash

NYHET

Hur kan granskningen av forskning bli bättre?

Inte perfekt, men det minst dåliga. Så beskrivs ibland peer review, den kollegiala granskningsprocess som idag är ett självklart inslag i den akademiska vardagen. Medan vissa vill hantera processens brister med ökad anonymitet eller bättre granskningsgrupper, menar andra att lotten gör jobbet lika bra när det väger jämt mellan forskare.

Kollegial granskning, peer review, är en naturlig del av det akademiska livet. Metoden används för att utvärdera manuskript innan publicering och ansökningar om forskningsbidrag, vid tjänstetillsättningar och prisnomineringar såväl som vid utvärderingar av institutioner, program och universitet. Och den här uppräkningen är på inget sätt uttömmande.

Processerna kan se väldigt olika ut men bygger på att andra personer verksamma inom samma område, peers, granskar och bedömer manuset, ansökan eller organisationen, innan ett beslut fattas.

Rötterna till peer review finns bland de vetenskapliga tidskrifterna. Vetenskapsakademin Royal Society of London anses ha varit först att använda peer review på ett sätt som påminner om dagens tidskrifter, när de i mitten av 1700-talet inrättade en extern kommitté av forskare för att granska och välja ut texter för publicering i akademins tidskrift.

Forskningen blev mer specialiserad

Användningen av metoden växte under 1800-talet när vetenskapliga tidskrifter blev mer dominerande och forskningen mer specialiserad, men fortfarande var det många som inte använde peer review.

Porträttbild av Cornelia Schendzielorz.

Cornelia Schendzielorz. Foto: Sarah Wiltschek

Expansionen är starkt kopplad till att den offentliga finansieringen av forskning ökade i mitten av 1900-talet. Det konstaterar Cornelia Schendzielorz som är postdoktor vid Centre for Higher Education Research and Science Studies vid Humboldtuniversitetet i Berlin och forskar om utvärdering av forskning och peer review.

– Peer review blev inte bara ett sätt att bedöma kvalitet i forskning utan också den process som gör det möjligt att balansera mellan vetenskap och politik, genom att mäkla mellan forskarnas vilja och samhällets önskemål, säger hon.

Idag används peer review till utvärdering av både forskning och utbildning, men även av andra verksamheter. Till exempel förekommer det att universitetsadministrationer utvärderas med peer review.

Accepterad av forskarsamhället

Porträttbild av Lars Geschwind.

Lars Geschwind. Foto: Håkan Lindgren

Den stora spridningen tyder på att metoden är väl förankrad i och accepterad av forskarsamhället. Det menar Lars Gechwind, professor i teknikvetenskapens lärande vid KTH och en av redaktörerna till boken Peer review in an era of evaluation som kom 2022.

– Trots allt är nog peer review den enda möjliga metoden för att med legitimitet bedöma kvalitet i forskning och möjligen i andra akademiska aktiviteter också. Legitimiteten som kommer av att ledande experter har valt den här personen eller projektet eller sagt ja till publiceringen, spelar stor roll. En annan viktig fördel är lärandet som kommer med peer review.

Trots allt är nog peer review den enda möjliga metoden för att med legitimitet bedöma kvalitet i forskning...

Trots den stora användningen finns nämligen en hel del brister med peer review. Systemet kritiseras bland annat för att vara otillförlitligt, subjektivt och ha en konserverande effekt så att banbrytande forskning missgynnas och ge ett skevt utfall på grund av granskarnas förutfattade meningar om sökandens kön, akademisk position och nationalitet.

Kombinerar flera mått

I många typer av utvärderingar används idag peer review tillsammans med andra mått, exempelvis kvantitativa indikatorer som antal publiceringar eller citeringar. Ett argument för en sådan lösning brukar vara att klassisk peer review inte är tillräckligt pålitligt och objektivt.

– Man kan tro att bibliometri gör det mer faktabaserat och objektivt. Men de bibliometriska parametrarna baseras indirekt också på bedömningar. Den ökade metrifieringen leder också till att forskare tidigt försöker optimera sin publicering på olika sätt. Det måste inte vara dåligt för kvaliteten, men man bör vara medveten om att bibliometri inte är så objektivt som man kan tro, säger Lars Geschwind.

Han ser ändå positivt på att kombinera peer review med kvantitativa metoder, men konstaterar att det behövs en del metodarbete för att komma fram till hur det görs bäst; exempelvis vilka parametrar som ska användas och när i bedömningsprocessen de bör komma in.

Man kan tro att bibliometri gör det mer faktabaserat och objektivt. Men de bibliometriska parametrarna baseras indirekt också på bedömningar.

Idag testas och används flera olika grepp för att förbättra och utveckla peer review-processen. Till exempel att låta granskare och den som granskas vara helt eller delvis öppna för varandra eller att publicera granskningsrapporter öppet.

Vid peer review av bidragsansökningar är den sökandens namn för det mesta känt av granskarna. För att minska risken att förutfattade meningar påverkar bedömningen testas också att anonymisera både granskare och sökande, samtidigt som granskarna får tillräckligt med information för att kunna bedöma forskningens kontext.

Testa nya metoder

Men somliga menar att peer review, åtminstone i vissa fall, bör ersättas med något annat. Forskningsrådet för ingenjörsvetenskap och fysik i Storbritannien använder till exempel så kallad ”sandpit funding” för vissa bidrag, i syfte att identifiera innovativa och risktagande projekt.

Metoden, som går ut på att en grupp personer med olika bakgrund träffas under några dagar för att ta fram projektförslag inom ett visst område, har även tagits upp av statliga forskningsfinansiärer i Norge och USA.

Porträttbild av Mats Ulfendahl.

Mats Ulfendahl.

Sandpit funding är en spännande idé som fler finansiärer borde testa, tycker Mats Ulfendahl, forskningsdirektör vid Region Östergötland. Han var tidigare huvudsekreterare för ämnesrådet för medicin och hälsa vid Vetenskapsrådet och författare till boken Forskning och pengar - om forskningsfinansiering.

Mats Ulfendahl är dock inte ute efter att överge peer review.

– Peer review är ett system som skapar förtroende i forskarsamhället och samhället i stort, det är viktigt. Forskarsamhället är delaktigt i det och det skapar stor transparens. Men jag tycker att vi ska ifrågasätta peer review lite mer, komplettera med andra metoder och gärna göra storskaliga jämförande studier. Peer review är extremt arbetsamt och dyrt och har ofta svårt att välja ut den mest nyskapande forskningen – det ser jag som de främsta drivkrafterna för att förändra systemet.

...jag tycker att vi ska ifrågasätta peer review lite mer, komplettera med andra metoder och gärna göra storskaliga jämförande studier.

Mats Ulfendahl anser att vi bör dra nytta av nya tekniska möjligheter och ser analys av ansökningstexter med hjälp av maskininlärning som ett intressant komplement till peer review, exempelvis för att se om arbetet redan gjorts någon annanstans. Idag testas till exempel hur artificiell intelligens kan användas som stöd vid granskning av vetenskapliga artiklar.

Lottning del av bedömningen

”De kunde lika gärna lotta”, är en kommentar som ibland hörs från frustrerade forskare när sista ansökningsdag kryper närmare eller finansieringsbesluten trillar in. Men faktum är att lottning redan förekommer i vissa bedömningsprocesser, bland annat hos statliga forskningsfinansiärer i Nya Zeeland, Schweiz och Österrike. I slutet av förra året hoppade också två brittiska statliga forskningsråd på tåget.

Motiven till att lotta, vilket görs efter någon typ av initial granskning, är flera. De kan bland annat vara att göra processen mer rättvis än peer review, oavsett vem den sökanden är eller vilken forskning hen gör, eller att det blir billigare och går snabbare.

Inte minst bland projekten i gråzonen skulle man kunna lotta. Det skulle minska risken för bias och öka sannolikheten för att variationen mellan projekten blir större

Mats Ulfendahl tycker att lottning, randomisering, är en metod värd att titta närmare på. Ofta kan granskarna lätt komma överens om vilka projektansökningar som ligger i botten respektive i toppen. Men för ansökningar däremellan, i gråzonen, finns ett stort utrymme för subjektivitet, där besluten lättare kan påverkas av ovidkommande åsikter.

– Inte minst bland projekten i gråzonen skulle man kunna lotta. Det skulle minska risken för bias och öka sannolikheten för att variationen mellan projekten blir större, säger han.

Skeptisk till lottning

Men Cornelia Schendzielorz vid Humboldtuniversitetet i Berlin är skeptisk till lottning bland forskningsprojekt. Hon menar att studierna på per review inte ger några entydiga svar på hur stor gråzonen egentligen är.

Om lottning ändå ska kombineras med peer review är det inte längre en neutral mekanism för beslutsfattande och problemen med bias finns kvar. Vinsterna i tid och pengar blir då heller inte så stora.

– Med lottning riskerar man att förlora den legitimitet peer review ger. I de fall där lottning ingår i bedömningsprocesser idag har det i praktiken blivit så att det används sällan, eftersom gråzonen där lottningen tillämpas inte visat sig vara så stor trots allt. Eller så används det för små bidrag med väldigt låg beviljandegrad.

Om vi vill motverka att urvalsprocessen likriktar forskningen måste vi ha mer diversifierade beredningsgrupper.

Cornelia Schendzielorz är positiv till försöken att testa olika typer av blindning och öppna granskningsrapporter för att hantera problemen med systematisk snedvridning. Men den viktigaste åtgärden för att förbättra peer review tycker hon vore att bredda sammansättningen av grupperna som utför granskningarna.

– Om vi vill motverka att urvalsprocessen likriktar forskningen måste vi ha mer diversifierade beredningsgrupper. Även inom ett och samma forskningsområde behöver vi få in fler olika perspektiv gällande metodik och perspektiv. Diversifiering är också viktigt för att minska risken för olika typer av diskriminering. Det här är välkänt och nämns ofta, men i praktiken tycker jag inte att tillräckligt mycket görs, speciellt inte när det gäller urvalet av granskare till prestigefulla forskningsbidrag.

Fler granskare och mindre peer review

Den ökade efterfrågan på peer review är enligt Cornelia Schendzielorz den starkaste trenden just nu inom bedömning av forskning. Situationen har lett till en överbelastning av granskare, vilket ibland beskrivs med begreppet ”reviewers fatigue”. En bidragande orsak är att en stor del av granskningarna görs av en liten del av alla tillgängliga forskare.

Därför måste utvärderarna se till att ha en större pool av möjliga granskare; till exempel använda postdoktorer i högre grad, menar Cornelia Schendzielorz. Det behövs både för att fördela arbetet jämnare och för att kunna diversifiera beredningsgrupperna. Men hon ser också en annan lösning.

– Vi måste minska vår användning av peer review. Då kan vi göra den peer review vi faktiskt behåller mer grundligt. Ett sätt är att öka basanslagen och minska beroendet av extern finansiering. Många små projekt eller korta bidrag, till exempel mobilitetsbidrag, finansieras idag oftare externt. Att göra peer review på dem är slöseri med tid och med det här verktyget.

System som stimulerar nytänkande

Även Mats Ulfendahl tycker att ökad basfinansiering vore bra, för att forskare då sannolikt skulle våga satsa på mer riskfyllda projekt där resultaten kan ha stor betydelse för forskningsområdets utveckling.

– Vi behöver ett system som stimulerar kreativitet och nytänkande. Och just att bedöma den forskning som utmanar det förhärskande, dogmen, kanske inte görs bäst av en grupp mycket seniora och väletablerade sakkunniga som i hög grad representerar just den etablerade uppfattningen. Här skulle både bättre grundfinansiering och kanske alternativ till traditionell peer review kunna ha stor betydelse, säger han.

Relaterat innehåll

Krönika 30 januari 2024

Nu är de nationella riktlinjerna för öppen vetenskap klara. Erik Stattin skriver om arbetet med regeringsuppdraget och hur riktlinjerna tagits emot.

Nyhet 28 november 2023

Siv Engelmark

Nu ska de avtal som reglerar svenska forskares publiceringar i vetenskapliga tidskrifter omförhandlas. En färsk rapport från SUHF ska ge underlag för arbetet. Målet är att publicer...

Krönika 27 november 2023

Hur många vetenskapliga texter finns det som definierar en forskare? Bengt Johansson skriver om böckerna som verkligen betytt något för honom.