Vetenskaplig kvalitet – en fråga om bedömning

2012-11-01

Som forskare har man rätt att förvänta sig en väl genomförd bedömning av en ansökan om bidrag. Men vilka faktorer i beredningsprocessen är det egentligen som har störst betydelse för utfallet och hur kan bedömningen kvalitetssäkras? Curie bad en forskare med expertkunskaper om peer review-processen och en ordförande i en beredningsgrupp att ge några svar. 

– I en beredningsgrupp brukar det generellt råda enighet om vad som är den sämsta forskningen och ofta om vad som är den bästa, berättar statsvetaren Liv Langfeldt. Det svåra är bedömningen av den stora mängden forskning som ligger i mittfåran, här kan det vara mer slumpartat vad som beviljas anslag och inte.

Liv Langfeldt är verksam vid Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU) och har forskat om peer-review ur olika aspekter. System för att motverka jäv och olika verktyg för att formalisera granskningen gör bedömningen mer rättvis, anser hon. Men det kan inte ta bort det faktum att vem eller vilka individer som granskat en ansökan har stor betydelse för utfallet:

– Det finns exempelvis studier där man låtit olika granskargrupper med liknande kompetens bedöma samma ansökningar – med skilda resultat som följd, säger hon. 

Forskarvärlden är medveten om svagheterna

Detta är dock inget som förnekas inom forskarvärlden, menar Liv Langfeldt, utan det finns en hög medvetenhet om svagheterna inom peer review-systemet. Något som bekräftas av Stefan Lohmander, professor i ortopedi vid Lunds universitet och ordförande i en av Vetenskapsrådets beredningsgrupper inom medicin:

– Medlemmarna i min beredningsgrupp är väl medvetna om sitt ansvar och angelägna om att fatta besluten på bästa möjliga grund och efter noggrant gemensamt övervägande, säger han. Samtidigt är det med självklarhet så att beslut baserade på peer review är subjektiva och att tillfälligheter, vem som bedömer ansökningar ett visst år, påverkar slutresultatet.

Stefan Lohmander tror dock inte att ständigt nya granskare är lösningen på det dilemmat. Istället betonar han vikten av långsiktighet i beredningsgrupperna:

– Självklart ska det vara en gradvis omsättning på ledamöter. Men framför allt är det viktigt att man får chans att arbeta ihop sig i en grupp, att man kan föra en kontinuerlig diskussion om vad som är vetenskaplig kvalitet och får möjlighet att lära av varandra.

Diskussionsklimatet viktigt…

Att diskussionsklimatet har inverkan på beslutsprocessen är också något Liv Langfeldt såg i en studie av beredningen av ansökningar i tio olika kommittéer i Norges forskningsråd. Ju större möjlighet det fanns att föra fram avvikande åsikter om en ansökan, desto större chanser var det till exempel att okonventionell forskning gynnades.

Men det är inte bara vilka som råkar sitta i en beredningsgrupp och hur de interagerar som kan påverka utfallet av en beredning. Även de bedömningsinstrument man använder spelar in. 

– Vid en bedömning i två steg med olika granskare ger exempelvis en mindre detaljerad betygsskala större handlingsutrymme för bedömarna i steg två, förklarar Liv Langfeldt.

… och kriterierna för bedömningen

Även mängden kriterier att ta hänsyn till har betydelse för bedömningarna. Olika aspekter av vetenskaplig kvalitet, sökandes kompetens, jämställdhet, etiska aspekter, internationellt samarbete och genomförbarhet är bara några exempel på olika kriterier som en granskare kanske måste beakta i en och samma bedömning.

– Tyvärr gör detta bedömningarna mer ofokuserade och leder snarare till att det är oklart vilka kriterier som får genomslag i praktiken, konstaterar Liv Langfeldt.

Liknande tankegångar är Stefan Lohmander inne på när han beskriver årets beredningsprocess. I hans grupp hade man att arbeta med sammanlagt sju olika siffror: fyra delbetyg för olika dimensioner av vetenskaplig kvalitet samt ett betyg för övergripande vetenskaplig kvalitet, ett betyg för klinisk relevans, samt en siffra som anger ansökans preliminära rankning i förhållande till andra inom gruppen.

– Jag har arbetat med bedömning av ansökningar inom Vetenskapsrådet i många år och i det perspektivet tycker jag att mängden olika siffror och betyg att hålla reda på i år snarare var distraherande än till hjälp, säger han.

Resultatet blev en initialt rörig bedömningsprocess, berättar han, ett problem som gruppen löste genom att tala sig samman om hur man skulle värdera de olika kriterierna och vad man främst skulle fokusera på.

Utveckling mot större öppenhet

Trots inbyggda brister i peer review-systemet, kan varken Liv Langfeldt eller Stefan Lohmander se att det finns något bättre alternativ. Medan Stefan Lohmander lyfter fram medvetenhet, tid för diskussion och långsiktighet som nyckelbegrepp för att kvalitetssäkra bedömningsprocessen, så betonar Liv Langfeldt öppenhet – att forskarna ska kunna ha insyn i hur en bedömning gått till. Positivt är, menar hon, att utvecklingen går mot allt större öppenhet i granskning av forskning:

– Det är vanligare att man tar in internationell expertis och att man arbetar med ad hoc-kommittéer och expertpaneler utifrån.

Stefan Lohmander tror också att öppenhet mellan olika områden kan bidra till ännu bättre beredningar.

– Inom medicin varierar beviljningsgraden en del emellan de olika beredningsgrupperna. Det skulle vara intressant att bredda underlaget i grupperna, så att personer från en deldisciplin kunde vara med och bedöma en ansökan inom en annan. Kanske skulle det leda till en större samsyn i vad som är vetenskaplig kvalitet och en jämnare beviljningsgrad. 

Text: Jessica Rydén