Avslagen kan ge bättre forskning – om vi får motiveringen

Tänk dig att en domstol skulle tillkännage en dom utan att ge någon motivering. Det vore givetvis oacceptabelt. Allmänheten måste kunna kontrollera resonemangen för att förstå beslutet samt för att upprätthålla transparens och en tilltro att det gått rätt till.

Forskningsansökningar är inte domstolsfall, men det finns likheter. Beslut att finansiera eller inte fattas av grupper som förväntas resonera sakligt och följa etablerade principer. Ändå får vi forskare alltmer sällan motiveringar till beslut om finansiering eller avslag, alternativt är den så kallade återkoppling vi får extremt kortfattad och/eller obegriplig.

Det är svårt att begripa ett sådant yttrande och det är ganska tydligt att diskussionen inte kan ha låtit så när beslutet fattades.

Ett exempel: min senaste ”motivering” till ett avslag lydde att projektets innovativa aspekter var otydliga, samtidigt som meningen innan nämnde att projektet betraktades som just innovativt. Det är svårt att begripa ett sådant yttrande och det är ganska tydligt att diskussionen inte kan ha låtit så när beslutet fattades.

Universiteten själva verkar ha anammat samma filosofi som finansiärerna. För interna processer där kandidater konkurrerar fattas beslut i stängda rum som sedan levereras helt utan motivering, alternativt får man ”återkoppling” som endast lyder: Tack för din ansökan, den duger inte!

Det värsta med dessa uteblivna eller intetsägande motiveringar är att extremt värdefull information går förlorad! Om nu granskare har hittat brister i mina forskningsidéer så behöver jag givetvis få höra dem för att bli en bättre forskare. Det kan till exempel vara så att projektet jag föreslår inte skulle ge några nya insikter på grund av att jag inte haft koll på relevant litteratur.

Det värsta med dessa uteblivna eller intetsägande motiveringar är att extremt värdefull information går förlorad!

Alternativt är projektet ej genomförbart eftersom jag har missat något centralt i metodiken. Ibland kan återkopplingen förstås vara felaktig, troligen eftersom granskarna missförstått. Sådant är frustrerande, men det visar åtminstone vilka delar av ansökan som behöver förtydligas till nästa gång. Om du inte får någon återkoppling så vet du inte vad du bör förändra i dina forskningsplaner.

Tänk om vi skulle tillämpa samma princip vid granskning av forskningsartiklar: Du får veta att ditt manuskript inte håller tillräcklig vetenskaplig nivå, men inte varför. Ingen hade accepterat att en tidskift agerade så. Ändå anses det OK för ansökningar.

Återkoppling på ansökningar är kanske till och med viktigare än återkoppling på manuskript. Ett manuskript innehåller resultat från en redan genomförd studie. En granskare kan möjligen förbättra studien, men för en projektansökan har en granskare möjlighet att påverka hur en forskare utformar sina studier från början.

När sakliga motiveringar uteblir föds en misstro att beslut fattats på godtyckliga grunder eller genom nepotism.

Det finns även ett djupare problem med bristen på återkoppling: tilltron till granskningsprocessen. När sakliga motiveringar uteblir föds en misstro att beslut fattats på godtyckliga grunder eller genom nepotism. Det är inte orimligt att kräva att beslut om forskningsbidrag som kommer från skattemedel motiveraras sakligt och utförligt. För privata finansiärer kommer vi nog aldrig kunna kräva utförliga motiveringar, men vi kan önska. Att samla utlåtanden som en ansökan fått utesluter givetvis inte att individers uttalanden anonymiseras.

Att helt enkelt skriva ned det man kommit fram till måste betraktas som en väldigt liten insats på det stora hela.

Vad är då argumenten mot återkoppling på ansökningar? Jag väntar fortfarande på en bra förklaring, men det jag har hört hittills är två saker. Den första är att man inte vill öppna upp för en diskussion huruvida beslutet är korrekt. Det är en märklig ståndpunkt inom vetenskapen att inte vilja diskutera, men argumentet är irrelevant i vilket fall som helst. Det finns ingenting som förbinder finansiärer att tillämpa någon sorts överklagansprocess bara för att de ger ordentlig återkoppling.

Det andra argumentet jag hört är att det är orimligt att kräva av granskarna att de ska lägga tid på att sammanfatta sin återkoppling i text. Detta är nästan lika obegripligt. Det tar mycket tid att läsa och granska ansökningar i detalj. Att helt enkelt skriva ned det man kommit fram till måste betraktas som en väldigt liten insats på det stora hela. Återigen, låt oss jämföra med forskningsartiklar: anta att du får höra att de som granskade ditt manuskript inte orkade skriva ned sina kommentarer utan gick igenom allt muntligt med redaktören. Ingen hade accepterat ett sådant förfarande!

Håller systemet långsamt på att kollapsa?

Varför har det blivit såhär? En tråkig förklaring, som jag tyvärr inte utesluter, är att det helt enkelt blir allt svårare att få till ordentliga granskningsprocesser. Möjligen kan ovilja till transparens och återkoppling helt enkelt bero på att man vet att granskningarna inte är särskilt gediget genomförda? Det finns flera anledningar till varför det kan bli så. Granskare ställer ofta upp gratis, vilket gör det svårare att kräva detaljerade utlåtanden. Dessutom blir all forskning mer och mer specialiserad. Som granskare tvingas vi bedöma projekt inom områden vi egentligen vet väldigt lite om.

Antalet ansökningar folk skriver bara för att överleva i akademin minskar inte heller direkt, vilket troligen gör att det läggs mindre tid på att granska var och en. Håller systemet långsamt på att kollapsa? Somliga har gett upp hoppet om hela konceptet ”peer review” (1). Andra inför lotteri vid fördelning av bidrag (2). Jag hävdar att vi istället bör jobba mot ett finansieringssystem med färre ansökningar (till exempel genom större basanslag) och förbättra granskningsförfarandet av de ansökningar som blir kvar.

Som ett ljus i mörkret sticker Europeiska forskningsrådet (ERC) ut med sin oerhört detaljerade granskningsprocess. Vissa projekt har över 10 granskare och man lyckas verkligen hitta personer som har rätt expertis. Den sökande får ta del av så gott som all återkoppling, dels rapporterna från alla externa granskare och dels en sammanfattning av panelens intryck av projekt och intervju. För mig har all denna återkoppling varit extremt viktigt för pågående forskning och det har hjälpt mig utveckla mina idéer oerhört. Notera att detta gäller vare sig bidraget beviljades eller inte!

Jag önskar att alla granskningar av ansökningar fungerade så bra som hos ERC, men ingen finansiär i Sverige verkar komma ens i närheten.

Jag önskar att alla granskningar av ansökningar fungerade så bra som hos ERC, men ingen finansiär i Sverige verkar komma ens i närheten. Ja, ordentligt genomförd granskning kräver mycket tid, men det är mödan värt. Även som granskare lär man sig mycket! Sedan gäller det bara att de sökande får ta del av den viktiga återkopplingen, vilket borde vara busenkelt. Om det inte finns vettig återkoppling att vidarebefordra till de sökande så har nog inte granskningsförfarandet varit särskilt lyckat.

Andreas Dahlin, biträdande professor, Chalmers

Läs mer:

[1]  Breast Cancer Research: Classical peer review: an empty gun Länk till annan webbplats.

[2] Nature: The case for lotteries as a tiebreaker of quality in research funding Länk till annan webbplats.