Hur bra är peer review?

2012-10-12

Utbildningsminister Jan Björklund föreslår att peer review ska användas för att utvärdera kvaliteten på svenska högskolors forskning som underlag för fördelning av högskolornas forskningsanslag. Mot ett sådant system finns ett antal goda argument som bättre förs fram av andra debattörer. Jag tänkte här istället göra mig till tolk för alla oss som känner att peer review ofta är en besvikelse även för enstaka artikelmanus och anslagsansökningar.

Att olika forskare har olika uppfattningar om vad som är god forskning är inget problem. Det problematiska är att forskare som ska granska andras ansökningar och manuskript ofta inte läser dem ordentligt, och därför lämnar kommentarer och bedömningar som saknar värde. Ett märkligt exempel var när några kolleger och jag presenterade en omfattande anslagsansökan för en bedömarpanel. Till vår häpnad fokuserade samtliga frågor och synpunkter på det fenomen som populärt beskrevs på ansökans första sida; ingenting i diskussionen kopplade till projektets forskningsfrågor (som kom på sida två) eller forskningsplan. Någon förklaring till detta måste ju finnas, men oavsett orsaken var det ett exempel på peer review på alltför låg nivå.

Just nu sitter jag med ett refuserat artikelmanus. Det är ju förstås aldrig roligt, men om peer review-processen har fungerat kan man lära sig något. Den här gången fanns dock inget av värde i refereerapporterna. Det verkar som att granskarna haft en känslomässig bindning till en viss tankemodell och eftersom våra resonemang inte ryms inom denna modell har de instinktivt bildat sig en negativ, och felaktig, uppfattning om vad vårt manus försöker säga. Deras bedömningar handlar inte om det som faktiskt står i manuset, utan de kritiserar en fågelskrämma. Deras kritik av fågelskrämman är i högsta grad giltig – men som peer review av det faktiska manuset är det meningslöst.

Vi forskare är ju typiskt på båda sidor, vi är både forskare och granskare av andras forskning. Jag tror att en viktig kvalitetsfaktor i peer review är att vi i den andra rollen lyckas komma ihåg den första rollens perspektiv!

1 kommentar

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Leo

    Antar att du redan sett denna snackis: http://thatsmathematics.com/blog/archives/102

    2012.10.18