The impact factor is a way of ranking scientific journals on the basis of how often their articles are cited. Nowadays, however, the measurement is also used to assess research and researchers. Criticism of the abuse of JIF in evaluating research has been around almost as long as the measure itself.

Måttet som styr forskarkarriärer

English 2016-09-28

Avgörande för forskares karriärer, stolt presenterat på tidskrifters hemsidor och en faktor vid anslagstilldelning. Det drygt femtioåriga måttet Journal Impact Factor – ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras – är idag både ofta använt och mycket kritiserat. Speciellt när det används för att utvärdera forskning och forskare.

”Liksom kärnkraft är impaktfaktorn på både gott och ont”. Det sa Eugene Garfield, upphovsman till måttet Journal Impact Factor, JIF, i en presentation år 2005. Jämförelsen kan tyckas överdriven, men faktum är att JIF idag är ett både flitigt använt och hårt kritiserat bibliometriskt mått, med kraft att påverka forskares karriärer.

Kortfattat är JIF ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras. En tidskrifts JIF för ett visst år beräknas utifrån hur ofta artiklar publicerade de två föregående åren citerades under året (se utförlig definition i faktarutan). Det beräknas årligen av företaget Thomson Reuters och bygger på citeringar i deras databas Web of science.

Kom till på 1960-talet

Måttet kom till världen i början av 1960-talet. Då behövde Eugene Garfield ett sätt att välja ut vilka tidskrifter som skulle ingå i hans nyskapade vetenskapliga citeringsindex, Science citation index – en förteckning över var och av vem vetenskapliga artiklar har citerats.

Tidskrifter som refererades till ofta skulle självklart finnas med, men om man bara jämförde det totala antalet citeringar kunde mindre tidskrifter missgynnas. För att kunna jämföra tidskrifter oberoende av deras storlek skapades därför måttet Journal Impact Factor, JIF.

Bibliotekarier anammade snabbt JIF som ett stöd för att sköta bibliotekens tidskriftsbestånd. Med ett tillgängligt, enkelt och till synes vederhäftigt mått på de olika titlarnas status blev det också viktigare för forskare att publicera sig i ”rätt” tidskrift, och i takt med ökat fokus på att forskningens värde måste bevisas i form av resultat publicerade i prestigefyllda tidskrifter har impaktfaktorns inflytande vuxit.

JIF är idag den vanligaste kvantitativa metoden för att utvärdera vetenskapliga tidskrifter. Det är ett viktigt marknadsföringsverktyg för publicister och används av forskare som stöd för att avgöra var forskningsresultat ska publiceras, speciellt inom områden med god täckning i Web of science, som ekonomi och biomedicin.

Utvärdera forskning och forskare

Men måttet har också kommit att användas i andra syften. Utifrån antagandet att tidskriftens JIF är representativ för de enskilda artiklarna och deras författare används den idag flitigt för att utvärdera forskning och forskare. En publicering kan då viktas med JIF för tidskriften den är publicerad i och läggas ihop till ett mått på exempelvis forskarens eller institutionens prestation.

Tony van Raan

Ton van Raan

Men detta är inte rättvisande, eftersom tidskriftens JIF inte säger något om det riktiga genomslaget hos de individuella artiklarna, menar Ton van Raan, professor emeritus i kvantitativa vetenskapsstudier vid Universitetet i Leiden, Nederländerna.

– Många artiklar, även i topprankade tidskrifter som Nature och Science, citeras knappt eller inte alls. Och det är mycket möjligt att något du publicerar i en tidskrift med låg impaktfaktor sedan får mycket högt genomslag, säger han.

Citeringsfrekvensen för enstaka artiklar i en tidskrift visar nämligen en stor spridning och skev fördelning. Några få artiklar citeras mycket, samtidigt som största delen citeras lite eller inte alls.

Enkelt men oklokt

Tidskriftens impaktfaktor bestäms till stor del av ett litet antal högt citerade artiklar, och inget säger att publicering i en tidskrift med hög JIF leder till att den enskilda artikeln kommer att citeras mycket.

Trots detta är det idag inte ovanligt att JIF används i utvärderingar av forskare inför tjänstetillsättning, vid bedömning av anslagsansökningar eller fördelning av forskningsmedel på olika nivåer.

– Det är snabbt och enkelt, men oklokt. JIF är mer eller mindre okej att använda för att se vilken position en tidskrift har inom ett forskningsfält. Inte för utvärdering av forskning, säger Ton van Raan, vars institution har utvecklat ett av dagens flera alternativa mått på tidskrifters genomslag (se faktaruta).

JIF-måttet kritiseras också för att vara lätt att manipulera. Varje år blockar Thomson Reuters ett antal titlar som anses ha fuskat för att öka sin impaktfaktor, till exempel genom att tidskrifter kommer överens om att citera varandras artiklar eller genom överdriven självcitering. Det senare är möjligt eftersom beräkningen inte tar hänsyn om citeringarna kommer från den egna eller från andra tidskrifter.

Olika publiceringsmönster

Skillnader i publiceringsmönster gör också impaktfaktorn olämplig för jämförelser mellan olika vetenskapsområden. Inom exempelvis matematik och teknik används lite citeringar, vilket gör att tidskrifter inom dessa områden får lägre JIF. Fysik och biomedicin citerar mycket, vilket leder till tidskrifter med högre JIF.

Gustaf Nelhans

Gustaf Nelhans

– För humanistiska och samhällsvetenskapliga tidskrifter är också tidsgapet mellan inskickning av manuskript och publicering ofta längre. Därför blir deras impaktfaktorer väldigt låga mätt över två år. Det finns heller inget som säger att just två år är rätt period att mäta inkomna citeringar över, säger Gustaf Nelhans, universitetslektor i biblioteks- och informationsvetenskap vid Högskolan i Borås.

I sin forskning har han, tillsammans med kollegan Björn Hammarfelt bland andra, undersökt hur svenska lärosäten använder bibliometri, såsom tidskrifters impaktfaktorer, när regeringens forskningsanslag ska fördelas vidare inom lärosätet. Ofta ingår den så kallade norska modellen, som bygger på att poäng delas ut baserat på var forskarna publicerar sina resultat.

Idén är att publicering i en kanal av god kvalitet ska ge mer poäng och värderingen av publiceringskanalerna, den ”norska listan”, är delvis baserad på tidskrifternas impaktfaktorer. JIF används också i olika fördelningsmodeller vid flera andra lärosäten (läs här i Curie om hur några svenska finansiärer och lärosäten använder JIF).

Problematisk genväg

Motivet för att dirigera forskare att satsa på högre rankade tidskrifter är ofta att detta ska öka kvaliteten på forskningen. Eftersom en tidskrift med hög JIF i allmänhet har högt anseende, får JIF bli ett ställföreträdande kvalitetsmått. Men Gustaf Nelhans har invändningar mot denna användning.

– Som genväg till forskningskvalitet blir JIF snabbt problematiskt. Dels blir jämförelser mellan ämnen galen – är en publicering i Nature, med JIF 38, verkligen så mycket bättre än en publicering i Sociologisk forskning, med en JIF på 0,08? Dels är JIF, liksom andra bibliometriska mått, svåra att hantera på de små datamängder det ofta handlar om på individ-, grupp- och institutionsnivå.

Dessutom kan JIF-fokuseringen tvinga forskare att ändra sina forsknings- och publiceringspraktiker, konstaterar Gustaf Nelhans.

– Man skriver kanske inte i rapporter eller i festskrifter om det inte ger poäng i systemet. För humanister finns få tidskrifter med beräknad JIF – ska forskningen anpassas till deras verksamhet, för att det är så lärosätet mäter? Det här gör att forskningen likriktas och riskerar att utarmas.

Ingen ny kritik

Kritiken mot missbruket av JIF i utvärdering av forskning har funnits nästan lika länge som måttet självt och blossar ibland upp starkare. I ett upprop från 2013 betonar exempelvis en rad inflytelserika finansiärer och organisationer vikten av att värdera forskning på sina egna meriter, snarare än baserat på vilken tidskrift den publiceras i, och det finns idag flera alternativa mått på tidskrifters genomslag.

Men JIF står sig trots allt, tror Gustaf Nelhans.

– De nya måtten är mer avancerade, svårare att förstå och får inget riktigt genomslag. Så länge Journal Citation Reports, där data till JIF hämtas, förblir ett ledande index för tidskrifter kommer JIF att fortsätta vara ett viktigt mått.

Läs också i Curie: Så används impaktfaktorer i forskarvärlden

Text: Sara Nilsson
Foto: SPL / IBL Bildbyrå

2 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Mikael Käll

    Det finns förvisso mycket att ifrågasätta vad gäller JIF, men ibland känns det som att man glömmer bort att vi pratar om refereegranskade tidskrifter. Själv är jag övertygad om att kvaliten på refereeprocessen generellt sett är högre i en tidskrift med hög JIF än i en med låg, OM man jämför tidskrifter som verkar i samma fält. Av den anledningen är det fullt rimligt att anslagsgivare och andra tar hänsyn till (fältnormerad) JIF när man bedömer nya publiceringar. När en artikel har fått några år på nacken är det förstås bättre att titta på verkligt genomslag, främst citeringar.

    2016.09.30

  • Gustaf Nelhans

    Hej, Mikael, tack för din kommentar. Jag tror inte att det glöms att det är sakkunniggranskade alster, eftersom själva förutsättningen för att en tidskrift skall indexeras i Journal Citation Reports lite enkelt uttryckt är att den är granskad och att den har en redaktörskommitté som är bred. Din känsla är förstås relevant, men vi måste ha empiri för att underbygga ställningstaganden om så viktiga saker som hur vi värderar forskning. Givet de ifrågasättanden av JIF som du antyder, vilka argument finns att kvaliteten på granskningen är bättre i tidskrifter med högt JIF och vad är det i sin tur som ger att kvaliteten på granskningen direkt kan utläsas i kvaliteten på de alstren som publiceras. Det kan ju mycket väl vara så att mindre genomarbetade manuskript som sänds till tidskrifter som uppfattas vara mindre framstående (och jag talar inte om JIF här) kräver bättre kvalitet på granskningen för att nå ett acceptabelt skick för publicering än manuskript skickade till jättebra tidskrifter som nästan är färdiga för publicering och som därför kräver en lägre kvalitet i granskningen för att publiceras. Jag lyfter här fram det absurda för att peka på att det är ett problem när vi försöker omvandla enstaka mått och parametrar på något så svårdefinierat som kvalitet. Min fråga är vilken roll mätningen av publiceringar skall ha. Kan man inte, som flera anslagsgivare säger, lägga tonvikten vid värdering av kvalitet utifrån utpräglade kriterier på önskvärd forskning som nyskapande, genomförbarhet och innehåll?

    2016.09.30

Ta del av information om behandlingen av dina personuppgifter