Logotyp Curie - samtal om forskningens villkor
Kulram i trä

Impaktfaktorer är ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras. Foto: SPL / IBL Bildbyrå

NYHET

Måttet som styr forskarkarriärer

Avgörande för forskares karriärer, stolt presenterat på tidskrifters hemsidor och en faktor vid anslagstilldelning. Det drygt femtioåriga måttet Journal Impact Factor – ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras – är idag både ofta använt och mycket kritiserat. Speciellt när det används för att utvärdera forskning och forskare.

”Liksom kärnkraft är impaktfaktorn på både gott och ont”. Det sa Eugene Garfield, upphovsman till måttet Journal Impact Factor, JIF, i en presentation år 2005. Jämförelsen kan tyckas överdriven, men faktum är att JIF idag är ett både flitigt använt och hårt kritiserat bibliometriskt mått, med kraft att påverka forskares karriärer.

Kortfattat är JIF ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras. En tidskrifts JIF för ett visst år beräknas utifrån hur ofta artiklar publicerade de två föregående åren citerades under året (se utförlig definition i faktarutan). Det beräknas årligen av företaget Thomson Reuters och bygger på citeringar i deras databas Web of science.

Kom till på 1960-talet

Måttet kom till världen i början av 1960-talet. Då behövde Eugene Garfield ett sätt att välja ut vilka tidskrifter som skulle ingå i hans nyskapade vetenskapliga citeringsindex, Science citation index – en förteckning över var och av vem vetenskapliga artiklar har citerats.

Tidskrifter som refererades till ofta skulle självklart finnas med, men om man bara jämförde det totala antalet citeringar kunde mindre tidskrifter missgynnas. För att kunna jämföra tidskrifter oberoende av deras storlek skapades därför måttet Journal Impact Factor, JIF.

Bibliotekarier anammade snabbt JIF som ett stöd för att sköta bibliotekens tidskriftsbestånd. Med ett tillgängligt, enkelt och till synes vederhäftigt mått på de olika titlarnas status blev det också viktigare för forskare att publicera sig i ”rätt” tidskrift, och i takt med ökat fokus på att forskningens värde måste bevisas i form av resultat publicerade i prestigefyllda tidskrifter har impaktfaktorns inflytande vuxit.

JIF är idag den vanligaste kvantitativa metoden för att utvärdera vetenskapliga tidskrifter. Det är ett viktigt marknadsföringsverktyg för publicister och används av forskare som stöd för att avgöra var forskningsresultat ska publiceras, speciellt inom områden med god täckning i Web of science, som ekonomi och biomedicin.

Utvärdera forskning och forskare

Men måttet har också kommit att användas i andra syften. Utifrån antagandet att tidskriftens JIF är representativ för de enskilda artiklarna och deras författare används den idag flitigt för att utvärdera forskning och forskare. En publicering kan då viktas med JIF för tidskriften den är publicerad i och läggas ihop till ett mått på exempelvis forskarens eller institutionens prestation.

Profilbild av Tom van Raan

Tom van Raan

Men detta är inte rättvisande, eftersom tidskriftens JIF inte säger något om det riktiga genomslaget hos de individuella artiklarna, menar Ton van Raan, professor emeritus i kvantitativa vetenskapsstudier vid Universitetet i Leiden, Nederländerna.

– Många artiklar, även i topprankade tidskrifter som Nature och Science, citeras knappt eller inte alls. Och det är mycket möjligt att något du publicerar i en tidskrift med låg impaktfaktor sedan får mycket högt genomslag, säger han.

Citeringsfrekvensen för enstaka artiklar i en tidskrift visar nämligen en stor spridning och skev fördelning. Några få artiklar citeras mycket, samtidigt som största delen citeras lite eller inte alls.

Enkelt men oklokt

Tidskriftens impaktfaktor bestäms till stor del av ett litet antal högt citerade artiklar, och inget säger att publicering i en tidskrift med hög JIF leder till att den enskilda artikeln kommer att citeras mycket.

Trots detta är det idag inte ovanligt att JIF används i utvärderingar av forskare inför tjänstetillsättning, vid bedömning av anslagsansökningar eller fördelning av forskningsmedel på olika nivåer.

– Det är snabbt och enkelt, men oklokt. JIF är mer eller mindre okej att använda för att se vilken position en tidskrift har inom ett forskningsfält. Inte för utvärdering av forskning, säger Ton van Raan, vars institution har utvecklat ett av dagens flera alternativa mått på tidskrifters genomslag (se faktaruta).

JIF-måttet kritiseras också för att vara lätt att manipulera. Varje år blockar Thomson Reuters ett antal titlar som anses ha fuskat för att öka sin impaktfaktor, till exempel genom att tidskrifter kommer överens om att citera varandras artiklar eller genom överdriven självcitering. Det senare är möjligt eftersom beräkningen inte tar hänsyn om citeringarna kommer från den egna eller från andra tidskrifter.

Olika publiceringsmönster

Skillnader i publiceringsmönster gör också impaktfaktorn olämplig för jämförelser mellan olika vetenskapsområden. Inom exempelvis matematik och teknik används lite citeringar, vilket gör att tidskrifter inom dessa områden får lägre JIF. Fysik och biomedicin citerar mycket, vilket leder till tidskrifter med högre JIF.

Profilbild på Gustaf Nelhans universitetslektor i biblioteks- och informationsvetenskap vid Högskolan i Borås.

Gustaf Nelhans

– För humanistiska och samhällsvetenskapliga tidskrifter är också tidsgapet mellan inskickning av manuskript och publicering ofta längre. Därför blir deras impaktfaktorer väldigt låga mätt över två år. Det finns heller inget som säger att just två år är rätt period att mäta inkomna citeringar över, säger Gustaf Nelhans, universitetslektor i biblioteks- och informationsvetenskap vid Högskolan i Borås.

I sin forskning har han, tillsammans med kollegan Björn Hammarfelt bland andra, undersökt hur svenska lärosäten använder bibliometri, såsom tidskrifters impaktfaktorer, när regeringens forskningsanslag ska fördelas vidare inom lärosätet. Ofta ingår den så kallade norska modellen, som bygger på att poäng delas ut baserat på var forskarna publicerar sina resultat.

Idén är att publicering i en kanal av god kvalitet ska ge mer poäng och värderingen av publiceringskanalerna, den ”norska listan”, är delvis baserad på tidskrifternas impaktfaktorer. JIF används också i olika fördelningsmodeller vid flera andra lärosäten (läs här i Curie om hur några svenska finansiärer och lärosäten använder JIF).

Problematisk genväg

Motivet för att dirigera forskare att satsa på högre rankade tidskrifter är ofta att detta ska öka kvaliteten på forskningen. Eftersom en tidskrift med hög JIF i allmänhet har högt anseende, får JIF bli ett ställföreträdande kvalitetsmått. Men Gustaf Nelhans har invändningar mot denna användning.

– Som genväg till forskningskvalitet blir JIF snabbt problematiskt. Dels blir jämförelser mellan ämnen galen – är en publicering i Nature, med JIF 38, verkligen så mycket bättre än en publicering i Sociologisk forskning, med en JIF på 0,08? Dels är JIF, liksom andra bibliometriska mått, svåra att hantera på de små datamängder det ofta handlar om på individ-, grupp- och institutionsnivå.

Dessutom kan JIF-fokuseringen tvinga forskare att ändra sina forsknings- och publiceringspraktiker, konstaterar Gustaf Nelhans.

– Man skriver kanske inte i rapporter eller i festskrifter om det inte ger poäng i systemet. För humanister finns få tidskrifter med beräknad JIF – ska forskningen anpassas till deras verksamhet, för att det är så lärosätet mäter? Det här gör att forskningen likriktas och riskerar att utarmas.

Ingen ny kritik

Kritiken mot missbruket av JIF i utvärdering av forskning har funnits nästan lika länge som måttet självt och blossar ibland upp starkare. I ett upprop från 2013 betonar exempelvis en rad inflytelserika finansiärer och organisationer vikten av att värdera forskning på sina egna meriter, snarare än baserat på vilken tidskrift den publiceras i, och det finns idag flera alternativa mått på tidskrifters genomslag.

Men JIF står sig trots allt, tror Gustaf Nelhans.

– De nya måtten är mer avancerade, svårare att förstå och får inget riktigt genomslag. Så länge Journal Citation Reports, där data till JIF hämtas, förblir ett ledande index för tidskrifter kommer JIF att fortsätta vara ett viktigt mått.

DORA: San Francisco Declaration on Research Assessment (English) Länk till annan webbplats.
BMJ: Why impact factors should not be used for evaluating research (English) Länk till annan webbplats.
JAMA: The history and meaning of the journal impact factor (English) Länk till annan webbplats.
Research Evaluation: The heterogeneous landscape of bibliometric indicators (English) Länk till annan webbplats.
Evaluating models for allocating resources at Swedish universities (English) Länk till annan webbplats.
Clarivate: Journal Citation Reports (English) Länk till annan webbplats.

Läs också i Curie: Så används impaktfaktorer i forskarvärlden

Journal Impact Factor

En tidskrifts Journal Impact Factor (JIF) för ett givet år är antalet citeringar under detta år av artiklar publicerade de två föregående åren, dividerat med antalet artiklar publicerade de två föregående åren. Om en tidskrifts JIF är 3 för år 2014, fick dess artiklar publicerade 2012 och 2013 i genomsnitt tre citeringar år 2014.

I täljaren inräknas citeringar från såväl artiklar som andra dokumenttyper, exempelvis brev och redaktionella inlägg. I nämnaren räknas bara originalartiklar, översiktsartiklar och kommentarer (så kallat ”citerbara dokument”).

Det får till följd att tidskrifter med en stor mängd dokument som inte räknas in i nämnaren men som citeras, till exempel brev, kan få en oproportionerligt hög impaktfaktor. Tidskrifter med många översiktsartiklar får också högre impaktfaktor, eftersom dessa i regel citeras mer än andra artiklar.

JIF beräknas av företaget Thomson Reuters och bygger på citeringar i deras databas Web of Science.

Måttet nämndes för första gången 1955, i en artikel i Science av Eugene Garfield. Det realiserades i början av 1960-talet och den första rankningen av tidskrifter baserat på JIF publicerades tidigt på 1970-talet. JIF beräknades ursprungligen av företaget Institute for scientific information, ISI, som Eugene Garfield var medgrundare till.

Utöver det traditionella tvååriga JIF-måttet publiceras numera också ett femårigt mått, som kan vara relevantare för långsammare forskningsområden.

På sin hemsida säger Thomson Reuters att även om JIF är mycket användbart för att rangordna tidskrifter, ska måttet ska användas försiktigt, med hänsyn till tidskriftens typ av artiklar och variationer mellan discipliner.

I juli 2016 såldes den del av Thomson Reuters som beräknar JIF till två investeringsbolag, Onex Corporation och Baring Private Equity Asia.

Alternativa mått

Några alternativa mått för tidskrifters genomslag:

Source Normalized Impact Per Paper, SNIP

Ett mått där citeringsfrekvensen normaliseras efter förväntad citeringsgrad i respektive forskningsfält, för att bli jämförbarare mellan olika discipliner. Beräknas över tre år och baseras på data från Scopus. Beräknas av Center for Science and Technology Studies vid Leiden University.

SCImago Journal Rank, SJR

Viktar citeringarna en viss tidskrift har fått efter hur inflytelserika tidskrifter de kommer från, vilket beräknas med en matematisk algoritm. Beräknas utifrån en treårsperiod. Självciteringar inverkar negativt på indikatorns värde. Baseras på data från Scopus. Utvecklat av spanska forskare.

Eigenfactor Score

Strävar efter att ta hänsyn till skillnader i olika vetenskapsområdens citeringspraxis och viktar citeringar enligt hur inflytelserika tidskrifter de kommer från. Räknas utifrån en femårsperiod. Självciteringar räknas inte. Utvecklad vid University of Washington.

Google Scholar Metrics.

Beräknar flera värden på tidskriftsnivå utifrån Google Scholars citeringsmått.

Du kanske också vill läsa

Nyhet 13 september 2022

Sara Nilsson

Inte bara unga forskare gör det. Även professorer, i Sverige, ägnar sig åt publicering i tvivelaktiga vetenskapliga tidskrifter, även kallade rovtidskrifter. En ny rapport belyser ...

Nyhet 30 mars 2022

Sara Nilsson

System för textmatchning kan hitta likheter mellan texter. Idag används de av både vetenskapliga tidskrifter och inom akademin, som en hjälp att upptäcka plagiering. Men det finns ...

Nyhet 20 mars 2018

Siv Engelmark

Algoritmer får allt större betydelse för både samhället och individen. De styr vad vi ser på sociala medier och kan ta beslut som påverkar vår vardag – utan att vi får insyn i hur ...