Logotyp Curie - samtal om forskningens villkor
Biblioteket på Kungliga tekniska högskolan i stockholm

Vid KTH i Stockholm fördelas 2,5 procent av det statliga forskningsanslaget ut till verksamheten baserat på impaktfaktorn för de tidskrifter artiklarna har publicerats i. Foto: Jann Lipka

NYHET

Så används impaktfaktorer i forskarvärlden

Flitigt använt men hårt kritiserat. Curie har undersökt hur några svenska forskningsfinansiärer och lärosäten använder det omdiskuterade måttet Journal Impact Factor, ett mått som idag kan påverka både vem som får forskningsmedel och vilken tidskrift forskaren väljer att publicera sig i.

Journal impact factor, JIF, är ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras. Det här måttet (se definition i faktarutan) beräknas årligen av företaget Thomson Reuters och bygger på citeringar i deras databas Web of science.

Måttet föddes i början av 1960-talet och var ursprungligen tänkt som ett sätt att kunna jämföra vetenskapliga tidskrifter oberoende av deras storlek. Det anammades snabbt av bibliotekarier som ett stöd att sköta bibliotekens tidskriftsbestånd, men har idag fått betydligt bredare användningsområde och större inflytande – dock inte utan kritik.

Egen modell

I Sverige är det inte ovanligt att JIF ingår i fördelningsmodellen när regeringens forskningsanslag ska fördelas inom lärosätet. Vid KTH i Stockholm fördelas 2,5 procent av det statliga forskningsanslaget ut till verksamheten baserat på impaktfaktorn för de tidskrifter artiklarna har publicerats i.

Men Thomson Reuters JIF-mått används inte rakt av, betonar Per-Anders Östling, utredare vid KTH:s universitetsförvaltning.

– Eftersom JIF inte tar hänsyn till att vissa ämnen citeras mycket mer än andra är det inget rättvist sätt att fördela pengar. Vi har gjort en egen konstruktion för att kunna använda måttet på ett rättvisande sätt, säger han.

Bibliometrikerna på KTH beräknar en impaktfaktor för varje tidskrift. Kortfattat jämförs varje tidskrifts citeringar ett visst år med genomsnittet för tidskrifter inom samma ämnesområde, till en så kallad fältnormerad tidskriftsimpakt.

Det som räknas är artiklar och recensioner, och impaktfaktorn för ett givet år beräknas på publiceringar de fem föregående åren. Enhetens mått blir sedan summan av impaktfaktorerna för tidskrifter där man har publicerat sig, beräknat som ett medelvärde över tre år.

Publiceringsindikator infördes för två år sedan. Motivet är att ge forskarna ett incitament att publicera i vetenskapliga tidskrifter av hög kvalitet och långsiktigt öka forskningskvaliteten.

Profilbild på Arne Johansson, vicerektor för forskning på KTH.

Arne Johansson

– Ekonomiskt är det så lite att det försvinner i bruset. Men vi bedömer att det, tillsammans med vår årliga bibliometriska uppföljning, stimulerar forskarna att våga ta större utmaningar i sin publicering – försöka nå högre höjder vetenskapligt sett, kanske publicera färre artiklar men jobba mer med kvaliteten, säger Arne Johansson, vicerektor för forskning på KTH.

Säger inget om enskilda artiklar

Impaktfaktorn kan ses som ett mått på tidskrifters genomslag, baserat på hur ofta deras tidigare artiklar har citerats under en viss period. Den säger dock inget om hur mycket en enskild artikel i tidskiften kommer att citeras. Citeringsfrekvensen för enstaka artiklar i en tidskrift visar nämligen en stor spridning.

Ett litet antal högt citerade artiklar i stor utsträckning bestämmer storleken på impaktfaktorn, medan det stora flertalet av artiklarna ligger under genomsnittet.

Även i tidskrifter med hög impaktfaktor får en stor del av artiklarna få eller inga citeringar alls, och en väsentlig andel av artiklarna som publiceras i tidskrifter med låg impaktfaktor blir sedan högt citerade.

Men detta är inget problem för KTH:s fördelningsmodell, anser Arne Johansson.

– Visst, JIF säger inget om hur välciterad den enskilda artikeln blir. Men i genomsnitt, på gruppnivå finns det en stark korrelation mellan citeringar och publicering i tidskrifter med hög impaktfaktor – i genomsnitt citeras deras artiklar mer. Vi säger också att man ska publicera i bra tidskrifter inom sitt eget fält – publicerar man i tidskrifter med hög JIF utanför det egna fältet blir artikeln antagligen inte så välciterad.

KTH:s mått på tidskriftsimpakt används som nämnts även i en bibliometrisk uppföljning som görs varje år. Det beräknas för lärosätet som helhet, för skolor och avdelningar men även individer. Det personliga måttet är synligt för individen själv och dennes chef.

– På individnivå är indikatorn mest till för personen själv ska kunna följa utvecklingen över tid. Löneförslag tas fram i lönesamtal där många faktorer kommer in, säger Arne Johansson.

I KTH:s beskrivning av måttet anges att det ska användas med försiktighet vid tolkning av värden baserade på få publikationer. Vid tillsättning av tjänster spelar impaktfaktorn en mindre roll, bedömer Arne Johansson, och ingår då i en djupare process där sakkunniga går igenom sökandens forskning, planer och meriter.

Fungerar bra på institutionsnivå

På Karolinska institutet, KI, bildar JIF tillsammans med två andra bibliometriska indikatorer en delkomponent när det statliga forskningsanslaget fördelas till universitetets institutioner.

Profilbild på Anders Gustafsson

– JIF fungerar bra som ett av flera kvalitetsmått på institutionsnivå. Institutionerna är tillräckligt stora för att ge meningsfulla resultat. Tanken är att de olika indikatorerna ska vara kvalitetsdrivande – generellt är det svårare och kräver större arbetsinsats att lyckas publicera sig i tidskrifter med hög JIF jämfört med i svagare tidskrifter, säger Anders Gustafsson, dekan för forskning vid Karolinska institutet.

Han är medveten om att skillnader i publiceringsmönster gör JIF olämplig för jämförelser mellan vetenskapsområden och konstaterar att fördelningsmodellen kan missgynna områden där tidskrifterna generellt har lägre impaktfaktorer, exempelvis kliniska områden och vårdvetenskap. KI överväger därför att fältnormalisera en del av JIF-måttet – det vill säga relatera impaktfaktorn till medelvärdet för det fält tidskriften tillhör.

Formellt används JIF inte vid tjänstetillsättning eller lönesättning på KI, berättar Anders Gustafsson.

– Men det är klart att det imponerar när någon har flera publiceringar i fina tidskrifter, det är svårt att komma ifrån.

Använder inte JIF

Sveriges största privata forskningsfinansiär, Knut och Alice Wallenbergs stiftelse, använder inte tidskrifters impaktfaktorer, JIF, vid utvärdering av projekt, berättar Göran Sandberg, stiftelsens verkställande ledamot.

– Vi uppmanar våra utvärderare att fokusera på projektets innehåll, genomförbart och djärvhet. De ska givetvis bedöma de sökande forskarnas vetenskapliga kompetens och om de då tittar på impaktfaktorer kan vi inte göra något åt det, men utvärderarna får inget sådant underlag från oss.

Formellt finns JIF inte heller med i Vetenskapsrådets bedömning av ansökningar om forskningsmedel, förklarar Staffan Karlsson, analytiker vid myndigheten. Forskarna som granskar ansökningarna ska bedöma dem utifrån det projekt sökanden vill göra och dennes kvalifikationer.

Till sin hjälp får de ett batteri med betygskriterier och där är JIF inte med. Inom ämnesområdet naturvetenskap och teknik ska ansökan visserligen innehålla uppgifter om hur många citeringar artiklarna har fått, men inget om tidskriftens impaktfaktor.

Upp till granskarna

Men, konstaterar Staffan Karlsson, till syvende och sist är det upp till granskarna hur de värderar meriterna i ansökan. Och när Vetenskapsrådet har analyserat vem som tilldelats pengar från myndigheten, visar det sig att summan av JIF för sökandens artiklar samvarierar med huruvida personen får bidrag. Ju högre summerad JIF desto större chans att få pengar.

– Inom medicin och naturvetenskap korrelerar sökandens JIF positivt med om man har fått pengar. Mer så än något annat vi kunde mäta – sökandens ålder, titel, antal år från doktorsexamen eller artiklarnas citeringar.

Från detta går inte att dra slutsatsen att granskarna har bedömt ansökningarna efter JIF; ett mått utformat för att rangordna vetenskapliga tidskrifter, inte bedöma kvaliteten hos enskilda artiklar eller forskare. Men det skulle inte förvåna Staffan Karlsson om artiklar i tidskrifter med hög JIF kan påverka bedömningen. Inom många vetenskapsområden anses det viktigt att publicera i prestigetidskrifter och det vore inte konstigt om granskare imponeras av artiklar i sådana tidskrifter, konstaterar han.

– I min värld, som bibliometriker, är JIF starkt ifrågasatt och det finns en rad metodologiska problem som gör måttet olyckligt att använda i utvärdering av forskning. Men det är ingen tvekan om att tidskrifter med hög JIF är svåra att komma in i.

Kan användas som en genväg

Granskare är ofta hårt belastade och det kan finnas en risk att JIF används som en genväg, påpekar Staffan Karlsson.

– Man tittar på hur ”fina” tidskrifterna i en publikationslista är, istället för att bilda sig en uppfattning om varje enskild artikel.

Risken finns då att bedömaren övervärderar artiklar bara för att de är publicerade i en tidskrift med hög impaktfaktor, och kanske förbiser alster publicerade i lägre rankade tidskrifter.

– Du kan ha viktiga artiklar i en medioker tidskrift. Tittar bedömaren för mycket på JIF finns risken att det inte hjälper, säger Staffan Karlsson.

Journal Citation Reports, Thomson Reuters (English) Länk till annan webbplats.

Läs också i Curie: Måttet som styr forskarkarriärer

Vad är Journal Impact Factor?

En tidskrifts Journal Impact Factor (JIF) för ett givet år är antalet citeringar under detta år av artiklar publicerade de två föregående åren, dividerat med antalet artiklar publicerade de två föregående åren. Om en tidskrifts JIF är 3 för år 2014, fick dess artiklar publicerade 2012 och 2013 i genomsnitt tre citeringar år 2014.

I täljaren inräknas citeringar från såväl artiklar som andra dokumenttyper, exempelvis brev och redaktionella inlägg. I nämnaren räknas bara originalartiklar, översiktsartiklar och kommentarer (så kallat ”citerbara dokument”).

Det får till följd att tidskrifter med en stor mängd dokument som inte räknas in i nämnaren men som citeras, till exempel brev, kan få en oproportionerligt hög impaktfaktor. Tidskrifter med många översiktsartiklar får också högre impaktfaktor, eftersom dessa i regel citeras mer än andra artiklar.

JIF beräknas av företaget Thomson Reuters och bygger på citeringar i deras databas Web of Science.

Måttet nämndes för första gången 1955, i en artikel i Science av Eugene Garfield. Det realiserades i början av 1960-talet och den första rankningen av tidskrifter baserat på JIF publicerades tidigt på 1970-talet. JIF beräknades ursprungligen av företaget Institute for scientific information, ISI, som Eugene Garfield var medgrundare till.

Utöver det traditionella tvååriga JIF-måttet publiceras numera också ett femårigt mått, som kan vara relevantare för långsammare forskningsområden.

På sin hemsida säger Thomson Reuters att även om JIF är mycket användbart för att rangordna tidskrifter, ska måttet ska användas försiktigt, med hänsyn till tidskriftens typ av artiklar och variationer mellan discipliner.

I juli 2016 såldes den del av Thomson Reuters som beräknar JIF till två investeringsbolag, Onex Corporation och Baring Private Equity Asia.

Alternativa mått till tidskrifter genomslag

Några alternativa mått för tidskrifters genomslag:

Source Normalized Impact Per Paper, SNIP
Ett mått där citeringsfrekvensen normaliseras efter förväntad citeringsgrad i respektive forskningsfält, för att bli jämförbarare mellan olika discipliner. Beräknas över tre år och baseras på data från Scopus. Beräknas av Center for Science and Technology Studies vid Leiden University.

SCImago Journal Rank, SJR
Viktar citeringarna en viss tidskrift har fått efter hur inflytelserika tidskrifter de kommer från, vilket beräknas med en matematisk algoritm. Beräknas utifrån en treårsperiod. Självciteringar inverkar negativt på indikatorns värde. Baseras på data från Scopus. Utvecklat av spanska forskare.

Eigenfactor Score
Strävar efter att ta hänsyn till skillnader i olika vetenskapsområdens citeringspraxis och viktar citeringar enligt hur inflytelserika tidskrifter de kommer från. Räknas utifrån en femårsperiod. Självciteringar räknas inte. Utvecklad vid University of Washington.

Google Scholar Metrics
Beräknar flera värden på tidskriftsnivå utifrån Google Scholars citeringsmått.

Relaterat innehåll

Krönika 30 januari 2024

Nu är de nationella riktlinjerna för öppen vetenskap klara. Erik Stattin skriver om arbetet med regeringsuppdraget och hur riktlinjerna tagits emot.

Nyhet 28 november 2023

Siv Engelmark

Nu ska de avtal som reglerar svenska forskares publiceringar i vetenskapliga tidskrifter omförhandlas. En färsk rapport från SUHF ska ge underlag för arbetet. Målet är att publicer...

Krönika 27 november 2023

Hur många vetenskapliga texter finns det som definierar en forskare? Bengt Johansson skriver om böckerna som verkligen betytt något för honom.