At KTH (the Royal Institute of Technology) in Stockholm, 2.5 percent of government research funding is allocated to university activities based on the impact factor of the journals in which articles have been published. But, the Thomson Reuters JIF rating is not used without modification. The bibliometricians at KTH calculate an impact factor for every journal.

Så används impaktfaktorer i forskarvärlden

English 2016-09-29

Flitigt använt men hårt kritiserat. Curie har undersökt hur några svenska forskningsfinansiärer och lärosäten använder det omdiskuterade måttet Journal Impact Factor, ett mått som idag kan påverka både vem som får forskningsmedel och vilken tidskrift forskaren väljer att publicera sig i.

Journal impact factor, JIF, är ett sätt att rangordna vetenskapliga tidskrifter utifrån hur ofta deras artiklar citeras. Det här måttet (se definition i faktarutan) beräknas årligen av företaget Thomson Reuters och bygger på citeringar i deras databas Web of science.

Måttet föddes i början av 1960-talet och var ursprungligen tänkt som ett sätt att kunna jämföra vetenskapliga tidskrifter oberoende av deras storlek. Det anammades snabbt av bibliotekarier som ett stöd att sköta bibliotekens tidskriftsbestånd, men har idag fått betydligt bredare användningsområde och större inflytande – dock inte utan kritik (läs mer om JIF i den här artikeln i Curie).

Egen modell

I Sverige är det inte ovanligt att JIF ingår i fördelningsmodellen när regeringens forskningsanslag ska fördelas inom lärosätet. Vid KTH i Stockholm fördelas 2,5 procent av det statliga forskningsanslaget ut till verksamheten baserat på impaktfaktorn för de tidskrifter artiklarna har publicerats i.

Men Thomson Reuters JIF-mått används inte rakt av, betonar Per-Anders Östling, utredare vid KTH:s universitetsförvaltning.

– Eftersom JIF inte tar hänsyn till att vissa ämnen citeras mycket mer än andra är det inget rättvist sätt att fördela pengar. Vi har gjort en egen konstruktion för att kunna använda måttet på ett rättvisande sätt, säger han.

Bibliometrikerna på KTH beräknar en impaktfaktor för varje tidskrift. Kortfattat jämförs varje tidskrifts citeringar ett visst år med genomsnittet för tidskrifter inom samma ämnesområde, till en så kallad fältnormerad tidskriftsimpakt.

Det som räknas är artiklar och recensioner, och impaktfaktorn för ett givet år beräknas på publiceringar de fem föregående åren. Enhetens mått blir sedan summan av impaktfaktorerna för tidskrifter där man har publicerat sig, beräknat som ett medelvärde över tre år.

Publiceringsindikator infördes för två år sedan. Motivet är att ge forskarna ett incitament att publicera i vetenskapliga tidskrifter av hög kvalitet och långsiktigt öka forskningskvaliteten.

Arne Johansson

Arne Johansson

– Ekonomiskt är det så lite att det försvinner i bruset. Men vi bedömer att det, tillsammans med vår årliga bibliometriska uppföljning, stimulerar forskarna att våga ta större utmaningar i sin publicering – försöka nå högre höjder vetenskapligt sett, kanske publicera färre artiklar men jobba mer med kvaliteten, säger Arne Johansson, vicerektor för forskning på KTH.

Säger inget om enskilda artiklar

Impaktfaktorn kan ses som ett mått på tidskrifters genomslag, baserat på hur ofta deras tidigare artiklar har citerats under en viss period. Den säger dock inget om hur mycket en enskild artikel i tidskiften kommer att citeras. Citeringsfrekvensen för enstaka artiklar i en tidskrift visar nämligen en stor spridning.

Ett litet antal högt citerade artiklar i stor utsträckning bestämmer storleken på impaktfaktorn, medan det stora flertalet av artiklarna ligger under genomsnittet.

Även i tidskrifter med hög impaktfaktor får en stor del av artiklarna få eller inga citeringar alls, och en väsentlig andel av artiklarna som publiceras i tidskrifter med låg impaktfaktor blir sedan högt citerade.

Men detta är inget problem för KTH:s fördelningsmodell, anser Arne Johansson.

– Visst, JIF säger inget om hur välciterad den enskilda artikeln blir. Men i genomsnitt, på gruppnivå finns det en stark korrelation mellan citeringar och publicering i tidskrifter med hög impaktfaktor – i genomsnitt citeras deras artiklar mer. Vi säger också att man ska publicera i bra tidskrifter inom sitt eget fält – publicerar man i tidskrifter med hög JIF utanför det egna fältet blir artikeln antagligen inte så välciterad.

KTH:s mått på tidskriftsimpakt används som nämnts även i en bibliometrisk uppföljning som görs varje år. Det beräknas för lärosätet som helhet, för skolor och avdelningar men även individer. Det personliga måttet är synligt för individen själv och dennes chef.

– På individnivå är indikatorn mest till för personen själv ska kunna följa utvecklingen över tid. Löneförslag tas fram i lönesamtal där många faktorer kommer in, säger Arne Johansson.

I KTH:s beskrivning av måttet anges att det ska användas med försiktighet vid tolkning av värden baserade på få publikationer. Vid tillsättning av tjänster spelar impaktfaktorn en mindre roll, bedömer Arne Johansson, och ingår då i en djupare process där sakkunniga går igenom sökandens forskning, planer och meriter.

Fungerar bra på institutionsnivå

På Karolinska institutet, KI, bildar JIF tillsammans med två andra bibliometriska indikatorer en delkomponent när det statliga forskningsanslaget fördelas till universitetets institutioner.

Anders Gustafsson

Anders Gustafsson

– JIF fungerar bra som ett av flera kvalitetsmått på institutionsnivå. Institutionerna är tillräckligt stora för att ge meningsfulla resultat. Tanken är att de olika indikatorerna ska vara kvalitetsdrivande – generellt är det svårare och kräver större arbetsinsats att lyckas publicera sig i tidskrifter med hög JIF jämfört med i svagare tidskrifter, säger Anders Gustafsson, dekan för forskning vid Karolinska institutet.

Han är medveten om att skillnader i publiceringsmönster gör JIF olämplig för jämförelser mellan vetenskapsområden och konstaterar att fördelningsmodellen kan missgynna områden där tidskrifterna generellt har lägre impaktfaktorer, exempelvis kliniska områden och vårdvetenskap. KI överväger därför att fältnormalisera en del av JIF-måttet – det vill säga relatera impaktfaktorn till medelvärdet för det fält tidskriften tillhör.

Formellt används JIF inte vid tjänstetillsättning eller lönesättning på KI, berättar Anders Gustafsson.

– Men det är klart att det imponerar när någon har flera publiceringar i fina tidskrifter, det är svårt att komma ifrån.

Använder inte JIF

Sveriges största privata forskningsfinansiär, Knut och Alice Wallenbergs stiftelse, använder inte tidskrifters impaktfaktorer, JIF, vid utvärdering av projekt, berättar Göran Sandberg, stiftelsens verkställande ledamot.

– Vi uppmanar våra utvärderare att fokusera på projektets innehåll, genomförbart och djärvhet. De ska givetvis bedöma de sökande forskarnas vetenskapliga kompetens och om de då tittar på impaktfaktorer kan vi inte göra något åt det, men utvärderarna får inget sådant underlag från oss.

Formellt finns JIF inte heller med i Vetenskapsrådets bedömning av ansökningar om forskningsmedel, förklarar Staffan Karlsson, analytiker vid myndigheten. Forskarna som granskar ansökningarna ska bedöma dem utifrån det projekt sökanden vill göra och dennes kvalifikationer.

Till sin hjälp får de ett batteri med betygskriterier och där är JIF inte med. Inom ämnesområdet naturvetenskap och teknik ska ansökan visserligen innehålla uppgifter om hur många citeringar artiklarna har fått, men inget om tidskriftens impaktfaktor.

Upp till granskarna

Men, konstaterar Staffan Karlsson, till syvende och sist är det upp till granskarna hur de värderar meriterna i ansökan. Och när Vetenskapsrådet har analyserat vem som tilldelats pengar från myndigheten, visar det sig att summan av JIF för sökandens artiklar samvarierar med huruvida personen får bidrag. Ju högre summerad JIF desto större chans att få pengar.

– Inom medicin och naturvetenskap korrelerar sökandens JIF positivt med om man har fått pengar. Mer så än något annat vi kunde mäta – sökandens ålder, titel, antal år från doktorsexamen eller artiklarnas citeringar.

Från detta går inte att dra slutsatsen att granskarna har bedömt ansökningarna efter JIF; ett mått utformat för att rangordna vetenskapliga tidskrifter, inte bedöma kvaliteten hos enskilda artiklar eller forskare. Men det skulle inte förvåna Staffan Karlsson om artiklar i tidskrifter med hög JIF kan påverka bedömningen. Inom många vetenskapsområden anses det viktigt att publicera i prestigetidskrifter och det vore inte konstigt om granskare imponeras av artiklar i sådana tidskrifter, konstaterar han.

– I min värld, som bibliometriker, är JIF starkt ifrågasatt och det finns en rad metodologiska problem som gör måttet olyckligt att använda i utvärdering av forskning. Men det är ingen tvekan om att tidskrifter med hög JIF är svåra att komma in i.

Kan användas som en genväg

Granskare är ofta hårt belastade och det kan finnas en risk att JIF används som en genväg, påpekar Staffan Karlsson.

– Man tittar på hur ”fina” tidskrifterna i en publikationslista är, istället för att bilda sig en uppfattning om varje enskild artikel.

Risken finns då att bedömaren övervärderar artiklar bara för att de är publicerade i en tidskrift med hög impaktfaktor, och kanske förbiser alster publicerade i lägre rankade tidskrifter.

– Du kan ha viktiga artiklar i en medioker tidskrift. Tittar bedömaren för mycket på JIF finns risken att det inte hjälper, säger Staffan Karlsson.

Läs också i Curie: Måttet som styr forskarkarriärer

Text: Sara Nilsson
Foto: Jann Lipka

2 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Jan Weiland

    Som redan har påpekats är tidskrifternas impaktfaktorer ett mått på hur tidskrifterna citeras, inte på hur mycket den enskilda forskaren citeras. Tyvärr gör konkurrensen om att publicera i tidskrifter med hög impaktfaktor att artiklar som anpassats till gällande politiska normer gynnas. Resultatet blir att forskare undviker kontroversiella ställningstaganden. Detta är precis vad vi inte vill skall hända!

    2016.09.30

  • Oscar Tjernberg

    "Granskare är ofta hårt belastade och det kan finnas en risk att JIF används som en genväg, påpekar Staffan Karlsson.

    – Man tittar på hur ”fina” tidskrifterna i en publikationslista är, istället för att bilda sig en uppfattning om varje enskild artikel."

    Är det VRs ståndpunkt att man som granskare ska läsa och göra sig en uppfattning om samtliga artiklar som en sökande tar med i sin publikationslista dvs. uppåt 20-30 artiklar eller mer per ansökan?
    Det är oförskämt mot granskarna, som i regel lägger en stor del av sin semester på att läsa ansökningar, att ge sken av att de inte försöker göra ett seriöst arbete. Att läsa samtliga listade artiklar i samtliga ansökningar är orimligt och det är hyckleri att påskina att det borde göras. Med tanke på den pågående diskussionen om kostnader för publicering och granskning som VR driver så vore det för övrigt mycket klädsamt om VR gav full kostnadstäckning för de granskningar man låter göra.

    2016.10.06