2016-11-09 Andreas B. Dahlin, docent i nanokemi vid Chalmers Tekniska Högskola

Ta bort tvåårsgränsen för tidskrifternas ”impact factor”

En tidskrifts impaktfaktor baseras bara på de citeringar som artiklarna får under sina första två år. Det räcker alltså inte att en artikel genererar tusentals citeringar och får ett enormt genomslag: citeringarna måste dessutom komma väldigt snabbt! Tvåårsgränsen hämmar nytänkande forskning, skriver Andreas B. Dahlin.

Andreas Dahlin (Foto: Markus Marcetic)

Konkurrensen inom akademin ökar behovet av diverse mätetal för att utvärdera forskare som söker anslag och tjänster. Vare sig vi gillar det eller inte, måste vi hitta sätt att jämföra forskare. I de flesta forskningsområden är listan över publikationer den viktigaste grunden för bedömning. En trend som dykt upp de senaste åren är att man inte bara redovisar antalet publikationer utan snarare försöker förtydliga att publikationerna är ”bra”, det vill säga kvalitet går före kvantitet. Det blir då särskilt viktigt i vilken tidskrift en forskare publicerar sin forskning och det enda mätetalet för att ranka en tidskrift är dess så kallade ”impact factor” (IF). Det diskuteras redan vilka potentiella problem som uppstår när IF allt oftare används för att utvärdera publikationers värde [1]. Även Eugene Garfield, grundaren av Science Citation Index som började använda begreppet 1975, är själv skeptisk på flera sätt [2]. Trots detta finns det en viktig aspekt av IF som inte verkar diskuteras och som jag vill belysa här.

Låt mig först säga att impaktfaktorer har flera fördelar. Till att börja med är metoden för att beräkna IF sedan länge etablerad, tämligen väldefinierad och hyfsat objektiv. IF är som bekant ett mått på antalet citeringar av artiklarna i en tidskrift, normaliserat till antalet artiklar som tidskriften publicerat. Det är svårt att hävda att ett högt antal citeringar per artikel inte återspeglar att tidskriften är betydelsefull. Man citerar ju den litteratur man läst och som man anser betyder något. Kritiken mot IF har fokuserat på att fördelningen av antalet citeringar per artikel är bred och asymmetrisk [3], vilket är väl värt att notera, men det ändrar knappast den huvudsakliga innebörden. Vidare hävdas det att antalet översiktsartiklar och forskningsämnenas natur påverkar IF, vilket stämmer, men sådana effekter kan normaliseras bort.

Det stora problemet med IF är istället, i min mening, det lite mer finstilta i definitionen som få verkar notera: Att IF endast är baserad på de citeringar som artiklarna får under sina första två år. Det räcker alltså inte att en artikel genererar tusentals citeringar och får ett enormt genomslag: citeringarna måste dessutom komma väldigt snabbt! Det är ”bättre” (för tidskriften) med 20 citeringar under en artikels två första år och sedan bara ett fåtal till, jämfört med ett fåtal citeringar de första åren och sedan tusentals. Detta trots att det sistnämnda uppenbarligen visar på ett större genomslag.

Det är ”bättre” (för tidskriften) med 20 citeringar under en artikels två första år och sedan bara ett fåtal till, jämfört med ett fåtal citeringar de första åren och sedan tusentals.

Effekten av tvåårsgränsen på IF är katastrofal för nytänkande forskning. Att göra något riktigt originellt belönas inte, i den mening att man får svårt att publicera resultaten i de finaste tidskrifterna. Det är mer taktiskt för en forskare att ge sig in på ett redan ”trendigt” område eftersom chansen att bli citerad ökar. Redaktörerna är medvetna om just detta och en forskares chans att bli publicerad i tidskrifter med hög IF ökar därför om man, lite grovt uttryckt, gör samma sak som alla andra. Många redaktörer (vid till exempel Natures tidskrifter) utvärderas efter hur mycket de har bidragit till att höja tidskriftens IF och tvingas fokusera enbart på hur många citeringar en potentiell artikel kan generera inom två år. Givetvis tittar man då främst på hur aktivt forskningsfältet är.

Inom mitt eget forskningsområde, biologisk nanoteknik, ser jag konsekvenserna av tvåårsgränsen tydligt. De finaste tidskrifterna publicerar artiklar som egentligen är uppenbara ”follow ups”, det vill säga de gör en mindre förbättring av ett redan existerande resultat, men inom ett extremt aktivt forskningsfält. Dessa artiklar avspeglar alltså snarare ett ”hett ämne” än något riktigt nytänkande.

För vetenskapliga artiklar som påvisar nya metoder blir tvåårsgränsen extra problematisk. Tänk dig att du publicerar en metod. Skulle någon inom två år kunna 1) hitta artikeln, 2) tillämpa metoden själv, 3) få resultat, 4) skriva en artikel om det (där du citeras), 5) få denna accepterad och 6) publicerad? Nej, de flesta citeringarna kommer givetvis att dyka upp senare! Därför blir metodartiklar inte intressanta för journaler som vill få hög IF oavsett hur betydelsefull metoden är.

Till sist är det värt att notera att många nobelpristagare givetvis har berömda artiklar som citerats väldigt många gånger. Men hur stor andel av dessa citeringar uppstod de första två åren? Ett talande exempel är den första artikeln om fluoresensmikroskopi med superupplösning [4] (Nobelpris 2014) som publicerades 1994 i Optics Letters (nuvarande IF 3.18) och citerades 12 gånger under 1995-1996, medan det totala antalet citeringar hittills är 2668 (enligt Google scholar).

Jag anser att lösningen är tämligen enkel: Ändra på tvåårsgränsen! Endera kan den ökas rejält (till kanske 10 år) eller så kan man skippa tidsaspekten helt. Då kan IF bli ett hyfsat bra mätetal.

Till sist vill jag påminna om att detta alltså handlar om bedömning av tidskrifter. För att bedöma en enskild forskare kan man med fördel använda sig även av citeringsdata för personen i fråga och de enskilda artiklarna. Dock dyker samma mönster upp igen: Många artiklar, särskilt för unga forskare, har inte hunnit uppmärksammas ännu och ingen kan veta hur många fler citeringar de genererar några år senare. Man vill då självfallet kunna bedöma just tidskriften de är publicerade i. I dagsläget är IF det enda alternativet, men tyvärr är det alltså ofta ett dåligt mått på forskningens grad av nytänkande och viktiga långsiktiga mål.

Andreas B. Dahlin
Docent i Nanokemi vid Chalmers Tekniska Högskola, Wallenberg Academy Fellow 2015

[1] J.K. Vanclay, Impact factor: outdated artefact or stepping-stone to journal certification? Scientometrics 92, 211-238 (2012).

[2] E. Garfield, International congress on peer review and biomedical publication Chicago, September 16, 2005.

[3] E. Callaway, Beat it, impact factor! Publishing elite turns against controversial metric. Nature News 8 July 2016.

[4] S. W. Hell, J. Wichmann, Breaking the diffraction resolution limit by stimulated emission: Stimulated-emission-depletion fluorescence microscopy Optics Letters 19, 780–782 (1994).

7 kommentarer

Tack för din kommentar. Den kan komma att modereras innan den publiceras.

  • Per-Ola Norrby

    Motsvarande faktorer för längre tider finns redan, och rapporteras för tidskrifter, men används inte.
    Det stora felet är att använda IF som ett kvalitetsmått på enstaka artiklar; Felen med detta har visats upprepade gånger. Det finns till och med studier som visat att fel och rent fusk har direkt korrelation till IF.
    På lång sikt kan citeringar (fältviktade) användas, men även det kan missa nyskapande forskning i det medellånga perspektivet, så kallade "sleeping beauties".
    Ett försök att ranka i det korta perspektivet är Altmetrics (omnämnanden på nätet), men det är definitivt färgat av ovetenskapliga faktorer, som t.ex. möjligheten att få in fula ord i titeln.
    I slutändan finns inget bra alternativ till att läsa artikeln och bedömma den utifrån dess innehåll.

    2016.11.11

  • Dan Csontos

    Intressant tanke om att ändra tvåårsgränsen.

    Men är dock inte säker på att/hur den hindrar nytänk och att hög-IF tidskrifter som Nature prioriterar follow-ups för att få många och snabba citeringar.

    Du skriver "Många redaktörer (vid till exempel Natures tidskrifter) utvärderas efter hur mycket de har bidragit till att höja tidskriftens IF och tvingas fokusera enbart på hur många citeringar en potentiell artikel kan generera inom två år."

    Har du några belägg för detta? Har själv varit redaktör på Nature och Nature Physics och citeringar diskuterades aldrig. Fokus var att publicera ny, ground-breaking och signifikant forskning. Och detta i alla fält, inom fysik i mitt fall, dvs utan att fokusera på 'heta ämnen' endast, så att vi publicerade absolut också i 'smala fält' om forskningsresultaten ansågs betydelsefulla.

    Begreppet follow-ups är också ngt vagt och kanske inte säger så mycket i diskursen. Den mesta forskning är follow-ups iom att forskning utvecklas 'incrementally', det är få riktigt ground-breaking upptäckter, t.ex. grafen, CRISPR etc. så att alla tidsrifter publicerar follow-ups i ngn grad.

    Men tycker att din fråga om 2-årsgränsen ändå är intressant och skulle gärna vilja veta mer om argumenten varför den valts till det - är inte insatt i bibliometrins detaljer.

    Mvh/Dan Csontos (Elevate Scientific)

    2016.11.11

  • Anders hofer

    En mycket intressant tanke, samtidigt som att det kommer att leda till nya problem. Om man skulle ha en alltför lång period skulle det innebära att det skulle bli för svårt för en tidsskrift att förbättra sitt impaktsvärde och i stort sett omöjligt för nya tidsskrifter att etablera sig. En möjlig kompromiss skulle kunna vara att man alltid rapporterade det mest fördelaktiga av det långsiktiga eller kortsiktiga impaktsvärdet.

    2016.11.11

  • Björn Högberg

    Jag undrar också över följande stycke: "Många redaktörer (vid till exempel Natures tidskrifter) utvärderas efter hur mycket de har bidragit till att höja tidskriftens IF och tvingas fokusera enbart på hur många citeringar en potentiell artikel kan generera inom två år."

    Var kommer detta ifrån? Enligt de editors jag har talat med så är det inte alls så.

    Annars en intressant artikel! Håller dock med Anders Hofer om att det också kan ha problem att göra tiden för lång.

    2016.11.11

  • Christian Munthe

    Lite konstigt att debattera detta här. IF är ju en produkt skapad och såld av företaget Thomson-Reuters, det är väl dit man ska vända sig ... Men TR har också en 5-year IF, som de flesta tidskrifter skyltar med, om man nu vill ha ett längre tidsperspektiv inbyggt i faktorn.

    Sedan blandar författarna i början ihop IF (som mäter citeringsgrad för tidskrifter, icke kontrollerat för spridning över enskilda artiklar), och en artikels citeringsgrad och -profil, som kan variera helt oberoende av IF för den tidskrift där den är publicerad. Citeringsgrad går att mäta och räkna på helt utan tidsgränser och helt utan hänsyn till IF.

    Eller är det så att artikeln vill ifrågasätta det sätt som en del lärosäten använder IF för att ranka forskare inom ramen för idén att citering ändå kan vara någon sorts kvalitetsindikator? Det finns då tre enkla förslag:

    1. Sluta använda IF, eftersom IF ändå inte säger något om en artikels citeringsgrad eller profil.

    2. Gå över till 5-års IF

    3. Börja titta på faktisk citeringsgrad- och profil för varje enskilt arbete oberoende av IF för tidskrifterna.

    Förslagen kan förstås kombineras.

    Min egen åsikt är att IF/5-årsIF på sin höjd kan vara en indikator för för rankning av tidskrifter, men att den är helt värdelös för att ranka enskilda artiklar. Är det citering som är kvalitetsindikatorn, så är det artiklar citeringar som ska mätas.

    2016.11.11

  • Björn Hammarfelt

    Häpnadsväckande att tron på JIF fortfarande är så stark. Att förlänga med några år förbättrar kanske något men det är forfarande ett extremt dåligt mått.

    Stephen Curry uttrycker det väl i denna bloggpost:http://occamstypewriter.org/scurry/2012/08/13/sick-of-impact-factors/

    Han avslutar på följande sätt:

    "So consider all that we know of impact factors and think on this: if you use impact factors you are statistically illiterate.

    If you include journal impact factors in the list of publications in your cv, you are statistically illiterate.

    If you are judging grant or promotion applications and find yourself scanning the applicant’s publications, checking off the impact factors, you are statistically illiterate.

    If you publish a journal that trumpets its impact factor in adverts or emails, you are statistically illiterate. (If you trumpet that impact factor to three decimal places, there is little hope for you.)

    If you see someone else using impact factors and make no attempt at correction, you connive at statistical illiteracy."

    2016.11.16

  • Andreas Dahlin

    Hej

    Tack för bra kommentarer! Jag ska försöka svara på åtminstone en del, ungefär i den ordning de dök upp.

    Det handlar alltså om bedömning av tidskrifter, inte forskare och inte heller enskilda artiklar. Jag kan dock tycka att man i många fall kanske inte borde fokusera så mycket på att bedöma tidskrifter. Men med tanke på hur ofattbart många tidskrifter som finns (och antalet ökar hela tiden) så känns det ofta relevant. Många är inte ens seriösa utan existerar bara för att tjäna pengar.

    Det stämmer att det finns andra metrics, såsom ”5 year impact factor”. Mitt intryck är dock att de hamnar i skymundan för den ”vanliga” IF.

    Tack Dan och Björn för era kommentarer. Jag erkänner att jag inte har någon ”riktig” referens angående hur redaktörer utvärderas. (Detta är något jag har fått höra i diskussioner.) Att Dan inte upplevt detta talar ju för att det inte är särskilt utbrett, vilket är positivt. Jag formulerade mig även dumt – ville inte hävda att detta förekom just vid Nature, snarare vid vissa förlag som fokuserar på hög IF. Samtidigt är det onekligen så att om en tidskrift satsar på hög IF blir detta en del av hur väl en redaktör lyckas med sitt jobb.

    Det är sant att det skulle bli svårare för nya tidskrifter att etablera sig med hög IF. Jag tycker faktiskt att det kanske borde vara så, dvs en bra tidskrift SKA ha funnits länge och etablerat sig i fältet... Nyare tidskrifter tvingas ange en IF baserad på kortare tid, men jag ser inga problem med att ta med detta i bedömningen. Jag föreslår att tidskrifter anger flera olika IF, var och en med sin respektive tidsbas, samt att dessa tider generellt ökas.

    Ja, debatten borde förstås tas direkt med TR men jag tycker ändå det finns ett värde i att påpeka denna aspekt av IF för att göra fler medvetna om problematiken.

    2016.11.18