Universitetens egna tidskriftslistor – så funkar de

Tidskriftslistor är inget nytt fenomen. Det har länge funnits nationella och internationella listor som rangordnar vetenskapliga tidskrifter.

I år sjösatte dock Karolinska institutet den första versionen av sin egen tidskriftslista: KI Journal List (KI-JL). Ett skäl är att universitetet ville ha en lista med bättre täckning över de tidskrifter där universitetets forskare publicerar sig, baserad på egna kvalitetskriterier.

7 000 tidskrifter delas i fyra kvalitetsnivåer

Listan innehåller närmare 7 000 vetenskapliga tidskrifter indelade i fyra kvalitetsnivåer. Från nivå 0 för tidskrifter som inte uppfyller kriterier för vetenskaplig publicering till nivå 3 som innebär tidskrifter av högsta kvalitet.

– Listan består av alla tidskrifter som KI-forskare har publicerat i sedan 2018. Den innehåller också tidskrifter som forskare sannolikt skulle vilja veta vilken kvalitet de håller, säger Adina Feldman, vetenskaplig sekreterare och en av dem som samordnat arbetet med KI-JL.

Listan består av alla tidskrifter som KI-forskare har publicerat i sedan 2018.

Bedömningen av tidskrifterna är gjord av en panel av tio KI-forskare, baserat på sex kategorier av kvalitetskriterier (se faktarutan). På de lägre nivåerna har panelen lutat sig mot en samstämmig bedömning i de nationella norska och finska tidskriftslistorna.

I Norge och Finland finns, sedan 2005 respektive 2010, nationella nivåindelade register över tidskrifter och andra publiceringskanaler, där bedömningarna görs av paneler av aktiva forskare. Men istället för att använda någon av de etablerade nationella listorna valde KI att utveckla en egen.

Kliniskt genomslag värderas högt

Kriterierna i KI-JL överensstämmer visserligen i stor utsträckning med dem i de norska och finska listorna, men har utformats för att spegla universitetets syn på tidskriftskvalitet och behov, berättar Adina Feldman.

– Kliniskt genomslag ingår till exempel i ett av våra kriterier eftersom det värderas högt på KI, säger hon.

De senaste åren har antalet vetenskapliga tidskrifter ökat kraftigt, samtidigt som de formella kraven på öppen vetenskap har ökat. Ett syfte med listan är därför att ge stöd till universitetets forskare vid bedömning av tidskrifters kvalitet inför publicering och sakkunniguppdrag.

Kliniskt genomslag ingår till exempel i ett av våra kriterier eftersom det värderas högt på KI.

Men det handlar inte om att publicering i undermåliga tidskrifter, så kallade rovtidskrifter, är ett särskilt stort problem på KI, menar Peter Bjurström, bibliometrisk analytiker och samordnare i gruppen som arbetat med KI-JL.

– Det är snarare i diskussionen om tidskrifter i gråzonen, de som publicerar mycket, snabbt och med kort granskning, som KI-JL kan bidra, säger han.

Roll att fylla när forskning ska bedömas

Ett annat motiv till att ta fram listan är frågan om hur forskning ska bedömas och värderas. De senaste decennierna har det vuxit fram kritik mot ensidig användning av kvantitativa mått för att bedöma kvalitet i forskning. I synnerhet finns en kritik mot användningen av den citeringsbaserade indikatorn journal impact factor, JIF.

Läs också i Curie: Måttet som styr forskarkarriärer

Här har KI-listan en roll att fylla, menar Adina Feldman.

– Det är ett sätt att gå ifrån en enkel användning av JIF och andra kvantitativa tidskriftsbaserade mått, till att basera bedömningen på sakkunniggranskning. Även om det fortfarande är en indirekt sakkunniggranskning på tidskriftsnivå, säger hon.

Listan är också ett sätt för KI att arbeta för sina åtaganden inom organisationen CoARA, Coalition for the Advancement of Research Assessment. De handlar om att i första hand använda sakkunniggranskning med stöd av ansvarsfull användning av kvantitativa indikatorer i bedömning av forskningskvalitet.

Läs också i Curie: Europeiskt initiativ vill reformera bedömningen av forskning

Kan variera mellan olika ämnesområden

I KI-listan kan tidskriftens JIF ingå som underlag i den samlade bedömningen av tidskriften, men värdet är i sig inte ett kriterium för nivåindelningen.

– En styrka med KI-JL är också att bedömningen av tidskrifterna görs med hänsyn till ämnesområdet, vilket JIF inte gör, säger Peter Bjurström.

En styrka med KI-JL är också att bedömningen av tidskrifterna görs med hänsyn till ämnesområdet.

KI har strävat efter att listan ska innehålla tidskrifter på alla nivåer inom alla ämnesområden. Samtidigt måste tidskrifterna uppfylla de kvalitetskriterier som krävs för respektive nivå, vilket innebär att alla områden inte nödvändigtvis får tidskrifter på alla nivåer.

– Nästan alla KI:s huvudsakliga områden har någon tidskrift på högsta nivån, men andelen tidskrifter på de olika nivåerna kan variera mellan ämnesområden. Den fördelningen är något forskarpanelen kommer att följa. Sannolikt missgynnar KI-JL vissa ämnesområden mindre än vad JIF gör, eftersom JIF inte är ämnesnormerad alls, säger Peter Bjurström.

Används vid fördelning av forskningsanslaget

Från och med i år använder Karolinska institutet sin nya lista istället för JIF i fördelningen av det statliga forskningsanslaget till institutionerna. Av den andel av anslaget som fördelas prestationsbaserat fördelas hälften utifrån bibliometri, och av fyra bibliometriska indikatorer baseras två på KI-JL.

Det innebär att publikationer räknas olika beroende på vilken nivå i KI-JL tidskriftens har. En publikation i en nivå 3-tidskrift får tio gånger så stor vikt som en nivå 1-tidskrift och tidskrifter på nivå 2 får vikten 4.

Sakkunniggranskad eller ej – att använda tidskriftslistor för att bedöma forskning har begränsningar. Tidskriftens nivå är bara ett indirekt mått på forskningen som publiceras där, och säger inte nödvändigtvis något om kvaliteten för enskilda artiklar. Det här kan särskilt få effekter om listan används på individnivå.

Det finns inget principbeslut om hur listan ska användas på individnivå, men det är något vi följer.

Den finska listan uppmärksammar det här problemet och skriver i sin instruktion att klassificeringen inte ska användas för att bedöma eller jämföra enskilda forskare. Någon sådan formulering finns inte till KI:s lista.

– Det finns inget principbeslut om hur listan ska användas på individnivå, men det är något vi följer. Min åsikt är att i de fall där man tidigare använt JIF eller andra kvantitativa tidskriftsbaserade mått på individnivå, kan KI-JL nu vara ett komplement som är baserat på kvalitativa kriterier. Men jag tycker inte att man bör introducera den i nya sammanhang på individnivå och att det ska vara tydligt när den används, säger Adina Feldman.

Transparent system för värdering av meriter

Inom nationalekonomi har tidskriftsrankningar en etablerad roll vid värdering av forskning och akademiska meriter. Sedan 2017 har nationalekonomiska institutionen vid Ekonomihögskolan vid Lunds universitet en egenutvecklad tidskriftslista med fem nivåer.

Den används främst för att formulera publikationskrav för befordran till lektor och professor, berättar Fredrik Andersson, professor i nationalekonomi och prefekt vid nationalekonomiska institutionen.

– Det ger oss ett transparent och förutsägbart system för värdering av meriter och ett gemensamt sätt att värdera publikationskvalitet i artiklar som spänner över olika ämnesinriktningar. Som en konsekvens av användningen i befordringskriterier blir listan också en vägledning när forskare väljer vilka tidskrifter de ska skicka sina manuskript till, säger han.

Bygger på expertbedömningar

Institutionen gör ingen egen bedömning av tidskrifterna, utan listan bygger på två etablerade system. Det ena är Academic Journal Guide (AJG), tidigare kallad ABS-listan, som rangordnar vetenskapliga tidskrifter inom bland annat nationalekonomi, management och finans. Rankningen bygger på expertbedömningar som bland annat tar hänsyn till bibliometriska mått, och ges ut av organisationen Chartered Association of Business Schools i Storbritannien.

Det ger oss ett transparent och förutsägbart system för värdering av meriter och ett gemensamt sätt att värdera publikationskvalitet ...

Den andra komponenten är ett bibliometriskt mått på tidskrifters genomslag kallat Article Influence Score, AIS, utvecklat av forskare vid University of Washington.

– Vi uppfattade AJG som lite väl grov under toppnivån. Kompletteringen med AIS gör att vi kan skilja bättre mellan tidskrifterna. Vår lista ger oss också ramar för att ta in topptidskrifter i angränsande ämnen, som statsvetenskap, och tvärvetenskapliga flaggskeppstidskrifter som inte finns med på AJG, om de har tillräckligt hög AIS, säger Fredrik Andersson.

Ger inte alltid en rättvisande bild

Han ser tydliga fördelar med att använda institutionens lista vid meritvärdering och formulering av befordringskriterier, men konstaterar också att tidskriftsnivån inte alltid ger en rättvisande bild.

– Ett arbete kan få väldigt stort genomslag, till exempel via citeringar, trots att tidskriften den publiceras i inte rankas så högt i listan.

Tidskriftens placering är heller inte alltid tillräcklig för att bedöma en publikation. Enligt instruktionen till listan ska litteraturöversikter, kommentarer och replikationer bedömas av professorskollegiet för att säkerställa arbetets originalitet och vetenskapliga bidrag.

Läs mer: Tidskriftslistan vid nationalekonomiska institutionen i Lund Länk till annan webbplats, öppnas i nytt fönster.